sushiandbox.ru A számítógép elsajátítása - Internet. Skype. Közösségi média. Windows leckék.
Kezdjük rögtön a fő szkript kóddal:
#!/usr/bin/perl
# which-forum.pl szkript
# (c) 2010 Alexandr A Alexeev, http://site/
szigorúan használjon;
# kommentált sor – a szigor érdekében
# ha a motorstatisztikák gyűjtése a feladat, hagyja úgy, ahogy van
# ha készít egy listát a fórumokról - törölje a megjegyzéseket
az én $adataim ;
$data .= $_while (<>
)
;
# ellenőrizze, hogy mennyi volt a Powered by phpBB, hivatkozás nélkül a láblécben Ezt és más, a bejegyzésben említett szkripteket ebben az archívumban találja. Forgatókönyv melyik-fórum.pl megvizsgálja a HTML-oldal kódját, hátha tartalmazza a fórummotor aláírásait. Hasonló technikát alkalmaztunk a WordPress és a Joomla meghatározásakor is, de van néhány különbség. Először is, maga a szkript nem tölti be az oldal kódját, hanem beolvassa az stdin-ből vagy egy argumentumként átadott fájlból. Ez lehetővé teszi az oldal egyszeri letöltését, például a wget segítségével, majd több elemzőn keresztül futtatva, ha több van. Másodszor, ebben a szkriptben az aláírás jelenléte 100%-ban a motor jele. Legutóbb az aláírás jelenléte csak növelte a megfelelő motor súlyát, és a legnagyobb tömegű motor „nyert”. Úgy döntöttem, hogy ebben az esetben egy ilyen megközelítés csak szükségtelenül bonyolítja a kódot. A forgatókönyv teszteléséhez végeztem némi kutatást. Összeállítottam egy listát több ezer fórumról, és mindegyiket végigfuttattam a szkriptemen, így meghatározva a programválaszok százalékos arányát és a különféle motorok népszerűségét. A fórumok listájának lekéréséhez a Google elemzőmet használtam. Keresőmotor hasonló kéréseket site:forum.*.ru stb. Teljes kód a lekérdezésgenerátort megtalálod a fájlban gen-forumsearch-urls.pl. A zone.ru mellett a .su .ua .kz és a .by is használatos volt. Legutóbb nehéz volt egy ilyen vizsgálatot lefolytatni, mivel a WordPress és a Joomla webhelyek URL-jében nincsenek ilyen aláírások. Az olyan katalógusok, mint a cmsmagazine.ru/catalogue/, nem biztosítanak megfelelő mintaméretet. Mi az a 600 Drupal webhely? Bevallom, a kísérlet eredménye csalódást okozott. A 12 590 vizsgált helyszín közül csak 7 083-on sikerült azonosítani a motort, vagyis csak az esetek 56%-ában. Lehet, hogy nem vettem figyelembe valamilyen motort? Tényleg igaz volt, hogy a fórumok felében telepítették a Bitrixet? Vagy több időt kellett volna töltenem az aláírások keresésével? Általában itt további kutatásokra van szükség. A sikeresen azonosított motorok 56%-a között a legnépszerűbb az IPB (31%), a phpBB (26,6%) és a vBulletin (26,5%) volt. Őket nagy lemaradással követi az SMF (5,8%) és a DLEForum (5,3%). Kedvenc punBB-m csak a 6. helyen végzett (1,64%). Nem javaslom, hogy nagyon bízzunk ezekben a számokban (azt mondják, hogy a RuNeten minden harmadik fórum IPB-n fut), de bizonyos következtetéseket természetesen le lehet vonni. Például, ha webhelyet kíván létrehozni egy fórummotoron, és módosítani kívánja a fórumot, például 0,01 dollárt fizet a felhasználóknak minden üzenetért hetente egyszeri automatikus pénzfelvétellel, akkor válassza ki a három legnépszerűbb motor egyikét. Minél népszerűbb a fórum, annál nagyobb eséllyel találunk olyan programozót, aki jártas benne. Ha nem várható jelentős változás a motorban, akkor érdemes lehet egy kevésbé népszerű motort választani, például SMF vagy punBB. Ez csökkenti a fórumot érő hackertámadások számát és az arra automatikusan küldött spam mennyiségét. A fórumok keresésére/azonosítására szolgáló szkriptek sok gyakorlati alkalmazást is találhatnak. Az első dolog, ami eszembe jutott, az volt, hogy a beazonosított fórumokat TIC szerint rendezem, és az első száz bejegyzést az egyik oldalamra mutató hivatkozással közzétegyem. A több száz fórum dofollow linkje azonban semmilyen módon nem befolyásolta a TCI-t (2 frissítés telt el), ezért jobb, ha nem vesztegeti az időt itt, hacsak nem érdekelnek az átmenetek. Nyilvánvaló, hogy a szkriptek említett használata korántsem az egyetlen. Szerintem könnyen kitalálhatod, hogyan használhatod még őket. A Botmaster Labs szervezésében, nem tervezetten. Nincs időm, a videó egy versenyhez kell, mint újszerű trend, bár jó screenshotokkal (az én IMHO-m) minden könnyebben elmagyarázható, és nem is nagyon akarok forgatni semmit. Nagyon kevés nyereséges téma maradt, a hülye spam már egyáltalán nem uralkodik, itt kell gondolkodni, és senki nem fog témát lőni, hacsak nem próbálod az elavultakat szép csomagolásba rakni és kicsit bepúderezni. :) De ez nem rólunk szól. Általánosságban elmondható, hogy ez a 3 „nem”, azt hiszem, alapvetően a versenyben való részvétel gátja lett a potenciális résztvevők többsége számára. Ez olyan, mint egy autó javítása a háromból: olcsó, jó minőségű, gyors - a szerviz egyszerre csak 2 feltételt tud teljesíteni. ülj le és válaszd ki azt, ami közelebb áll hozzád. :) Ugyanez a versennyel is: van időm, tudok videót csinálni, de nincs téma, vagy tudok videót csinálni, van téma, de nincs időm minden, vagy van szabadidőm és van egy kis téma, de ijesztő a videó. De ez akkor jó, ha 2 feltétel egyszerre teljesül. Nos, oké, hagyjuk a szöveget. folytatom magamnak. Nem terveztem, vagyis részt vettem a versenyen, még azt is kiválasztottam, hogy melyik cikkre szavazok. Bármit is mond, Doz nagyon jól ismeri a szoftvert, és tudja, hogyan kell nagyon intelligensen használni. De ma megtudtam, hogy intrika jelent meg a versenyben. Kiderült, hogy nem tudok szavazni, és erre csak az újonnan érkezők tehetik meg, akik 2011-ben vásárolták a szoftvert, és a versenyt nekik írták ki. Kicsit meglepődtem, de a tulajdonos úriember. A verseny egy reklámkampány, és Alexander jobban tudja, hogyan kell végrehajtani. Általában úgy döntöttem, hogy felteszek egy cikket, valamivel könnyebb írni, ha világos, hogy kinek, az egész kolhoz számára ez nem lehetséges. A php-Fusion üzemeltetője A Khroomer 7.07-es verziójában a program több új motorra is kiképzett: forum.biz, forum.biz, 1forum.biz, 7forum.biz stb. phpBB-fr.com, Solaris phpBB téma Az új dolgok tanulásának folyamata pedig folyamatos. "Támogatja az SMF 1.1.2" "Támogatja az SMF 1.1.3" "Az SMF 1.1 RC2 által üzemeltetett" "Támogatja az SMF 1.1.4" "Támogatja az SMF 1.1.8" "Támogatja az SMF 1.1.7" "2006-2008, Simple Machines LLC" És ez még nem minden. A motorverziók gyűjtése közben egyes SMF fórumokon a láblécben a „2001-2006, Lewis Media” feliratot találjuk. Ellenőrizzük ezt a kérést, ez is teljes mértékben kielégít bennünket. Hasonló kérést találunk: "2001-2005, Lewis Media". A lábléceket tovább nézve a következő kérést találjuk: „SMFone design by A.M.A, ported to SMF 1.1”. Ellenőrizzük – remek. Stb. Fél óra munka, és van egy csodálatos lekérdezési adatbázisa a motorhoz, és a Google sokkal ritkábban tiltja le ezeket a lekérdezéseket, mintha operátorokat használna bennük. Ugyanakkor az adatbázisa sokkal tisztább lesz, mintha olyan lekérdezéseket használna, mint az „index.php?topic=", mert itt a Google nemcsak a szükséges fórumokat adja meg, hanem sok baloldali forrást is, ahol ez lehetséges volt. hagyj linket a fórum témájához. Lehet ellenkezni, mi a baj ezzel? Mások hagytak linket, így mi is megtehetjük. De! A hivatkozásokat nem csak a Khrumer, hanem más programok is hagyhatják. Sőt, speciálisan egy-egy erőforráshoz, az úgynevezett magasan specializált szoftverhez is szabhatók megjegyzések, ráadásul az ilyen hivatkozásokat kézzel is el lehet hagyni. Ismétlem, nekünk nem a szemét mennyisége a fontos, hanem a minőség, a megfelelő kérésekkel gyűjtjük össze az adatbázist. Ennek a módszernek az az előnye, hogy gyakorlatilag nem kell konfigurálnia szita -szűrő
伟哥 - Viagra 吉他 - gitár 其他 - pihenés 保险公司 - biztosítás Helyezze be ezeket a helyettesítő kódokat a Words fájlba: %E4%BC%9F%E5%93%A5 %E5%90%89%E4%BB%96 %E5%85%B6%E4%BB%96 %E4%BF%9D%E9%99%A9%E5%85%AC%E5%8F%B8 Ha egy biztosítási weboldalt reklámoz, akkor a profiljában egy linket elhelyezve egy tematikus (!) akár kínai fórumon is talált kérésre " SMF fórum" 保险公司 nagyon jó lesz.
nyomtatja ki a "phpbb \n"
if ($adat =~ /
# $data =~ /viewforum\.php\?[^""]*f=\d+/i vagy
$adat =~ /phpBB\-SEO/i vagy
$adat =~ /)
;
nyomtatja ki az "ipb \n"
if ($adat =~ /
$adat =~ /
$adat =~ /
$adat =~ /index\.php\?[^""]*showforum=\d+/i)
;
print "vbulletin \n"
if ($adat =~ /Támogatja:?[^<]+vBulletin[^<]+(?:Version)?/i
vagy
$adat =~ /)
;
print "smf \n"
if ($adat =~ /
$adat =~ /index\.php\?[^""]*board=\d+\.0/i)
;
print "punbb \n"
if ($adat =~ /
# $data =~ /viewforum\.php\?[^""]*id=\d+/i);
print "fluxbb \n"
# if($data =~ /viewtopic\.php\?id=\d+/i vagy
if ( $adat =~ /
print "exbb \n"
if ($adat =~ /
# $adat =~ /fórumok\.php\?[^""]*fórum=\d+/i);
print "yabb \n"
if ($adat =~ /
$data =~ /YaBB\.pl\?[^""]*num=\d+/i ) ;
print "dleforum \n"
if ($adat =~ /\(Támogatja a DLE fórum\)<\/title>/én vagy
$adat =~ /
print "ikonboard \n"
if ($adat =~ /
$adat =~ /\n"
if ($adat =~ /\n"
# if($data =~ /fórumok\.php\?fid=\d+/i vagy
# $data =~ /topic\.php\?fid=\d+/i vagy
if ($adat =~ /
print "stokesit \n"
# if($data =~ /fórum\.php\?f=\d+/i vagy
if ($adat =~ /
print "pódium \n"
# if($data =~ /topic\.php\?t=\d+/i vagy
if ($adat =~ /
print "usebb \n"
# if($data =~ /fórum\.php\?id=\d+/i vagy
if ($adat =~ /
print "wrforum \n"
# if($data =~ /index\.php\?fid=\d+/i vagy
if ($adat =~ /
print "még egy másik fórum \n"
if ($data =~ /Még egy fórum\.net/i vagy
$adat =~ /default\.aspx\?g=posts&t=\d+/i)
;
site:talk.*.ru
site:board.*.ru
site:smf.*.ru
site:phpbb.*.ru
....
A hosszú bevezetés véget ért, most térjünk a lényegre.
Mire van szüksége egy kezdőnek, ha egy ilyen szuperkombájnt vásárolt, ami az Xrumer + Hrefer komplexum? Ez így van, tanuljon meg dolgozni rajta, és dobja el azt az illúziót, hogy pénzt kereshet, ha elkezd spamezni. Ha úgy gondolja, jobb, ha azonnal adományozza a pénzét jótékony célra. Meg kell tanulnia használni a komplexum eszközeit, lehetőleg saját magának élesíteni. A „vigyél többet – dobj tovább” ideje elmúlt. A mennyiség átadja a helyét a minőségnek. Ez azt jelenti, hogy összeállítunk magunknak egy bázist, ha ezt nem tanulod meg, lemaradsz a vonatról. Természetesen Khrefer segít nekünk ebben. Ha azt tervezi, hogy népszerűsíti erőforrásait a Google-on, akkor adományozó webhelyeket is kell keresnünk a Google-on keresztül. Szerintem ez érthető és logikus. De a Google, akárcsak a rézhegy úrnője, nem mindenkinek adja oda vagyonát. Megközelítés kell hozzá. Azonnal szeretném leszögezni, hogy ne reménykedj abban, hogy a nyilvánosság előtt talált jelek alapján gyűjthetsz valamit. Azért vannak nyilvánosan elérhetőek, mert értéktelenek. Nem fejlesztem tovább a témát. Jobb, ha elmondja, hogyan kell helyesen összeszerelni, hogy láthassa az eredményt, a többit maga dolgozza ki, a legfontosabb az elv megértése. Nekünk a konkrét motorok jellemzői alapján kell összegyűjtenünk a megfelelőket, és nem általában a fórumok jellemzői alapján. Ez a kezdők fő hibája - nem egy konkrét dologra koncentrálnak, hanem megpróbálnak mindent a maga teljességében lefedni. Továbbá, ha egy többé-kevésbé normális adatbázist szeretne elemezni, hagyja abba az operátorok használatát a lekérdezésekben. Nincs "inurl:", "webhely:", "cím" stb. A Google azonnal kitiltja a hozzád hasonló keresőket. Ezért alaposan tanulmányozzuk azokat a motorokat, amelyekkel Khrumer jelenleg dolgozik:
Általában elő kell készítenünk a megfelelő lekérdezéseket a Hrefer általi elemzéshez. Vegyük például a dizhok fórumot. SMF fórumok. És kezdjük szétszedni alkatrészekre az elemzéshez. Ebben segít nekünk szeretett Google-nk. Írjon be egy lekérdezést a Google-ba SMF fórumok- sok a szemét a keresési eredmények között, visszatekerünk valami 13. oldalra és kiválasztunk egy tetszőleges linket. Erre bukkantam: http://www.volcanohost.com/forum/index.php?topic=11.0. Nyissuk ki és tanulmányozzuk. Valami jellemzőt kell találnunk az oldalon, ami alkalmazható más oldalak keresésére ezen a motoron. A láblécben a következő feliratot vesszük észre Powered by SMF 1.1.14, idézze és írja be a Google-be, megmutatja nekünk, hogy szerint ez a kérés körülbelül 59 millió opciót tud. Gyorsan átnézzük a linkeket, hozzáadunk néhány további lehetőséget ehhez a kulcsszóhoz, például "SMF 1.1.14" nyárfa hajtja vagy "Powered by SMF 1.1.14" viagra. Gondoskodunk arról, hogy a kérés nagyszerű legyen, az eredmények csak fórumok és szinte semmi szemét.
Ráadásul minket nem a mennyiség érdekel, hanem a minőség, ahogy fentebb is mondtam. Menj tovább. Ugyanerről a fórumról vettünk egy másik kifejezést a láblécből: , mi is idézzük és beadjuk a Google-nek. Válaszul elárulja, hogy több mint 13 millió eredményt tud. Ismét gyorsan átnézzük az eredményeket, hozzáadunk további szavakat, és ellenőrizzük az eredményeket velük. Gondoskodunk arról, hogy a kérés kiváló legyen, és szinte semmi szemét se legyen. Általában már 2 vaskérés van. Azt javaslom, hogy egyelőre hagyja békén az első fórumot, és folytassa a kérések gyűjtését más fórumokról. Szerencsére kérésre nyitva tartjuk a Google-t. 2006-2008, Egyszerű gépek LLC. A keresési eredményekből vesszük például a következő fórumokat: http://www.snowlinks.ru/forum/index.php?topic=1062.0 és http://litputnik.ru/forum/index.php?action=printpage ;topic=380.0 a láblécekben a következő lekérdezéseket vesszük tőlük: "Powered by SMF 1.1.7" és "Powered by SMF 1.1.10" (a Hrefer lekérdezéseit mindig ajánlom idézőjelbe, mert először a minőségre van szükségünk minden). Azt hiszem, világos, hogy mit csinálunk, a végén lesz egy bizonyos lekérdezési adatbázisunk az SMF-motor fórumainak kereséséhez (ezt választották példaként, ugyanez más motorokkal).
Valahogy így fog kinézni: 
Úgy gondolom, hogy a Hrumer helyes használatának megtanulása a kezdeti szakaszban nagyon fontos, mert ha ezt megtanulja, mindig megtalálhatja a Hrumer hasznát, függetlenül attól, hogy a helyzet hogyan változik. A védelem egyre bonyolultabbá válik, és ha bizonyos típusú motoroknál a védelem megerősödött és nem képes megbirkózni vele Ebben a pillanatban Khrumer, akkor nincs értelme erőforrásokat költeni arra, hogy összegyűjtsd ezeket a linkeket, majd Khrumerrel dolgozz rajtuk, jobb az energiát arra koncentrálni, ami eredményt ad. Ugyanakkor, ha a Botmaster Labs csapata valami újat tanított a Khroomernek, gyorsan kiboncolhatja az új pácienst, és előkészítheti a bázist a Khroomer számára, amíg a beteg még meleg. Az idő pénz; előfordulhat, hogy az erőforrás már nem releváns az alap megvásárlásakor. összegyűjtött valaki. Ezenkívül az alapok megfelelő összegyűjtése önmagának jelentősen kiterjeszti a Khrumer „fehér” használatát. És pontosan itt mozog minden, akár tetszik, akár nem, és a fehéredés vagy az őszülés folyamata folyamatosan zajlik. A fekete lepedők minden lehetséges módon a múlté válnak.
A Hreferrel való munka minden egyéb technikai vonatkozása megtekinthető a súgóban, és nincs értelme rajtuk elidőzni, az összes célt, pontot, másodpercet kísérletileg állítják be minden autónál.
Bónuszként felteszek ide egy sablont a kínai Baidu kereső elemzéséhez, a minap megkérdeztek erről, szóval lazán csináltam, elnézést a szójátékért. :)
Gazdanév=http://www.baidu.com
Query=s?wd=
LinksMask=
TotalPages=100
Következő Oldal=
Következő Oldal2=
CaptchaURL=
CaptchaImage=
CaptchaField=
Megpróbáltam tesztelni őket, nem volt tiltás, a Khrefer gyorsan összegyűjtötte az erőforrásokat, minden elemzési lekérdezés hasonló volt a Google-éhoz, de rengeteg kínai forrás volt, magas PR-értékkel, és emellett sok olyan hely volt, ahol nem európai valaha is betette a lábát. Jobb a kínai lekérdezések elemzése. A Google fordító segít ebben, írja be a kulcsszavak listáját oroszul, és fordítsa le kínaira. Az igazság a " Szavak"Kínai nyelven nem adhatók hozzá a hivatkozó szavak, azokat újra kell kódolni.
Kínai helyett: 
Végezetül szeretném elmondani, hogy soha nem értettem azokat, akik panaszkodtak, hogy a Khrefer rosszul vagy rosszul sült meg; erre válaszul mindig azt akartam mondani, egyszerűen nem tudod, hogyan kell főzni. Egyetlen elemző sem gyűjthet jobb eredményeket, mint egy referáló; a kéréseknek csak helyesnek kell lenniük. A Hrefer egy autó: jó, masszív, német nyelvű, de egy ember vezeti, és minden attól függ, hogy mennyire jól vezetik, nem lehet rákényszeríteni az autót jobbra és balra egyszerre.
Külön téma az adatbázisok tisztítása, ezt egyszer 3 éve csináltam egy korábbi versenyen. Ott nagyrészt még mindig minden releváns, de most meg lehet tagadni a 200 OK ellenőrzését, nekem nem igazán tetszett ez a folyamat, nagyon nagy hibák voltak, sok felesleges dolgot kiszűrtek. Most ez szinte automatikusan megtehető a Khrumer működése során, bár ez a folyamat nem teljes analógja a „200 OK” ellenőrzésének. Mindenesetre a lényegre: nem sokkal ezelőtt egy csodálatos lehetőség jelent meg a Khrumerben - hogy egy projekt futtatásakor információkat raboljanak az erőforrásokból. Ez így néz ki. Megad egy sablont, amelyet működés közben feldolgozunk, és a sablonból összegyűjtött információk bekerülnek a Naplók mappában található xgrabbed.txt fájlba. Ezt a funkciót bármire használhatod, óriási a képzelet röpte. Ezt a funkciót hetente egyszer használom a hivatkozások eltávolítására a működő "lejárt" adatbázisomból. Nem titok, hogy a fórumok nap mint nap kihalnak annak érdekében, hogy adatbázisunkat megtisztítsák az ilyen erőforrásoktól, és ebben az esetben az „Autograbbing” eszköz segítségünkre lesz.
Végül is el kell ismernie, hogy amikor gyakran beírjuk például a http://www.laptopace.com/index.php címet, azt látjuk, hogy ez a tartomány már például egy jófiú, aki pénzt árul, de nincs fórum ott. Tehát, hogy ezt a salakot kidobjuk a bázisból, rabolni fogunk. :) Nyisd meg az oldal forráskódját és nézd meg ott ezt a bejegyzést:
Most már az összes goudaddi „halott embert” név szerint ismerjük.
Íme egy kis válogatás az Autograbbing eszközhöz, ha törölni szeretné az adatbázist a különböző „lejárt” tartományoktól: