Ebben a kézikönyvben megvizsgáljuk új webhelyünk hozzáadását a különféle keresőmotorokhoz való indexelés céljából.

Úgy döntöttem, hogy megemlítem a népszerű keresőmotorokat és azokat, amelyekről talán még nem hallott.

Webhelyindexelés a Yandexben

Webhely indexeléshez való hozzáadásához csak írja be a főoldal URL-jét és a captcha-t. A captcha néhány szám, amely megvéd az automatikus regisztrációtól. Miután rákattintott a "hozzáadás" gombra, több lehetőség is lehetséges az események fejlesztésére.

1) A „webhely hozzáadva” üzenet azt jelzi, hogy az erőforrást sikeresen hozzáadta a Yandex indexelési sorához.
2) Ha az „A tárhely nem válaszol” üzenet jelenik meg, az azt jelenti, hogy a szerver jelenleg nem működik. Megpróbálhat később hozzáadni egy webhelyet, vagy kereshet jobb tárhelyet.
3) De ha megjelenik egy üzenet, hogy "a megadott URL indexelése tilos", akkor a dolgok rosszak. Ez azt jelzi, hogy szankciókat szabtak ki az Ön erőforrására webhely-tiltás formájában. Nagyon valószínű, hogy a megvásárolt domainnek már volt egy webhelye, amely szankciókat kapott. Az addurl használatával a webmesterek gyakran ellenőrzik a webhelyek tiltását a Yandexben.

Webhelyindexelés a Google-ban (Google)

Oldalunk számára a következő legfontosabb a kereső Google rendszer(Google). A webhelynek a Google indexeléséhez való hozzáadásának folyamata pontosan ugyanaz, mint a Yandexen. A Google-nak is van saját adurilkája, amely a következő címen található: https://www.google.com/webmasters/tools/submit-url.

Hozzáadáskor meg kell adni a captcha kódot is. De van két különbség. Ha a Yandexben egyszerűen hozzáadhat egy URL-t felesleges gesztusok nélkül, akkor a Google-ban be kell jelentkeznie fiókjába. Különben nem fog működni. Ennek megfelelően, ha még nincs ott fiókja, akkor létre kell hoznia egyet. A második különbség a Google és a Yandex között az indexelési sebesség. A Google nagyon gyorsan indexeli a webhelyeket.

Webhelyindexelés a Ramblerben (Rambler.ru)

Persze a Rambler már nem olyan, mint régen, ahogy sokan mondják, és elég nagy forgalmat ad. És különben is, miért hagyjuk figyelmen kívül őket? A webhelyindexelés folyamata a Ramblerben a leghosszabb, a többi hazai keresőmotor között. Igen, és az adurilkája már régóta nem működik, a következő címen volt: robot.rambler.ru/cgi-bin/addsite.cgi

Hosszú ideje használja a Yandex kereső adatbázisát. Ezért a Rambler.ru indexbe való bejutáshoz elegendő, ha hozzáadja magát a Yandexhez.

Webhelyindexelés a Mail.ru-ban (Mail)

A Mail.ru keresőnek van webmesteri irodája is. A Mail.ru webhely indexelésére szolgáló webhely hozzáadása az addurl űrlapon keresztül történik, amely a következő címen található: go.mail.ru/addurl

Sőt, a Google-hoz hasonlóan, ha indexelési alkalmazást szeretne készíteni, létre kell hoznia saját fiókját, és be kell jelentkeznie. Különben nem fog működni. Mile az utóbbi időben saját webmestereszközöket próbált kifejleszteni.

Fentebb megvizsgáltuk azokat a főbb hazai keresőket, amelyekben szeretnénk indexelni oldalunkat. A következő PS-ek inkább az általános SEO műveltségre vonatkoznak, mint a konkrét tevékenységekre.

Aport.ru keresőmotor (Aport)

Az Aport.ru egykor keresőmotor volt, saját indexbázissal és adurilkával. Most egy termékkeresőt készítettek belőle, amelyben áruk és szolgáltatások árait lehet összehasonlítani.

Keresőmotor Nigma.ru (Nigma)

A Nigma.ru a mi orosz intelligens keresőnk. Forgalmának teljes mennyisége körülbelül napi hárommillió kérés. Nyilvánvalóan a Nigma felől érkező forgalmat nem szabad elhanyagolni. Hozzáadhatja webhelyét indexeléshez a Nigmában a nigma.ru/index_menu.php?menu_element=add_site címen.

Médianavigátor Tagoo.ru

A Tagoo.ru rendszer egy médiakereső, amely médiaadatokat keres. Ezek zenei tartalmak, videók és programok. Ahhoz, hogy webhelyét a Tagoo rendszer indexelje, a következő hozzáadási űrlapot kell használnia: tagoo.ru/ru/webmaster.php?mode=add_site.

Turtle.ru kereső (Turtle)

A Turtle (Turtle) nemzetközi keresőmotor a FÁK-országokra keres bármilyen nyelven. A következő tartományzónákon található erőforrások: ru, su, ua, am, az, ge, by, kz, kg, uz, md elfogadhatók az indexeléshez. A teknős indexeléséhez szükséges webhely hozzáadásához az adurillát kell használnia: http://www.turtle.ru/add.html. Célszerű megvárni az oldal elfogadásáról szóló üzenetet. Lehet, hogy nem tesz hozzá, de nem fog tudni.

Külföldi keresők

Ha fent voltak a hazai keresők, akkor lent lesz a külföldi keresők listája.

Yahoo.com keresőmotor (Yahoo)

Bing.com keresőmotor (Bing)

keresőmotor Bing rendszer a Microsoft Corporation tulajdonában van, és az Élő keresés helyére jött létre. A Microsoft reméli, hogy az új ötletgazda sokkal népszerűbb lesz, mint elődje. Ha szeretné, hogy Bing.com webhelye indexelve legyen, ezt a http://www.bing.com/toolbox/submit-site-url oldalon teheti meg.

Ukrán keresők

És az áttekintésem végén két népszerű keresőmotort mutatok be Ukrajnában.

Ukrán kereső, Meta.ua (Meta)

Nagyon fontos, hogy webhelyének minden oldala indexelve legyen kereső motorok(Yandex, Google stb.).

• Először is, ha az oldal nincs az indexben, akkor az emberek nem fogják megtalálni, és Ön időt (és esetleg pénzt) vesztegetett a létrehozására, kitöltésére és tervezésére. Az index minden oldala látogatói forrás.
• Másodszor, ha az oldal nem szerepel az indexben, ez technikai problémákat jelezhet a webhelyen, például duplikált tartalom, webhely vagy tárhely hibái.
• Harmadszor, ez az oldal technikai szerepet tölthet be, például részt vehet egy linkelési rendszerben (vagy tartalmazhat fizetett linkeket, amelyekért nem kap pénzt, ha az oldal nem szerepel az indexben).

Ügyfelekkel dolgozva többször találkoztam azzal a ténnyel, hogy az indexelési problémák miatt rossz pozíciók voltak. Ez technikai probléma, amit az együttműködés első hónapjában szoktam korrigálni, aminek köszönhetően a 2. hónaptól érezhető a látogatók és pozíciók növekedése.

Az alábbiakban megvizsgálom a kézi és automatizált módszereket az oldalak indexelésének ellenőrzésére a Yandex és a Google rendszerben. megmutatom hogyan ellenőrizhető a webhely indexeléseáltalában és minden oldalt külön-külön.

Hogyan lehet megtudni az oldalak számát a webhelyen

Ez többféleképpen is megtehető:

Most, hogy ismerjük az oldalak tényleges számát, ellenőriznünk kell, hányan vannak indexelve a Yandexben és a Google-ban

A webhely egészének indexelését nézzük

Ebben az esetben tudni fogjuk a webhely hány oldala van indexelve a keresőben. Mit ad ez nekünk? Az oldal tényleges oldalszámának ismeretében össze tudjuk hasonlítani, hogy az megfelel-e az indexelt oldalak számának. És ha egyezik, akkor minden rendben van, és ha nem, akkor foglalkoznia kell a problémával, és meg kell találnia, hogy mely oldalak hiányoznak (vagy melyik oldalak ismétlődnek).

Webhelyindexelés a Yandexben

Többféleképpen.

Amint láthatja, az adatok kissé eltérnek. Ez annak köszönhető, hogy az Ön webhelyének url: buildje nem csak oldalakat, hanem más típusú fájlokat is (doc, xls, jpg stb.) jelenít meg. A webmester pontosan mutatja az oldalak számát.

Webhelyindexelés a Google-ban

Itt, hasonlóan a Yandexhez, 2 mód van:

• A site:your site konstrukció manuális használata. A hatás nagyjából ugyanaz lesz, mint a Yandex esetében.
• A Google Webmestereszközök használata https://www.google.com/webmasters/(hasonlóan a Yandex.Webmasterhez)

automatikus módokon

Mi a következő lépés

Most, hogy tudjuk, hogy a tényleges szám hány oldala van indexelve, 3 helyzet adódhat:

1. Az oldalak száma a keresőmotorokban és az oldalon azonos. Ez egy ideális lehetőség, így minden rendben van az oldallal.
2. Az indexelt oldalak száma kevesebb. Ez azt jelenti, hogy problémák vannak az oldallal (a legnépszerűbb probléma a nem informatív vagy nem egyedi tartalom)
3. Az indexelt oldalak száma nagyobb. Valószínűleg az oldalak sokszorosításával van gond, pl. egy oldal több címmel is elérhető. Ez rossz az előléptetéshez, mert az oldal statikus súlya elmosódott, ráadásul sok az ismétlődő tartalommal rendelkező oldal.

A webhely további diagnosztizálásához tudnunk kell, hogy mely oldalak vannak pontosan indexelve, és melyek nem szerepelnek az indexben.

Hogyan ellenőrizhető egy oldal indexelése

Erre akkor lehet szükségünk, ha meg akarunk nézni egy adott oldalt webhelyünkön (például nemrégiben közzétett) vagy valaki más webhelyének oldalát (például ahol vásároltunk egy linket, és az indexelésre várunk)

Hogyan ellenőrizheti az összes oldal indexelését egyenként

Ebben az esetben a webhely összes oldalát egyszerre ellenőrizzük az indexelés szempontjából, és ennek eredményeként megtudjuk mely konkrét oldalak nincsenek indexelve a keresőben.

Itt nem csak a tényleges oldalak számát kell tudnunk az oldalon, hanem ezen oldalak címeinek listáját is (url-jeik). Valószínűleg ez a cikk legnehezebb része. Úgy tűnt, hogy az oldaltérkép elkészítésekor megkaptuk az oldalak listáját, de az ott található címek nem tiszta formában vannak, és valamilyen adatfeldolgozó programmal kell dolgozni a kibontásukhoz. Ezért egy másik programot fogunk használni.

Hogyan kaphat listát a webhely összes oldaláról

A hivatkozások összegyűjtése előtt konfigurálnia kell a Minták kizárása paramétert. Ez azért történik, hogy a felesleges hivatkozásokat kizárjuk gyűjtéskor, például az én esetemben, amikor sok címet gyűjtünk össze a következő űrlappal: https://website/prodvizhenie/kak-prodvigayut-sajjty.html? replytocom=324#respond, amelyek megjegyzést jeleznek az oldalon. És csak az oldal URL-je kell. Ezért beállítottam a címek kizárását a *replytocom* maszkkal:

Ezután elkezdjük gyűjteni az url-eket, és amikor a program befejezte a gyűjtést, menjünk a Yahoo Map / Text fülre és onnan másoljuk ki a címeket (A mentés gomb nem működik, mert használjuk ingyenes verzió programok)

Most már minden oldal címe megvan.

Az oldalindexelés automatikus ellenőrzése

Itt minden egyszerű. A program elindítása után adja hozzá a webhely utolsó lépésben összegyűjtött URL-jeit, és adja hozzá a kezdeti URL-ek listájához. A program lehetővé teszi az indexelés ellenőrzését a Yandexben, a Google-ban és a Ramblerben, kiválaszthatja a keresett keresőmotort, és futtathatja az ellenőrzést:

Miután megkaptuk az indexben nem szereplő oldalak listáját, meg kell értenünk, miért történt ez. Ha minden rendben van az oldallal, akkor ahhoz, hogy bekerüljön az indexbe, vásárolhat linkeket, vagy több retweetet pumpált fiókokból.

Következtetés

A webhely oldalainak indexelésének ellenőrzése lehetővé teszi, hogy hatékonyabban dolgozzon a keresőmotorokkal, valamint kiszámítsa a webhely meglévő problémáit.

Mi az indexelés? Ez az a folyamat, amellyel webhelye oldalainak tartalma eljut a robothoz, és bekerül a keresési eredmények közé. Ha rátérünk a számokra, akkor az indexelő robot adatbázisa több billió oldalcímet tartalmaz. A robot naponta több milliárd ilyen címet kér le.

De az internet indexelésének ez az egész nagy folyamata apró lépésekre osztható:

Először is, az indexelő robotnak tudnia kell, hogy mikor jelent meg egy oldal a webhelyén. Például más oldalak indexelésével az interneten, hivatkozások keresésével vagy a beállított nemp letöltésével. Megtudtuk az oldalt, ami után azt tervezzük, hogy megkerüljük ezt az oldalt, adatokat küldünk a szerverére, hogy lekérjük az oldal ezen oldalát, megszerezzük a tartalmat és bekerüljük a keresési eredmények közé.

Ez az egész folyamat az indexelő robot és a webhely cseréje. Ha az indexelő robot által küldött kérések gyakorlatilag nem változnak, és csak az oldal címe változik, akkor a szerver válasza a robot oldalkérésére számos tényezőtől függ:

• a CMS beállításaiból;
• a tárhelyszolgáltató beállításaiból;
• egy köztes szolgáltató munkájából.

Ez a válasz változik. Először is, amikor oldalt kér, a robot a következő szolgáltatási választ kapja az Ön webhelyéről:

Ezek HTTP-fejlécek. Különféle szolgáltatási információkat tartalmaznak, amelyek egyértelművé teszik a robot számára, hogy most milyen tartalom kerül továbbításra.

Az első fejlécre szeretnék összpontosítani – ez egy HTTP-válaszkód, amely jelzi az indexelő robotnak a robot által kért oldal állapotát.

A HTTP-kódoknak több tucat ilyen állapota létezik:

A legnépszerűbbekről fogok beszélni. A leggyakoribb válaszkód a HTTP-200. Az oldal elérhető, indexelhető, bekerülhet a találatok közé, minden rendben.

Ennek az állapotnak az ellenkezője a HTTP-404. Hiányzik az oldal az oldalról, nincs mit indexelni, nincs mit beletenni a keresésbe sem. A webhely szerkezetének megváltoztatásakor és a belső oldalak címeinek megváltoztatásakor javasoljuk, hogy állítson be egy 301-es szervert az átirányításhoz. Csak rá fogja mutatni a robotnak régi oldalúj címre költözött, és az új címet fel kell tüntetni a keresési eredmények között.

Ha az oldal tartalma nem változott azóta, hogy a robot utoljára felkereste az oldalt, a legjobb, ha HTTP-304 kódot küld vissza. A robot megérti, hogy nem szükséges frissíteni az oldalt a keresési eredmények között, és a tartalom sem kerül átvitelre.

Ha webhelye rövid ideig elérhető, például amikor valamilyen munkát végez a szerveren, a legjobb a HTTP-503 konfigurálása. Jelzi a robotnak, hogy az oldal és a szerver most nem elérhető, kicsit később kell mennie. Rövid távú elérhetetlenség esetén ez megakadályozza az oldalak kizárását a keresési eredmények közül.

Ezeken a HTTP-kódokon, oldalállapotokon kívül magának az oldalnak a tartalmát is közvetlenül meg kell szereznie. Ha egy normál látogató számára az oldal így néz ki:

ezek képek, szöveg, navigáció, minden nagyon szép, akkor az indexelő robot számára bármelyik oldal csak egy forráskód, HTML kód halmaza:

Különféle meta tagek, szöveges tartalom, linkek, szkriptek, sok információ. A robot összegyűjti és beviszi a keresési eredmények közé. Úgy tűnik, minden egyszerű, oldalt kértek - megkapták a státuszt, megkapták a tartalmat, bekerültek a keresésbe.

De nem ok nélkül a szolgáltatásban kereső szolgáltatás A Yandex több mint 500 levelet kap webmesterektől és webhelytulajdonosoktól, amelyekben azt állítják, hogy bizonyos problémák merültek fel a szerver válaszával.

Mindezek a problémák két részre oszthatók:

Ezek a HTTP-válaszkóddal és a HTML-kóddal, az oldalak közvetlen tartalmával kapcsolatos problémák. Ezeknek a problémáknak számos oka lehet. A leggyakoribb az indexelő robot letiltása a tárhelyszolgáltató által.

Például elindított egy webhelyet, hozzáadta új szakasz. A robot gyakrabban kezdi felkeresni az Ön oldalát, növeli a szerver terhelését. A tárhelyszolgáltató ezt látja a megfigyelésén, blokkolja az indexelő robotot, és ezért a robot nem tud hozzáférni az Ön webhelyéhez. Megy az erőforráshoz - minden rendben van, minden működik, az oldalak gyönyörűek, minden megnyílik, minden szuper, a robot nem tudja egyszerre indexelni az oldalt. Ha az oldal átmenetileg nem elérhető, például ha elfelejtett fizetni Domain név Az oldal néhány napja leállt. A robot az oldalra érkezik, nem elérhető, ilyen feltételek mellett egy idő után szó szerint eltűnhet a keresési eredmények közül.

Helytelen CMS beállítások, például frissítéskor vagy másik CMS-re váltáskor, a dizájn frissítésekor azt is okozhatják, hogy az oldalad oldalai eltűnnek a keresési eredmények közül, ha a beállítások nem megfelelőek. Például egy tiltó metacímke jelenléte a webhely oldalainak forráskódjában, a kanonikus attribútum helytelen beállítása. Ellenőrizze, hogy a webhelyen végzett összes módosítás után az oldalak elérhetőek-e a robot számára.

A Yandex eszköze segít ebben. Webmester a szerver válaszának ellenőrzéséhez:

Láthatja, hogy a szerver milyen HTTP-fejléceket küld vissza a robotnak, közvetlenül az oldalak tartalmát.

Az "indexelés" rész statisztikát tartalmaz, ahol megtekintheti, hogy mely oldalak kerültek kizárásra, ezen mutatók változásának dinamikája, valamint különféle rendezések és szűrések.

Ezenkívül ma erről a szakaszról, a „helyi diagnosztika” szakaszról beszéltem. Ha webhelye elérhetetlenné válik a robot számára, értesítést és ajánlásokat fog kapni. Hogyan lehet ezt korrigálni? Ha nincs ilyen probléma, az oldal elérhető, válaszol a 200-as kódokra, megfelelő tartalmat tartalmaz, akkor a robot elindul automatikus üzemmód keresse fel az összes általa felismert oldalt. Ez nem mindig vezet a kívánt következményekhez, így a robot tevékenysége bizonyos módon korlátozható. Ehhez létezik egy robots.txt fájl. A következő részben beszélünk róla.

Robots.txt

Maga a robots.txt fájl kicsi Szöveges dokumentum, az oldal gyökérmappájában fekszik, és szigorú szabályokat tartalmaz az indexelő robotra vonatkozóan, amelyeket be kell tartani az oldal feltérképezésekor. A robots.txt fájl előnye, hogy nem igényel speciális és speciális ismereteket a használatához.

Elég megnyitni a Jegyzettömböt, megadni bizonyos formátumszabályokat, majd egyszerűen elmenteni a fájlt a szerverre. A nap folyamán a robot elkezdi használni ezeket a szabályokat.

Ha példát veszünk egy egyszerű robots.txt fájlra, akkor itt van, csak a következő dián:

A User-Agent:” direktíva megmutatja, hogy mely robotokra vonatkozik a szabály, az engedélyezési/megtagadási direktívák, valamint a Sitemap és Host segéddirektívák. Egy kis elmélet, szeretnék áttérni a gyakorlatra.

Néhány hónapja lépésszámlálót akartam venni, ezért a Yandexhez fordultam. Keressen segítséget a választáshoz. Átkerült a Yandex főoldaláról a Yandexre. Market és a szolgáltatás főoldalára került.

Alább annak az oldalnak a címe látható, ahova jártam. Magának a szolgáltatásnak a címéhez az én, mint felhasználó azonosítója is hozzáadásra került.

Aztán átmentem a "katalógus" részhez

Kiválasztotta a kívánt alrészt, és beállította a rendezési lehetőségeket, árat, szűrőt, rendezési módot, gyártót.

Megkaptam a termékek listáját, és az oldal címe már nőtt.

Odamentem a kívánt termékhez, rákattintottam a „kosárba” gombra és folytattam a pénztárat.

Rövid utazásom során az oldalcímek bizonyos módon megváltoztak.

Szolgáltatási paraméterek kerültek hozzájuk, amelyek felhasználóként azonosítottak, rendezést állítottak be, jelezték az oldal tulajdonosának, hogy honnan mentem az oldal erre vagy arra az oldalára.

Az ilyen oldalak, szerviz oldalak szerintem nem nagyon fogják érdekelni a keresőket használókat. De ha az indexelő robot rendelkezésére állnak, akkor bekerülhetnek a keresésbe, mert a robot valójában felhasználóként viselkedik.

Felmegy egy oldalra, meglát egy hivatkozást, amelyre rákattinthat, rámegy, betölti az adatokat a robot adatbázisába, és folytatja az egész oldal megkerülését. Az ilyen címek azonos kategóriájába tartozhatnak a felhasználók személyes adatai is, például szállítási információk, vagy a felhasználók elérhetőségei.

Természetesen jobb, ha betiltjuk őket. Csak ebben segít a robots.txt fájl. Ma este a Webmester befejezése után felkeresheti az oldalát, kattintson, nézze meg, mely oldalak valóban elérhetők.

A robots.txt ellenőrzéséhez van egy speciális eszköz a Webmesterben:

Letöltheti, beírhatja az oldalcímeket, megnézheti, hogy elérhetők-e a robot számára vagy sem.

Végezzen néhány változtatást, és nézze meg, hogyan reagál a robot ezekre a változásokra.

Hibák a robots.txt fájl használatakor

Az ilyen pozitív hatáson kívül – a szolgáltatási oldalak bezárása mellett – a robots.txt, ha rosszul kezelik, kegyetlen tréfát is játszhat.

Először is, a robots.txt használatakor a leggyakoribb probléma a webhely azon oldalainak bezárása, amelyekre valóban szükség van, azokat, amelyeknek a keresésben kell lenniük és a kérésekre meg kell jelenniük. Mielőtt módosítaná a robots.txt fájlt, győződjön meg arról, hogy a bezárni kívánt oldal nem vesz-e részt a keresésben, és megjelenik-e a keresési lekérdezések során. Lehet, hogy egy bizonyos paraméterekkel rendelkező oldal szerepel a keresési eredmények között, és a látogatók a keresésből érkeznek rá. Ezért a robots.txt használata és módosítása előtt feltétlenül ellenőrizze.

Másodszor, ha a webhelyén cirill betűs címeket használnak, akkor ezeket nem tudja közvetlenül megadni a robots.txt fájlban, ezeket kódolni kell. Mivel a robots.txt egy nemzetközi szabvány, minden indexelő robot ezt követi, ezért mindenképpen kódolni kell. A cirill ábécé nem adható meg kifejezetten.

A harmadik legnépszerűbb probléma a különböző keresőmotorok különböző robotjaira vonatkozó eltérő szabályok. Az egyik indexelő robotnál az összes indexelő oldal be volt zárva, a másodiknál ​​pedig semmi sem. Ennek eredményeként minden rendben van egy keresőben, a keresésben kívánt oldalt, egy másik keresőben pedig lehet kuka, különféle szemetes oldalak, valami más. Mindenképpen kövesse, ha tiltást állít be, azt minden indexelő robotnál meg kell tenni.

A negyedik leggyakoribb probléma a Crawl-delay direktíva használata, amikor nem szükséges. Ez az utasítás lehetővé teszi, hogy befolyásolja a lekérdezések tisztaságát az indexelő robot részéről. azt gyakorlati példa, egy kis oldal, egy kis tárhelyre helyeztem, minden rendben van. tette hozzá nagy katalógus, jött a robot, látott egy csomó új oldalt, gyakrabban kezd hozzáférni az oldalhoz, növeli a terhelést, letölti és az oldal elérhetetlenné válik. Beállítjuk a Crawl-delay direktívát, a robot ezt látja, csökkenti a terhelést, minden rendben, az oldal működik, minden tökéletesen indexelve van, a keresési eredmények között van. Egy idő után a webhely még tovább növekszik, átkerül egy új tárhelyre, amely készen áll ezeknek a kéréseknek a kezelésére, nagy számú kéréssel, és a feltérképezés késleltetési direktíváját elfelejtik eltávolítani. Ennek eredményeként a robot megérti, hogy sok oldal jelent meg az Ön webhelyén, de egyszerűen az utasításkészlet miatt nem tudja őket indexelni. Ha valaha is használta a Crawl-delay direktívát, ellenőrizze, hogy ez most megszűnt-e, és hogy a szolgáltatása készen áll-e az indexelő robot terhelésének kezelésére.

A leírt funkciókon kívül a robots.txt fájl két nagyon fontos feladat megoldását is lehetővé teszi - megszabadulni a duplikátumoktól a webhelyen, és megadni a fő tükör címét. Pontosan erről lesz szó a következő részben.

Dupla

Az ismétlődések alatt ugyanazon webhely több olyan oldalát értjük, amelyek teljesen azonos tartalmat tartalmaznak. A leggyakoribb példa az oldalak perjellel a cím végén vagy anélkül. A másodpéldány ugyanazt a terméket is felfoghatja különböző kategóriákban.

Például a görkorcsolya lehet lányoknak, fiúknak ugyanaz a modell lehet egyszerre két szekcióban. És harmadszor, ezek jelentéktelen paraméterekkel rendelkező oldalak. Mint a Yandex példájában. Marketingesítse ezt az oldalt "munkamenet azonosító", ez a paraméter elvileg nem változtatja meg az oldal tartalmát.

Az ismétlődések észleléséhez nézze meg, hogy a robot mely oldalakhoz fér hozzá, használhatja a Yandexet. Webmester.

A statisztikákon kívül a robot által betöltött oldalak címei is megtalálhatók. Látja a kódot és az utolsó hívást.

Problémát a duplikációk okoztak

Miért rosszak a másolatok?

Először is, a robot elkezd hozzáférni a webhely teljesen azonos oldalaihoz, ami további terhelést okoz nemcsak a szerverén, hanem a webhely egészének megkerülésére is hatással van. A robot a duplikált oldalakra kezd figyelni, nem pedig azokra az oldalakra, amelyeket indexelni kell és szerepeltetni kell a keresési eredményekben.

A második probléma, hogy a duplikált oldalak, ha elérhetők a robot számára, bekerülhetnek a keresési eredmények közé, és felvehetik a versenyt a főoldalakkal a lekérdezésekért, ami természetesen negatívan befolyásolhatja bizonyos lekérdezések esetén a megtalált oldalt.

Hogyan kezelheti a duplikációkat?

Először is azt tanácsolom, hogy használja a „canonical” címkét annak érdekében, hogy a robot a fő, kanonikus oldalra mutasson, amelyet indexelni kell, és a lekérdezések keresésében kell lennie.

A második esetben 301-es szerver-átirányításokat használhat, például olyan helyzetekben, amikor a cím végén perjel van, és perjel nélkül. Átirányítás telepítve – nincsenek ismétlődések.

Harmadszor pedig, ahogy mondtam, ez a robots.txt fájl. Mind a disable direktívák, mind a Clean-param direktíva segítségével megszabadulhat a lényegtelen paraméterektől.

Helyszíntükrök

A második feladat, amelyet a robots.txt lehetővé tesz, hogy a robotot a főtükör címére irányítsa.

A tükrök olyan webhelyek csoportja, amelyek teljesen azonosak, mint az ismétlődések, csak két különböző webhely. A webmesterek általában két esetben találkoznak tükrökkel – amikor új tartományra szeretnének költözni, vagy amikor a felhasználónak több webhelycímet kell elérhetővé tennie.

Tudja például, hogy a felhasználók, amikor beírják az Ön címét, beírják a webhely címét címsor, gyakran elkövetik ugyanazt a hibát – le vannak pecsételve, rossz karaktert tesznek fel, vagy valami mást. Vásárolhat további domaint, hogy a felhasználóknak ne egy tárhelyszolgáltatótól származó csonkot jelenítsen meg, hanem azt a webhelyet, amelyre valóban fel akartak menni.

Maradjunk az első pontnál, mert a tükrökkel végzett munka során leggyakrabban vele merülnek fel problémák.

Azt tanácsolom, hogy végezze el a teljes költözési folyamatot következő utasítás. Egy kis útmutató, amely segít elkerülni különféle problémákúj domain névre költözéskor:

Először is elérhetővé kell tenni az oldalakat az indexelő robot számára, és teljesen azonos tartalmat kell elhelyezni rajtuk. Győződjön meg arról is, hogy a robot tud a webhelyek létezéséről. A legegyszerűbb módja, ha hozzáadja őket a Yandexhez. Webmester, és erősítse meg a hozzájuk fűződő jogokat.

Másodszor, a Host direktíva használatával irányítsa a robotot a fő tükör címére - arra, amelyet indexelni kell, és a keresési eredmények között kell lennie.

Várjuk az összes mutató ragasztását, áthelyezését a régi telephelyről az újra.

Ezt követően már beállíthat egy átirányítást a régi címről az újra. Egyszerű utasítások, ha költözik, feltétlenül használja. Remélem nincs gond vele
mozgó.

De természetesen hibák fordulnak elő a tükrökkel való munka során.

Mindenekelőtt a fő probléma az, hogy az indexelő robotnak nincsenek kifejezett utasításai a fő tükör címére, arra a címre, amelynek szerepelnie kell a keresésben. Ellenőrizze webhelyein, hogy van-e host direktíva a robots.txt fájlban, és az arra a címre vezet, amelyet látni szeretne a keresésben.

A második leggyakoribb probléma az átirányítás használata a tükör meglévő csoportjában a főtükör megváltoztatására. Mi történik? A régi címet, mivel átirányít, a robot nem indexeli, kihagyja a keresési eredmények közül. Ugyanakkor az új oldal nem kerül be a keresésbe, mert nem főtükör. Forgalmat veszít, látogatókat veszít, szerintem ez senkinek sem kell.

A harmadik probléma pedig az egyik tükör elérhetetlensége mozgás közben. A leggyakoribb példa erre az esetre, amikor az oldal tartalmát egy új címre másolták, és a régi címet egyszerűen letiltották, a domain névért nem fizettek, és elérhetetlenné vált. Az ilyen oldalak természetesen nem lesznek ragasztva, elérhetőnek kell lenniük az indexelő robot számára.

Hasznos linkek működés közben:

• Több hasznos információ megtalálja a Yandex.Help szolgáltatásban.
• Minden eszköz, amelyről beszéltem, és még több - létezik a Yandex.Webmaster béta verziója.

Válaszok kérdésekre

Köszönöm a beszámolót. Be kell zárnom a CSS-fájlok indexelését a robots.txt fájlban, vagy sem?

Jelenleg nem javasoljuk ezek bezárását. Igen, jobb elhagyni a CSS-t, JavaScriptet, mert most azon dolgozunk, hogy az indexelő robot felismerje az oldaladon lévő szkripteket és a stílusokat is, úgy lássa, mint egy látogató egy normál böngészőből.

"Mondd meg, ha a webhelycímek URL-jei megegyeznek a réginél és az újnál, ez normális?".

Rendben van. Valójában csak frissíteni kell a dizájnt, hozzáadni egy kis tartalmat.

„Az oldalnak van kategóriája, és több oldalból áll: perjel, 1. oldal, 2. oldal, például 10-ig. Minden oldalon egy kategóriájú szöveg található, és az ismétlődőnek bizonyul. Ez a szöveg másodpéldány lesz, vagy le kell zárni valahogy, új index a második és további oldalakon?

Először is, mivel az első oldal oldalszámozása és a második oldal tartalma általában eltérő, nem lesznek ismétlődések. De ki kell számolnia, hogy a második, harmadik és további oldalszámozási oldal bekerülhet a keresésbe, és bármilyen releváns kérésre megjelenhet. A lapozási oldalakon jobb esetben a canonical attribútumot javaslom, jó esetben az összes terméket tartalmazó oldalon, hogy a robot ne vegyen bele a lapozó oldalakat a keresésbe. Az emberek nagyon gyakran a kanonikust használják az oldalszámozás első oldalán. A robot a második oldalra jön, látja a terméket, látja a szöveget, nem vesz fel oldalakat a keresésbe, és az attribútum miatt megérti, hogy ez az első oldalszámozási oldal, aminek szerepelnie kell a keresési eredmények között. Használj kanonikust, és zárd be magát a szöveget, szerintem nem szükséges.

Forrás (videó): A webhelyindexelés beállítása- Alekszandr Szmirnov

Magomed Cserbizsev

Ebből az anyagból megtudhatja:

• Mi az indexelés
• Webhely hozzáadása az adatbázishoz
• Hogyan lehet felgyorsítani az indexelést

Mi az indexelés?

Hogyan lehet webhelyet hozzáadni az adatbázishoz?

1. Várja meg az önindexelést. Előbb-utóbb a robotok megtalálják az Ön webhelyét - ehhez csak aktív hivatkozásokat kell hagynia más forrásokból. Úgy gondolják, hogy minél több link, annál gyorsabb lesz az indexelés.
2. Adjon hozzá egy webhelyet manuálisan egy speciális űrlap kitöltésével a keresőmotorban. Ott meg kell adnia egy hivatkozást az oldalra és rövid tájékoztatás róla. A Yandexben például ez a szolgáltatásban történikYandex webmester Az oldalon Új webhely bejelentése .

Hogyan lehet felgyorsítani az indexelést?

1. Egyedi tartalom, amelyet a keresőmotorok annyira szeretnek. Egy pont: ha közzétett egy cikket egy webhelyen vagy blogon, és még nincs indexelve, akkor elméletileg bárki ellophatja és tárolhatja. Ha egy másik webhelyen a cikket korábban indexelték, akkor a tartományon belül van. A cikked nem egyedinek minősül, és a versenyző csokoládéban marad.
2. Világos webhelystruktúra. Kövesse a három kattintás szabályát: minden oldalra legfeljebb három kattintással juthat el a fő oldalról. A kevesebb jó, a több jobb nem! Ez megkönnyíti a keresőmotorok számára, hogy ne csak a főoldalt, hanem más oldalakat is indexeljenek.
3. Linkelés innen belső oldalak- hasznos mind a látogatók, mind a robot számára.
4. Bejegyzések sugárzása RSS-könyvtárakba. Minden bejegyzése megkettőződik RSS-könyvtárakba, ahol RSS-hírcsatornák kerülnek hozzáadásra. Ezek a hírcsatornák a blog- vagy webhelyfrissítésekre való feliratkozáshoz, hogy megkapja a legfrissebb leveleket. Segítségükkel a kereső gyorsan megtalálja új cikkeit és indexeli azokat.

Íme egy példa a sikeres indexelésre

Általánosságban elmondható, hogy ha az erőforrásod jó, jól elkészített, akkor nem lehet probléma az indexelésével. Ha a webhely, bár nem 100%, de megfelel a keresőmotorok követelményeinek - „az emberek számára”, akkor örömmel néznek rád a fényre, és indexelnek minden újdonságot, ami hozzáadásra kerül.

De akárhogy is legyen, a webhely népszerűsítésének első lépése az, hogy hozzáadja a PS-indexhez. Amíg az erőforrás nincs indexelve, nagyjából nincs mit reklámozni, mert a keresőmotorok egyáltalán nem fognak tudni róla. Ezért ebben a cikkben megvizsgálom, hogy mi a webhelyindexelés a Yandexben, és hogyan kell beküldeni egy erőforrást az indexeléshez. Azt is elmondom, hogyan ellenőrizheti, hogy egy webhely vagy egy külön oldal szerepel-e a Yandex indexében, és mit kell tenni a Yandex indexelésének felgyorsítása érdekében.

Egy webhely Yandexben való indexelése a webhely megkerülése a Yandex keresőmotor robotjai által, és az összes nyitott oldalak a bázisra. Az orosz keresőpók adatokat ad az adatbázishoz az oldalról: oldalait, képeit, videóit, keresésre elérhető dokumentumait. Ezenkívül a keresőbot olyan hivatkozások és egyéb elemek indexelésével foglalkozik, amelyek nincsenek lezárva speciális címkékkel és fájlokkal.

Az erőforrások indexelésének fő módjai:

Kénytelen - el kell küldenie a webhelyet indexelésre a Yandexben egy speciális űrlapon keresztül.

Természetes – a keresőpók képes önállóan megtalálni az Ön webhelyét, a webhelyre mutató külső források segítségével.

A webhely Yandexben való indexelésének ideje mindenki számára más, és néhány órától több hétig terjedhet.

Ez sok tényezőtől függ: milyen értékek vannak a Sitemap.xml-ben, milyen gyakran töltődik ki az erőforrás, milyen gyakran jelenik meg a webhely említése más erőforrásokon. Az indexelési folyamat ciklikus, így a robot (gyakorlatilag) egyenlő időközönként érkezik hozzád. De milyen gyakorisággal - a fent említett tényezőktől és az adott robottól függ.

A pók indexelheti a teljes webhelyet (ha kicsi) vagy egy külön szakaszt (ez az online áruházakra vagy a médiára vonatkozik). A gyakran frissített forrásokon, mint például a média ill információs portálokélőben, az úgynevezett gyorsrobotok a webhelyek gyors indexeléséhez a Yandexben.

Néha a projekt technikai problémákat (vagy a szerverrel kapcsolatos problémákat) tapasztalhat, ebben az esetben a webhely Yandex indexelése nem történik meg, ami miatt a keresőmotor a következő forgatókönyvhöz folyamodhat:

• azonnal dobja ki a nem indexelt oldalakat az adatbázisból;
• egy bizonyos idő elteltével újraindexelje az erőforrást;
• a nem indexelt oldalakat tedd ki az adatbázisból, és ha az újraindexelés során nem találják meg, akkor kikerülnek az indexből.

Hogyan lehet felgyorsítani a webhelyindexelést a Yandexben

Hogyan lehet felgyorsítani az indexelést a Yandexben - gyakran Ismételt kérdés különböző webmesteri fórumokon. Valójában az egész webhely élettartama az indexeléstől függ: az erőforrás pozíciója a PS-ben, a tőlük érkező ügyfelek száma, a projekt népszerűsége, a nyereség végül.

Összeállítottam 10 módszert, amelyek remélem hasznosak lesznek az Ön számára. Az első öt szabványos az erőforrás állandó indexeléséhez, a következő öt pedig segít felgyorsítani a webhely indexelését a Yandexben:

Könyvjelző szolgáltatások;

RSS-feed - biztosítja az új anyagok sugárzását az erőforrásból az előfizetők leveleibe és az RSS-könyvtárakba;

linkcsere - stabil növekedést biztosít a minőségi adományozóktól származó dofollow linkek számában, megfelelő kiválasztásával (hogyan kell helyesen kiválasztani);

- Ha még nem regisztrálta az oldalt a könyvtárakba, akkor azt tanácsolom, hogy tegye ezt. Sokan azt mondják, hogy a könyvtárak már rég kihaltak, vagy a bennük való regisztráció megöli az oldalt – ez nem igaz. Pontosabban nem a teljes igazság, ha az összes könyvtárban regisztrálsz egymás után, akkor az erőforrásod ezt csak szenvedni fogja. De a bizalom megfelelő kiválasztásával és a jó katalógusokkal a hatás tagadhatatlan lesz.

Webhelyindexelés ellenőrzése a Yandexben

• webhely és url operátorok. Ha ellenőrizni szeretné a webhely indexelését a Yandexben, használhatja a keresőmotor szabványos operátorait..biz. (Természetesen az én domainem helyett a tiéd)

  

• RDS sáv. Szerintem a legjobb és gyors út oldalindexelés ellenőrzése a Yandexben. Ez a bővítmény minden népszerű böngészőre telepíthető, azonnal biztosítsa részletes információk a webhely oldalainak számáról az indexben és az abban található konkrét anyagokról. Ezzel a bővítménnyel nem vesztegeti az időt azzal, hogy manuálisan adja meg az URL-eket a szolgáltatásokban vagy a keresésekben. Általában azt javaslom, hogy az RDS sáv rendkívül kényelmes:
• Service Serphant. Egy többfunkciós erőforrás, amellyel elemezheti a webhelyet: a webhelyek hatékonyságának értékelése és megfigyelése, a versenytársak oldalainak elemzése, a pozíciók ellenőrzése és az oldal indexelése. Az oldalindexelést ingyenesen ellenőrizheti ezen a linken: https://serphunt.ru/indexing/. Köszönhetően a kötegelt ellenőrzésnek (akár 50 cím) és az eredmények nagy megbízhatóságának, ezt a szolgáltatást az első háromban szerintem.

  

• XSEO szolgáltatás. Eszközkészlet webmesterek számára, az XSEO.in webhelyen láthatja a webhely indexelését a Yandexben. Ezenkívül sok további hasznos információt kaphat az erőforrásáról:

  

• PR-CY és CY-PR szolgáltatások. Néhány további szolgáltatás, amely tájékoztatást nyújt az indexelt oldalak teljes számáról:

  

• sitereport szolgáltatás. Kiváló szolgáltatás, amely rámutat az oldalon végzett munka minden hibájára. Ezen kívül van egy "Indexálás" szakasza is, ahol a webhely minden oldalára vonatkozóan tájékoztatást adnak arról, hogy az indexelve van-e a Yandex és a Google keresőmotorjaiban. Ezért azt javaslom, hogy használja ezt az erőforrást a webhely problémáinak észlelésére és a Yandex tömeges indexelésének ellenőrzésére: