Pengindeksan situs web di mesin pencari - bagaimana hal itu terjadi dan bagaimana mempercepatnya - 5.0 dari 5 berdasarkan 1 suara

Setelah membuat situs mereka sendiri, banyak webmaster bersantai dan berpikir bahwa bagian tersulit sudah berakhir. Sebenarnya tidak. Pertama-tama, situs ini dibuat untuk pengunjung.

Lagipula, pengunjunglah yang akan membaca halaman artikel, membeli barang dan jasa yang diposting di situs. Semakin banyak pengunjung, semakin banyak keuntungan. Dan lalu lintas dari mesin pencari adalah dasar dari segalanya, jadi sangat penting agar pengindeksan situs dilakukan dengan cepat dan halaman tetap stabil dalam indeks.

Jika tidak ada lalu lintas, maka hanya sedikit orang yang tahu tentang situs tersebut, terutama ketentuan ini relevan untuk sumber daya Internet muda. Pengindeksan yang baik membantu halaman masuk ke mesin pencari teratas sesegera mungkin dan, sebagai hasilnya, menarik banyak pengunjung yang ditargetkan.

Apa itu pengindeksan dan bagaimana cara kerjanya?

Pertama, Anda perlu memahami apa itu. Pengindeksan situs adalah proses mengumpulkan informasi dari halaman situs dan kemudian memasukkannya ke dalam database mesin pencari. Setelah itu, data yang diterima diproses. Selanjutnya, setelah beberapa saat, halaman tersebut akan muncul di hasil mesin pencari dan orang akan dapat menemukannya menggunakan mesin pencari ini.

Program yang mengumpulkan dan menganalisis informasi disebut robot pencari atau bot. Setiap mesin pencari memiliki robotnya sendiri. Masing-masing memiliki nama dan tujuannya sendiri.

Sebagai contoh, ada 4 jenis utama robot pencari Yandex:

1. Robot yang mengindeks halaman situs. Tugasnya adalah mendeteksi dan memasukkan halaman yang ditemukan dengan konten ke dalam database.

2. Robot yang mengindeks gambar. Tugasnya adalah mendeteksi dan masuk ke dalam database mesin pencari semua file grafis dari halaman situs. Kemudian gambar-gambar ini dapat ditemukan oleh pengguna di pencarian gambar Google atau di layanan Yandex.Images.

3. Mirror situs pengindeksan robot. Terkadang situs memiliki banyak mirror. Tugas robot ini adalah menentukan mirror ini menggunakan informasi dari robots.txt, dan kemudian memberikan pengguna, dalam pencarian, hanya mirror utama.

4. Robot yang memeriksa ketersediaan situs. Tugasnya adalah memeriksa secara berkala situs yang ditambahkan melalui Yandex.Webmaster untuk ketersediaannya.

Selain di atas, ada jenis robot lainnya. Misalnya, robot yang mengindeks file video dan favicon di halaman situs web, robot yang mengindeks konten "cepat", dan robot yang memeriksa kinerja sumber daya Internet yang dihosting di Yandex.Catalog.

Pengindeksan halaman situs oleh mesin pencari memiliki ciri khas tersendiri. Jika robot mendeteksi di situs lembaran baru, kemudian dimasukkan ke dalam databasenya. Jika robot memperbaiki perubahan di halaman lama, maka versinya yang sebelumnya dimasukkan ke dalam database akan dihapus dan diganti dengan yang baru. Dan semua ini terjadi dalam jangka waktu tertentu, biasanya 1-2 minggu. Jangka waktu yang begitu lama dijelaskan oleh fakta bahwa robot pencari harus bekerja dengan banyak informasi (setiap hari sejumlah besar situs baru, serta memperbarui yang lama).

Sekarang tentang file yang dapat diindeks oleh bot mesin pencari.

Selain halaman web, mesin pencari juga mengindeks beberapa file dengan format tertutup, tetapi dengan batasan tertentu. Jadi dalam PDF, hanya konten teks yang dibaca oleh robot. File flash seringkali tidak diindeks sama sekali (atau hanya teks yang ditempatkan di blok khusus yang diindeks di sana). Juga, robot tidak mengindeks file yang lebih besar dari 10 megabita. Hal terbaik mesin pencari belajar mengindeks teks. Saat diindeks, jumlah kesalahan minimum diperbolehkan, konten dimasukkan ke dalam database secara penuh.

Singkatnya, banyak mesin pencari saat ini dapat mengindeks format seperti TXT, PDF, DOC dan DOCX, Flash, XLS dan XLSX, PPT dan PPTX, ODP, ODT, RTF.

Cara mempercepat proses pengindeksan situs di mesin pencari

Banyak webmaster memikirkan cara mempercepat pengindeksan. Pertama, Anda perlu memahami apa itu istilah indeksasi. Ini adalah waktu antara kunjungan situs oleh robot pencarian. Dan kali ini dapat bervariasi dari beberapa menit (pada umumnya portal informasi) hingga beberapa minggu atau bahkan berbulan-bulan (di situs kecil atau baru yang terlupakan dan terbengkalai).

Pencurian konten tidak jarang terjadi. Seseorang dapat dengan mudah menyalin artikel Anda dan mempostingnya di situs web mereka. Jika mesin pencari mengindeks artikel ini sebelum terjadi di situs Anda, maka mesin pencari akan menganggap situs ini sebagai penulisnya, dan bukan milik Anda. Dan meskipun saat ini beberapa alat telah muncul yang memungkinkan Anda menunjukkan kepengarangan konten, kecepatan pengindeksan halaman situs tidak kehilangan relevansinya.

Oleh karena itu, di bawah ini kami akan memberikan saran tentang bagaimana semua ini dapat dihindari dan mempercepat pengindeksan sumber daya Anda.

1. Gunakan fungsi "Tambahkan URL" (Tambahkan URL)- inilah yang disebut addurilki, yaitu formulir di mana Anda dapat memasukkan dan menambahkan alamat halaman mana pun di situs. Halaman dalam hal ini akan ditambahkan ke antrian pengindeksan.

Ini tersedia di banyak mesin pencari utama. Agar Anda tidak perlu mencari semua alamat formulir untuk menambahkan halaman situs, kami telah mengumpulkannya di artikel terpisah: "". Metode ini tidak bisa disebut perlindungan 100% terhadap plagiarisme, tetapi memang begitu Cara yang baik menginformasikan mesin pencari tentang halaman baru.

2. Daftarkan situs Anda di Alat Webmaster Google dan Yandex.Webmaster. Di sana Anda dapat melihat berapa banyak halaman situs yang telah diindeks, dan berapa banyak yang belum diindeks. Anda dapat menambahkan halaman ke antrean pengindeksan dan melakukan lebih banyak lagi dengan alat yang tersedia di sana.

3. Buat peta situs dalam dua format - HTML dan XML. Yang pertama diperlukan untuk penempatan di situs dan untuk kemudahan navigasi. Kartu kedua diperlukan untuk mesin pencari. Ini berisi tautan teks ke semua halaman situs Anda. Oleh karena itu, saat mengindeks, robot tidak akan melewatkan satupun dari mereka. Peta situs dapat dibuat menggunakan plugin CMS atau menggunakan berbagai layanan online.

Beberapa solusi terbaik untuk ini adalah:

• Untuk CMS Joomla komponen Xmap;
• Untuk WordPress Pengaya Google peta situs XML;
• Untuk modul CMS Drupal SitemapXML;
• Layanan www.mysitemapgenerator.com dapat berfungsi sebagai alat universal untuk membuat peta situs.

4. Pengumuman artikel di jejaring sosial - Google +1, Twitter, Facebook, Vkontakte. Segera setelah menambahkan artikel baru ke situs, umumkan di halaman Google +, umpan Twitter, Facebook, dan halaman Vkontake Anda. Yang terbaik adalah meletakkan tombol jejaring sosial di situs dan menambahkan pengumuman di sana hanya dengan mengklik tombol. Anda dapat mengatur pengumuman otomatis di Twitter dan Facebook.

5. Posting silang ke berbagai platform blog. Anda dapat membuat blog untuk diri sendiri di layanan seperti: Li.ru, Livejournal.com, wordpress.ru, blogspot.com dan menerbitkan pengumuman singkat artikel Anda di sana dengan tautan ke sana versi lengkap di situs web Anda.

6. Buat umpan RSS untuk situs Anda dan kirimkan ke berbagai direktori RSS. Anda dapat menemukan alamat mereka di artikel: "".

7. Frekuensi pembaruan situs. Semakin sering materi baru muncul di situs Anda, semakin sering pula robot pencari mengunjunginya. Untuk situs baru, ini paling baik dilakukan setiap hari, atau setidaknya dua hari sekali.

9. Posting hanya konten unik di situs Anda. Ini aturan universal, yang tidak hanya meningkatkan proses pengindeksan. Semakin unik materinya, semakin baik mesin telusur memperlakukan situs Anda. Semakin sering robot pencari akan mengunjungi Anda.

Metode untuk mempercepat pengindeksan ini akan cukup untuk situs muda atau menengah. Mereka tidak akan memakan banyak waktu dan memiliki efek yang baik.

Larangan pengindeksan halaman

Dalam beberapa kasus, webmaster perlu menutup situs dari pengindeksan atau menutup setiap halaman dan bagiannya. Mengapa ini diperlukan? Misalnya, beberapa halaman situs Anda tidak berisi informasi berguna, itu bisa berupa semua jenis halaman teknis. Atau Anda perlu menutup tautan eksternal yang tidak perlu, spanduk, dan sebagainya dari pengindeksan.

1. Robot.txt

Anda dapat menutup setiap halaman dan bagian sumber daya dari pengindeksan menggunakan file robots.txt. Itu ditempatkan di direktori root. Di sana, aturan ditentukan untuk robot pencari terkait pengindeksan halaman individual, bagian, dan bahkan untuk mesin pencari individu.

Dengan bantuan arahan khusus dari file ini, Anda dapat mengontrol pengindeksan dengan sangat fleksibel.

Berikut beberapa contohnya:

Anda dapat menonaktifkan pengindeksan seluruh situs oleh semua mesin telusur menggunakan arahan berikut:

Agen-pengguna: * Larang: /

Nonaktifkan pengindeksan direktori tertentu:

Agen-Pengguna: * Larang: /files/

Cegah pengindeksan url halaman yang mengandung "?":

Agen-pengguna: * Larang: /*?

Dan seterusnya File robots.txt memiliki banyak arahan dan kemampuan, dan ini adalah topik artikel terpisah.

2. Ada juga tag noindex dan nofollow dan tag meta.

Untuk mencegah pengindeksan konten tertentu pada halaman, cukup menempatkannya di antara tag , tetapi tag ini hanya berfungsi untuk mesin pencari Yandex.

Jika Anda perlu menutup halaman terpisah atau halaman situs dari pengindeksan, Anda dapat menggunakan tag meta. Untuk melakukan ini, pada halaman situs Anda di antara tag anda perlu menambahkan yang berikut ini:

Jika menambahkan:

maka dokumen tersebut juga tidak akan diindeks.

Jika menambahkan:

maka robot mesin pencari tidak akan mengikuti tautan yang ditempatkan di halaman ini, tetapi akan mengindeks halaman itu sendiri.

Dalam hal ini, apa yang akan ditunjukkan dalam tag meta akan lebih diutamakan daripada arahan file robots.txt. Oleh karena itu, jika Anda melarang pengindeksan direktori tertentu dari situs Anda di file robots.txt, dan tag meta berikut akan ditunjukkan pada halaman situs milik direktori ini:

Data halaman itu masih akan diindeks.

Jika situs dibangun di atas beberapa jenis CMS, maka di beberapa di antaranya dimungkinkan untuk menutup halaman untuk pengindeksan menggunakan opsi khusus. Dalam kasus lain, tag meta ini harus dimasukkan ke halaman situs secara manual.

Dalam artikel berikut, kita akan melihat lebih dekat prosedur pelarangan pengindeksan dan semua yang terkait dengannya (menggunakan file robots.txt, serta tag noindex dan nofollow).

Masalah pengindeksan dan halaman keluar dari indeks

Ada banyak alasan mengapa sumber daya Internet tidak dapat diindeks. Kami mencantumkan yang paling umum di bawah ini.

1. File Robots.txt tidak dikonfigurasi dengan benar atau .

2. Domain situs Anda telah digunakan untuk situs tertentu dan memiliki riwayat yang buruk, kemungkinan besar beberapa jenis filter telah diterapkan sebelumnya. Paling sering, masalah semacam ini terkait dengan pengindeksan oleh Yandex. Halaman situs dapat masuk ke indeks selama pengindeksan pertama, kemudian terbang keluar sepenuhnya dan tidak lagi diindeks. Saat menghubungi dukungan Yandex, kemungkinan besar mereka akan meminta Anda untuk mengembangkan situs dan semuanya akan baik-baik saja.

Namun seperti yang diperlihatkan oleh praktik, bahkan setelah 6 bulan menerbitkan konten unik berkualitas tinggi di situs, mungkin tidak ada pergerakan positif. Jika Anda memiliki situasi yang sama dan situs tidak diindeks selama 1 - 2 bulan, lebih baik. Sebagai aturan, setelah itu semuanya jatuh pada tempatnya dan halaman situs mulai diindeks.

3. Konten tidak unik. Hanya tambahkan konten unik ke situs Anda. Jika halaman situs Anda menghosting banyak salinan-tempel, maka jangan heran bahwa seiring waktu halaman-halaman ini mungkin keluar dari indeks.

4. Adanya spam berupa link. Di beberapa situs, halamannya benar-benar kebanjiran tautan eksternal. Webmaster biasanya menempatkan semua ini untuk mendapatkan lebih banyak uang. Namun, hasil akhirnya bisa sangat menyedihkan - halaman tertentu dari situs dan seluruh situs dapat dikecualikan dari indeks, atau sanksi lain dapat dikenakan.

5. Ukuran artikel. Jika Anda melihat kode sumber halaman mana pun di situs Anda, Anda akan melihat bahwa teks artikel itu sendiri tidak memakan banyak ruang dibandingkan dengan kode elemen lain (header, footer, sidebar, menu, dll.). Jika artikelnya terlalu kecil, artikel itu bahkan bisa hilang dalam kode. Oleh karena itu, mungkin juga ada masalah dengan keunikan halaman tersebut. Oleh karena itu, cobalah untuk menerbitkan catatan dengan teks minimal 2000 karakter, konten seperti itu kemungkinan besar tidak akan menimbulkan masalah.

Cara memeriksa pengindeksan situs

Sekarang mari kita bicara tentang cara memeriksa pengindeksan sumber daya Internet Anda dan mencari tahu persis berapa banyak halaman yang diindeks.

1. Pertama-tama, coba arahkan Google atau Yandex yang sama ke pencarian sederhana. Hasil Anda harus menyertakan halaman ini. Jika tidak ada halaman, maka halaman tersebut tidak diindeks.

2. Untuk memeriksa pengindeksan semua halaman situs di Yandex, cukup string pencarian masukkan tuan rumah: situs-Anda.ru | host:www.your-site.ru dan cari. Untuk Google, cukup memasukkan site:your-site.ru ke dalam formulir pencarian

3. Anda juga dapat memeriksa situs Anda menggunakan layanan seperti pr-cy.ru. Semuanya sederhana dan jelas di sini. Anda hanya perlu memasukkan alamat sumber daya Anda di bidang yang terletak di tengah, lalu klik tombol "Analisis". Setelah analisis, Anda akan menerima hasil pemeriksaan dan mengetahui berapa banyak halaman yang diindeks di mesin pencari tertentu (Anda dapat melakukannya di bagian terkait yang disebut "Indikator situs web utama").

4. Jika situs Anda ditambahkan ke layanan Yandex Webmaster, maka di sana Anda juga dapat melacak pengindeksan halaman situs oleh mesin pencari ini.

Banyak pemilik dan administrator forum yang dikunjungi yang dibangun di atas mesin SMF populer (www.simplemachines.org) cepat atau lambat memikirkan masalah pengindeksan forum mereka oleh mesin pencari. Namun, dengan cepat mereka yakin bahwa forum yang dipasang "di luar kotak" tidak diindeks, atau diindeks secara tidak benar. Apa yang perlu dilakukan agar konten forum diindeks dengan benar? Saya akan membicarakan ini menggunakan Yandex sebagai contoh.

Salah satu alat utama untuk melacak proses pengindeksan oleh Yandex adalah layanan Yandex.Webmaster. Dengan bantuan layanan ini, kami dapat melihat kesalahan dalam proses pengindeksan forum. Jika, setelah menginstal forum baru, kami menambahkannya ke Yandex.Webmaster dan menunggu pengindeksan, kami akan melihat bahwa hampir semua halaman forum tidak termasuk dalam indeks. Ini terjadi karena pengembang SMF, yang tampaknya lelah menjelaskan kepada pengguna seluk-beluk interaksi antara forum dan mesin pencari, cukup menambahkan tag ke semua halaman:

Ketika tag tersebut ditemui oleh mesin pencari, itu tidak mengindeks halaman ini. Mari perbaiki ini dengan membuat perubahan pada file index.template.php /Themes/default/index.template.php). Tergantung pada pengalaman Anda, baris di atas dapat dihapus atau dimodifikasi seperti ini:

Dalam hal ini teks dan tautan akan diindeks. Pengindeksan tautan memengaruhi transfer bobot halaman Anda (PR Google atau TIC Yandex) ke situs tempat tautan ditempatkan.

Sekarang kami telah mengizinkan mesin telusur mengumpulkan informasi untuk indeks dari forum kami, kami perlu memastikan bahwa indeks tersebut diterima halaman yang diinginkan dan tidak perlu. Intinya mesinnya Forum SMF, seperti banyak lainnya, dirancang sedemikian rupa sehingga pesan yang sama dapat dibaca dengan banyak cara, dan Anda tidak boleh menyediakan semua metode ini untuk mesin telusur, karena beban yang dibuat oleh mesin telusur selama pengindeksan dapat melebihi batas yang ditetapkan pada hosting tempat Anda menempatkan forum belum lagi itu tidak ada gunanya. Untuk menutup halaman yang tidak perlu di forum, gunakan file robots.txt(Saya sarankan untuk check out gambaran umum file ini di situs web robotstxt.org.ru, serta deskripsi tentang cara Yandex memproses file ini: http://help.yandex.ru/webmaster/?id=996567). Untuk forum yang dipasang di root situs, file ini akan terlihat seperti ini:

Agen pengguna: *
Larang: /*.msg
Larang: /*.new
Larang: /lampiran/
Larang: /avatar/
Larang: /Paket/
Larang: /Smileys/
Larang: /sumber/
Larang: /Tema/
Larang: /Games/
Larang: /*sort
Larang: /*topicseen
Larang: /*wap
Larang: /*imode
Dilarang: /*action

Anda dapat menambahkan arahan yang Anda perlukan ke file ini (menunjuk ke Host yang benar, blok khusus untuk mesin pencari lain, dll.). Terlepas dari kenyataan bahwa menurut spesifikasinya, penggunaan karakter wildcard seperti "*" dilarang, sebagian besar mesin pencari menafsirkannya dengan benar, mis. tidak perlu khawatir tentang sintaks yang benar.

Agar mesin telusur mengindeks dengan benar setiap pesan di forum, kami akan melakukan hal berikut:

1. Hapus tautan ke topik dari pesan di dalam topik. Anda perlu melakukan perubahan pada file
Tampilan.template.php(untuk tema bawaannya /Themes/default/Display.template.php). Anda harus menghapus tautan dari judul topik dan gambar di sebelahnya. Kode yang akan diubah adalah setelah baris:

// Selesai dengan informasi tentang poster... ke postingan itu sendiri.

2. Instal mod untuk forum, yang memungkinkan Anda melihat setiap pesan secara terpisah: Lihat Posting Tunggal.

Setelah Anda menyelesaikan forum Anda dengan cara di atas, tunggu hingga mesin pencari selesai mengindeksnya dan pastikan tidak ada kesalahan (menggunakan, misalnya, Yandex.Webmaster).

Agar tautan ke forum Anda hadir di hasil pencarian layanan Yandex.Blog Search, gunakan plugin khusus ( Halaman resmi: http://nano.yandex.ru/project/yarss/ dan versi untuk SMF 1.1.x: http://www.likhachev.net/projects/yarss/), yang memberikan RSS dalam format yang diperlukan untuk layanan ini. Setelah menginstal plugin ini, jangan lupa untuk menambahkan feed ke layanan (jika Anda belum melakukannya):

Saya memiliki kesempatan untuk berkomunikasi dengan pengelola konten dari beberapa situs teratas. Saya tidak dapat menahan godaan untuk mencari tahu apa saja teknik utama untuk mengoptimalkan halaman yang dipandu oleh spesialis sehingga situs tersebut diindeks dengan baik oleh mesin pencari. Saya memposting tips ini di sini.

Nasihat ahli tentang menulis teks dan menyusun halaman untuk pengindeksan yang lebih baik oleh mesin pencari berdasarkan pengalaman pribadi dan sebuah studi yang telah dilakukan teman saya selama beberapa tahun dan telah belajar untuk menerapkan secara efektif saat bekerja dengan klien.

Volume

Halaman dengan kurang dari 1000 karakter diindeks dengan sangat buruk, jadi jangan malas dan jelaskan produk Anda di halaman dengan lebih detail. Panjang yang disarankan maksimal 1,5 ribu karakter termasuk spasi.

Keunikan

Teks harus unik. Keunikannya bisa dicek di Advego atau di content-watch.ru - harus di atas 95%. Alat-alat ini tidak hanya mengevaluasi keunikan, tetapi juga menunjukkan bagian teks yang perlu diedit agar halaman tidak masuk ke daftar tambahan dan tidak dikeluarkan saat diminta.

Struktur teks

1. Pengumuman. Sebuah paragraf kecil yang menjelaskan arti utamanya, tujuan. Pengumuman sudah sangat penting: pertama, setelah membacanya, seseorang harus tertarik dengan produk dan pergi ke Deskripsi lengkap; kedua, Yandex membuat cuplikan dari awal teks. Dalam kasus kami, pengumuman ini.
2. Deskripsi utama. Paragraf pertama harus lebih dalam mengungkapkan esensi produk, fitur dan tujuannya. Paragraf pertama harus dimulai dengan kata kunci. Anda kemudian dapat menulis tentang fitur dan daftar fitur dan detail. Paragraf kedua harus berisi frase kunci Gunakan tombol frekuensi tinggi di awal teks- selanjutnya dalam urutan menurun.
3. Deskripsi Singkat Daftar Produk. Tidak lebih dari 5 item.
4. Kelanjutan dari deskripsi utama. Hal ini diinginkan untuk mengungkapkan fitur khas dibandingkan dengan pesaing dan posisi pasar.
5. Kesimpulan- kepada siapa dan mengapa kami merekomendasikan penggunaan produk. Di paragraf terakhir, sebaiknya di kalimat terakhir, harus mengandung kata kunci.

Deskripsi SEO

Tidak boleh melebihi 140 karakter. Harus mengungkapkan arti produk, ditampilkan sebagai cuplikan di Google. Pastikan untuk menggunakan satu kunci yang bagus.

Kunci

Kunci yang Anda gunakan SEO harus tersebar merata di seluruh teks dalam urutan apa pun. Masuk akal untuk menyorot kata kunci dalam huruf tebal.

Bagian untuk Yandex

Menyusun teks sedemikian rupa sehingga dalam satu kalimat yang tidak dipisahkan oleh tag terdapat frase kunci dari permintaan potensial di Yandex. Ungkapan itu sendiri bisa diencerkan dengan kata lain, tidak akan merugikan masalah.

Contoh frasa: "pengiriman ke Dnepropetrovsk"

Varian teks: "... mengatur pengiriman ke kota Dnepropetrovsk ..." atau "pengiriman ke kota-kota Ukraina dimungkinkan: Dnepropetrovsk, Kharkiv, Zaporozhye ..."

Pemilik hanya perlu menunggu saat robot mesin pencari masuk dan mengindeks halaman situs Anda.

Cara meningkatkan pengindeksan situs di Yandex dan Google

Sebelum mereka yang membuat situs sendiri, sepertinya muncul pertanyaan yang jelas: bagaimana cara menambahkan sumber daya Anda ke hasil pencarian sistem tertentu untuk permintaan tertentu? Jawabannya sederhana: pemilik hanya perlu menunggu saat robot mesin pencari masuk dan mengindeks halaman situs Anda.

Segera setelah halaman sumber daya Anda ada di indeks mesin pencari, mereka akan ditampilkan di hasil pencarian.

Bagi sebagian besar webmaster, masalah ini tidak serius. Volume situs mereka tidak melebihi ratusan halaman, dan robot pencari sering mengindeks konten dengan benar. Namun, ada baiknya memperhatikan beberapa faktor penting saat mengoptimalkan SEO.

Biasanya salah satu dari dua metode pengindeksan digunakan:
Yang pertama adalah pemiliknya sendiri yang menambahkan alamat situs di bidang khusus yang ditampilkan di panel webmaster mesin pencari. Dalam hal ini, mesin pencari diberi tahu bahwa situs baru belum diindeks. Pada gilirannya, robot mengunjungi setiap sumber daya tersebut dan mengindeksnya.

Untuk pengindeksan yang benar, cukup menentukan hanya halaman utama, robot lainnya akan menemukan dirinya sendiri berkat peta situs. Anda juga mengunggah peta situs sendiri. Ada banyak situs dan program di Internet yang menghasilkan peta untuk Anda dalam format .xml atau .html secara gratis.

Cara kedua adalah robot itu sendiri yang mencari situs Anda. Anda bertanya: bagaimana dia melakukannya? Faktanya adalah saat mengindeks sumber daya, robot memeriksa tautan yang ditempatkan padanya. Artinya, jika situs Anda sudah memiliki tautan pada beberapa sumber daya yang diindeks, misalnya oleh Yandex, maka robot pencari akan mengunjungi sumber daya Anda dalam waktu singkat dan mengindeksnya. Webmaster berpengalaman percaya bahwa opsi ini memiliki efek yang jauh lebih menguntungkan pada hasil pencarian situs. Untuk melakukan ini, Anda perlu mendapatkan (atau membeli) beberapa tautan dan menunggu kedatangan robot.

Tentu saja, Anda ingin segera melihat situs Anda di halaman mesin pencari! Biasanya, robot mengindeks halaman dalam jangka waktu tidak lebih dari dua minggu. Itu semua tergantung pada seberapa sibuk mesin pencari itu. Dalam hal pengindeksan, robot tercepat dari Google. Beberapa jam setelah input manual, robot mulai memindainya.

Robot, seperti pengembang situs web, tidak menyukai kode yang rumit. Untuk pengindeksan yang paling sukses, saya menyarankan Anda untuk menyederhanakannya sebanyak mungkin dan mematuhi aturan berikut:

1. Pertama, akses ke semua halaman tidak boleh lebih dari 3 klik, dihitung dari halaman rumah. Jika ini tidak memungkinkan, buat peta situs. Ini akan membantu robot menavigasi "hutan" Anda.
2. Kedua, berhati-hatilah saat bekerja dengan skrip. Robot pencari tidak tahu cara mengenalinya. Saat menggunakan navigasi skrip, pastikan untuk menggandakan tautan!
3. Ketiga, jangan abaikan fakta bahwa robot pencari mengindeks hingga 200 kb teks. Jika penting bagi Anda bahwa seluruh halaman diindeks, jangan membuatnya lebih dari 100 kb.

Untuk robot pencarian ada berkas khusus, disimpan di root hosting Anda. Itu disebut robots.txt. Dengannya, Anda dapat mengontrol robot pencari, misalnya melarang atau mengizinkan pengindeksan berbagai halaman.
Tidak seperti robot pencari asing, robot Rusia memahami tag tersebut

< NOINDEX>

Yang memungkinkan Anda menyembunyikan bagian tertentu dari halaman dari robot. Untuk sepenuhnya menghilangkan kemungkinan pengindeksan, Anda harus menempatkan tag ini di HEAD halaman.

Untuk mengecualikan dari Hasil Pencarian sumber daya usang dan bukan yang baru, mesin telusur menerapkan . Catatan dalam database terus diperbarui. Jangan membunyikan alarm jika jumlah halaman yang diindeks tiba-tiba berubah.

Dekati pilihan hosting dengan hati-hati. Jika situs Anda sering macet, itu memperburuk proses pengindeksan. Robot tidak memiliki akses ke sumber daya! Itu sebabnya Anda harus berhati-hati saat memilih hosting. Jangan abaikan tautan eksternal. Mereka memiliki efek menguntungkan dalam mengindeks ulang situs Anda.

Setelah menganalisis file log server, Anda akan menerima informasi tentang proses pengindeksan.