Indexation de sites Web dans les moteurs de recherche - comment cela se passe-t-il et comment l'accélérer - 5,0 sur 5 basé sur 1 vote

Après avoir créé leur propre site, de nombreux webmasters se détendent et pensent que le plus dur est passé. En fait, ce n'est pas le cas. Tout d'abord, le site est créé pour les visiteurs.

Après tout, ce sont les visiteurs qui liront les pages contenant des articles, achèteront des biens et services affichés sur le site. Plus il y a de visiteurs, plus il y a de profit. Et le trafic des moteurs de recherche est la base de tout, il est donc si important que l'indexation du site se fasse rapidement et que les pages restent stables dans l'index.

S'il n'y a pas de trafic, peu de gens connaîtront le site, en particulier cette disposition est pertinente pour les jeunes ressources Internet. Une bonne indexation aide la page à entrer dans les meilleurs moteurs de recherche dès que possible et, par conséquent, à attirer un grand nombre de visiteurs ciblés.

Qu'est-ce que l'indexation et comment ça marche ?

Vous devez d'abord comprendre ce que c'est. L'indexation du site est le processus de collecte d'informations à partir des pages du site, puis de sa saisie dans la base de données du moteur de recherche. Après cela, les données reçues sont traitées. De plus, après un certain temps, la page apparaîtra dans les résultats du moteur de recherche et les gens pourront la trouver en utilisant ce moteur de recherche.

Les programmes qui collectent et analysent des informations sont appelés robots de recherche ou bots. Chaque moteur de recherche a ses propres robots. Chacun d'eux a son propre nom et son propre but.

À titre d'exemple, il existe 4 principaux types de robots de recherche Yandex :

1. Un robot qui indexe les pages du site. Sa tâche est de détecter et d'entrer les pages trouvées avec du contenu dans la base de données.

2. Un robot qui indexe les images. Sa tâche est de détecter et d'entrer dans la base de données du moteur de recherche tous fichiers graphiquesà partir des pages du site. Ensuite, ces images peuvent être trouvées par les utilisateurs dans la recherche d'images Google ou dans le service Yandex.Images.

3. Miroirs de sites d'indexation de robots. Parfois, les sites ont plusieurs miroirs. La tâche de ce robot est de déterminer ces miroirs à l'aide des informations de robots.txt, puis de ne donner aux utilisateurs, dans la recherche, que le miroir principal.

4. Un robot qui vérifie la disponibilité du site. Sa tâche est de vérifier périodiquement la disponibilité du site ajouté via Yandex.Webmaster.

En plus de ce qui précède, il existe d'autres types de robots. Par exemple, les robots qui indexent les fichiers vidéo et les favicons sur les pages Web, les robots qui indexent le contenu "rapide" et les robots qui vérifient les performances d'une ressource Internet hébergée dans Yandex.Catalog.

L'indexation des pages du site par les moteurs de recherche a ses propres caractéristiques. Si le robot détecte sur le site nouvelle page, puis il est entré dans sa base de données. Si le robot corrige des modifications dans les anciennes pages, leurs versions précédemment entrées dans la base de données sont supprimées et remplacées par de nouvelles. Et tout cela se passe sur une certaine période de temps, généralement 1-2 semaines. Ces longues périodes s'expliquent par le fait que les robots de recherche doivent travailler avec une grande quantité d'informations (chaque jour un grand nombre de nouveaux sites, ainsi que la mise à jour des anciens).

Parlons maintenant des fichiers que les robots des moteurs de recherche peuvent indexer.

En plus des pages Web, les moteurs de recherche indexent également certains fichiers de formats fermés, mais avec certaines restrictions. Ainsi, en PDF, seul le contenu textuel est lu par les robots. Les fichiers Flash ne sont souvent pas indexés du tout (ou seul le texte placé dans des blocs spéciaux y est indexé). De plus, les robots n'indexent pas les fichiers de plus de 10 mégaoctets. La meilleure chose moteurs de recherche appris à indexer le texte. Lorsqu'il est indexé, un nombre minimum d'erreurs est autorisé, le contenu est entré dans la base de données dans son intégralité.

Pour résumer, de nombreux moteurs de recherche peuvent actuellement indexer des formats tels que TXT, PDF, DOC et DOCX, Flash, XLS et XLSX, PPT et PPTX, ODP, ODT, RTF.

Comment accélérer le processus d'indexation d'un site dans les moteurs de recherche

De nombreux webmasters réfléchissent à la manière d'accélérer l'indexation. Tout d'abord, vous devez comprendre ce que sont les termes d'indexation. C'est le temps entre les visites du site par un robot de recherche. Et ce temps peut varier de plusieurs minutes (sur de grandes portails d'information) jusqu'à plusieurs semaines voire plusieurs mois (sur des chantiers petits ou nouveaux oubliés et abandonnés).

Le vol de contenu n'est pas rare. Quelqu'un peut simplement copier votre article et le publier sur son site Web. Si le moteur de recherche indexe cet article avant qu'il n'arrive sur votre site, alors les moteurs de recherche considéreront ce site comme l'auteur, et non le vôtre. Et bien qu'aujourd'hui certains outils soient apparus qui vous permettent d'indiquer la paternité du contenu, la vitesse d'indexation des pages du site ne perd pas sa pertinence.

Par conséquent, nous vous donnerons ci-dessous des conseils sur la manière d'éviter tout cela et d'accélérer l'indexation de votre ressource.

1. Utilisez la fonction "Ajouter une URL" (Ajouter une URL)- ce sont les soi-disant addurilki, qui sont des formulaires dans lesquels vous pouvez saisir et ajouter l'adresse de n'importe quelle page du site. La page dans ce cas sera ajoutée à la file d'attente d'indexation.

Il est disponible dans de nombreux moteurs de recherche majeurs. Pour que vous n'ayez pas à chercher toutes les adresses des formulaires pour ajouter des pages de site, nous les avons rassemblées dans un article séparé : "". Cette méthode ne peut pas être qualifiée de protection à 100% contre le plagiat, mais elle est bonne façon informer le moteur de recherche des nouvelles pages.

2. Enregistrez votre site dans Google Webmaster Tools et Yandex.Webmaster. Vous pouvez y voir combien de pages du site ont déjà été indexées et combien n'ont pas été indexées. Vous pouvez ajouter des pages à la file d'attente d'indexation et faire bien plus avec les outils qui y sont disponibles.

3. Créez un sitemap dans deux formats - HTML et XML. Le premier est nécessaire pour le placement sur le site et pour faciliter la navigation. La deuxième carte est nécessaire pour les moteurs de recherche. Il contient des liens texte vers toutes les pages de votre site. Par conséquent, lors de l'indexation, le robot n'en manquera aucun. Un sitemap peut être créé à l'aide de plugins CMS ou à l'aide de nombreux services en ligne.

Certaines des meilleures solutions pour cela sont :

• Pour CMS Joomla Composant Xmap ;
• Pour WordPress Plug-in Google plans de site XML ;
• Pour le module CMS Drupal SitemapXML ;
• Le service www.mysitemapgenerator.com peut servir d'outil universel pour créer un sitemap.

4. Annonce d'articles dans les réseaux sociaux - Google +1, Twitter, Facebook, Vkontakte. Immédiatement après avoir ajouté un nouvel article au site, annoncez-le sur votre page Google +, votre fil Twitter, vos pages Facebook et Vkontake. Il est préférable de mettre des boutons de réseaux sociaux sur le site et d'y ajouter des annonces simplement en cliquant sur les boutons. Vous pouvez configurer des annonces automatiques sur Twitter et Facebook.

5. Cross-post sur différentes plateformes de blogs. Vous pouvez créer des blogs pour vous-même sur des services tels que : Li.ru, Livejournal.com, wordpress.ru, blogspot.com et y publier de brèves annonces de vos articles avec des liens vers ceux-ci. versions complètes sur votre site Web.

6. Créez un flux RSS pour votre site et soumettez-le à divers annuaires RSS. Vous pouvez trouver leurs adresses dans l'article : "".

7. Fréquence de mise à jour du site. Plus de nouveaux matériaux apparaissent souvent sur votre site, plus les robots de recherche le visiteront souvent. Pour un nouveau site, il est préférable de le faire tous les jours, ou au moins tous les deux jours.

9. Ne publiez que du contenu unique sur votre site. Ce règle universelle, ce qui améliore non seulement le processus d'indexation. Plus le matériel est unique, mieux les moteurs de recherche traiteront votre site. Plus les robots de recherche vous rendront visite.

Ces méthodes pour accélérer l'indexation suffiront amplement pour un site jeune ou d'âge moyen. Ils ne vous prendront pas beaucoup de temps et auront un bon effet.

Interdiction de l'indexation des pages

Dans certains cas, le webmaster doit fermer le site de l'indexation ou fermer ses pages et sections individuelles. Pourquoi cela pourrait-il être nécessaire ? Par exemple, certaines pages de votre site ne contiennent pas informations utiles, il peut s'agir de toutes sortes de pages techniques. Ou vous devez fermer les liens externes inutiles, les bannières, etc. de l'indexation.

1. Robots.txt

Vous pouvez empêcher l'indexation de pages et de sections individuelles de la ressource à l'aide du fichier robots.txt. Il est placé dans le répertoire racine. Là, des règles sont prescrites pour les robots de recherche concernant l'indexation des pages individuelles, des sections et même des moteurs de recherche individuels.

À l'aide de directives spéciales de ce fichier, vous pouvez contrôler l'indexation de manière très flexible.

Voici quelques exemples:

Vous pouvez désactiver l'indexation de l'ensemble du site par tous les moteurs de recherche à l'aide de la directive suivante :

Agent utilisateur : * Interdire : /

Désactiver l'indexation d'un répertoire particulier :

Agent utilisateur : * Interdire : /files/

Empêcher l'indexation URL des pages qui contient "?":

Agent utilisateur : * Interdire : /* ?

Et ainsi de suite.Le fichier robots.txt a beaucoup de directives et de fonctionnalités, et c'est le sujet d'un article séparé.

2. Il existe également des balises noindex et nofollow et des balises méta.

Pour empêcher l'indexation de certains contenus sur la page, il suffit de les placer entre des balises , mais ces balises ne fonctionnent que pour le moteur de recherche Yandex.

Si vous devez fermer une page ou des pages de site distinctes de l'indexation, vous pouvez utiliser des balises META. Pour cela, sur la page de votre site entre les balises vous devez ajouter ce qui suit :

Si ajouter :

alors le document ne sera pas non plus indexé.

Si ajouter :

alors le robot du moteur de recherche ne suivra pas les liens placés sur cette page, mais indexera la page elle-même.

Dans ce cas, ce qui sera indiqué dans les balises meta prévaudra sur les directives du fichier robots.txt. Ainsi, si vous interdisez l'indexation d'un certain répertoire de votre site dans le fichier robots.txt, la balise meta suivante sera indiquée sur les pages du site appartenant à ce répertoire :

Ces données de page seront toujours indexées.

Si le site est construit sur une sorte de CMS, alors dans certains d'entre eux, il est possible de fermer la page pour l'indexation à l'aide d'options spéciales. Dans d'autres cas, ces balises méta devront être insérées manuellement dans les pages du site.

Dans les articles suivants, nous examinerons de plus près la procédure d'interdiction d'indexation et tout ce qui s'y rapporte (à l'aide du fichier robots.txt, ainsi que balises sans index et pas de suivi).

Problèmes d'indexation et pages sortant de l'index

Il existe de nombreuses raisons pour lesquelles une ressource Internet peut ne pas être indexée. Nous listons ci-dessous les plus courants.

1. Le fichier Robots.txt est mal configuré ou le fichier .

2. Le domaine de votre site a déjà été utilisé pour un site spécifique et a un mauvais historique, très probablement une sorte de filtre lui a déjà été appliqué. Le plus souvent, les problèmes de ce type sont liés à l'indexation par Yandex. Les pages du site peuvent entrer dans l'index lors de la première indexation, puis s'envoler complètement et ne sont plus indexées. Lorsque vous contactez le support Yandex, ils vous diront très probablement de développer le site et tout ira bien.

Mais comme le montre la pratique, même après 6 mois de publication de contenu unique de haute qualité sur le site, il se peut qu'il n'y ait pas de mouvements positifs. Si vous avez une situation similaire et que le site n'est pas indexé pendant 1 à 2 mois, alors c'est mieux. En règle générale, après cela, tout se met en place et les pages du site commencent à être indexées.

3. Contenu non unique. N'ajoutez que du contenu unique à votre site. Si les pages de votre site hébergent une grande quantité de copier-coller, alors ne soyez pas surpris qu'avec le temps ces pages puissent tomber hors de l'index.

4. La présence de spam sous forme de liens. Sur certains sites, les pages sont littéralement inondées Liens externes. Le webmaster place généralement tout cela dans le but de gagner plus d'argent. Cependant, le résultat final peut être très triste - certaines pages du site et le site entier peuvent être exclus de l'index, ou d'autres sanctions peuvent être imposées.

5. Taille de l'article. Si vous regardez le code source de n'importe quelle page de votre site, vous verrez que le texte de l'article lui-même ne prend pas beaucoup de place par rapport au code des autres éléments (en-tête, pied de page, barre latérale, menu, etc.). Si l'article est trop petit, il peut même se perdre dans le code. Par conséquent, il peut également y avoir des problèmes avec l'unicité d'une telle page. Par conséquent, essayez de publier des notes avec au moins 2000 caractères de texte, un tel contenu est peu susceptible de causer des problèmes.

Comment vérifier l'indexation du site

Parlons maintenant de la façon de vérifier l'indexation de votre ressource Internet et de savoir exactement combien de pages sont indexées.

1. Tout d'abord, essayez de conduire le même Google ou Yandex dans une recherche simple. Vos résultats doivent inclure cette page. S'il n'y a pas de page, c'est qu'elle n'est pas indexée.

2. Pour vérifier l'indexation de toutes les pages du site dans Yandex, il suffit de chaîne de recherche insérer hôte:votre-site.ru | hébergeur:www.votre-site.ru et recherchez. Pour Google, il suffit d'insérer site:votre-site.ru dans le formulaire de recherche

3. Vous pouvez également vérifier votre site en utilisant un service tel que pr-cy.ru. Tout est simple et clair ici. Il vous suffit de piloter l'adresse de votre ressource dans le champ situé au centre, puis de cliquer sur le bouton "Analyser". Après l'analyse, vous recevrez les résultats de la vérification et découvrirez combien de pages sont indexées dans un moteur de recherche particulier (vous pouvez le faire dans la section correspondante intitulée "Indicateurs clés du site Web").

4. Si votre site est ajouté au service Yandex Webmaster, vous pouvez également y suivre l'indexation des pages du site Web par ce moteur de recherche.

De nombreux propriétaires et administrateurs de forums visités construits sur le populaire moteur SMF (www.simplemachines.org) pensent tôt ou tard à la question de l'indexation de leur forum par les moteurs de recherche. Cependant, assez rapidement ils sont convaincus que le forum installé "out of the box" n'est pas indexé, ou mal indexé. Que faut-il faire pour que le contenu du forum soit correctement indexé ? Je vais en parler en utilisant Yandex comme exemple.

L'un des principaux outils de suivi du processus d'indexation par Yandex est le service Yandex.Webmaster. Avec l'aide de ce service, nous pouvons voir des erreurs dans le processus d'indexation du forum. Si, après avoir installé un nouveau forum, nous l'ajoutons à Yandex.Webmaster et attendons l'indexation, nous verrons que presque toutes les pages du forum n'ont pas été incluses dans l'index. Cela se produit parce que les développeurs de SMF, apparemment fatigués d'expliquer aux utilisateurs les subtilités de l'interaction entre le forum et les moteurs de recherche, ont simplement ajouté la balise à toutes les pages :

Lorsqu'un tel tag est rencontré par un moteur de recherche, il n'indexe pas cette page. Corrigeons cela en apportant des modifications au fichier index.template.php /Thèmes/default/index.template.php). Selon votre expérience, la ligne ci-dessus peut être supprimée ou modifiée comme ceci :

Dans ce cas, le texte et les liens seront indexés. L'indexation des liens affecte le transfert du poids de votre page (Google PR ou TIC de Yandex) vers le site vers lequel le lien est placé.

Maintenant que nous avons autorisé les moteurs de recherche à collecter des informations pour l'index depuis notre forum, nous devons nous assurer que l'index obtient pages souhaitées et n'est pas devenu inutile. Le fait est que le moteur Forum SMF, comme beaucoup d'autres, est conçu de manière à ce que le même message puisse être lu de plusieurs façons, et vous ne devez pas mettre toutes ces méthodes à la disposition des moteurs de recherche, car la charge créée par les moteurs de recherche lors de l'indexation peut dépasser les limites fixées sur l'hébergement où vous placez le forum sans oublier que c'est tout simplement inutile. Fermer pages inutiles sur le forum, utilisez le fichier robots.txt(Je recommande de vérifier description générale ce fichier sur le site Web robotstxt.org.ru, ainsi qu'une description de la manière dont Yandex traite ce fichier : http://help.yandex.ru/webmaster/?id=996567). Pour un forum installé à la racine du site, ce fichier ressemblera à ceci :

Agent utilisateur: *
Interdire : /*.msg
Interdire : /*.new
Interdire : /pièces jointes/
Interdire : /avatars/
Interdire : /Packages/
Interdire : /Smileys/
Interdire : /sources/
Interdire : /Thèmes/
Interdire : /Jeux/
Interdire : /*sort
Interdire : /* sujets vus
Interdire : /*wap
Interdire : /*imode
Interdire : /*action

Vous pouvez ajouter les directives dont vous avez besoin dans ce fichier (pointant vers le bon Host, blocs spécifiques à d'autres moteurs de recherche, etc.). Malgré le fait que selon la spécification, l'utilisation de caractères génériques comme "*" est interdite, la grande majorité des moteurs de recherche les interprètent correctement, c'est-à-dire il n'y a pas besoin de s'inquiéter de la syntaxe correcte.

Afin que les moteurs de recherche indexent correctement chaque message sur le forum, nous allons procéder comme suit :

1. Supprimez le lien vers le sujet des messages à l'intérieur du sujet. Vous devez apporter des modifications au fichier
Afficher.template.php(pour le thème par défaut c'est dans /Thèmes/default/Display.template.php). Vous devez supprimer le lien du titre du sujet et de l'image à côté. Le code à modifier se trouve après la ligne :

// Terminé avec les informations sur l'affiche... sur le post lui-même.

2. Installez un mod pour le forum, qui vous permettra de visualiser chaque message séparément : View Single Post.

Après avoir finalisé votre forum de la manière ci-dessus, attendez que les moteurs de recherche aient fini de l'indexer et assurez-vous qu'il n'y a pas d'erreurs (en utilisant, par exemple, Yandex.Webmaster).

Pour que les liens vers votre forum soient présents dans les résultats de recherche du service de recherche Yandex.Blog, utilisez un plugin spécial ( Page Officielle: http://nano.yandex.ru/project/yarss/ et version pour SMF 1.1.x : http://www.likhachev.net/projects/yarss/), qui donne RSS dans le format requis pour ce service. Après avoir installé ce plugin, n'oubliez pas d'ajouter le flux au service (si vous ne l'avez pas déjà fait) :

J'ai eu la chance de communiquer avec le gestionnaire de contenu de plusieurs sites de premier plan. Je n'ai pas pu résister à la tentation de découvrir quelles sont les principales techniques d'optimisation de la page qui guident les spécialistes pour que le site soit bien indexé par les moteurs de recherche. Je poste ces conseils ici.

Conseils d'experts sur la rédaction de textes et la compilation de pages pour une meilleure indexation par les moteurs de recherche sur la base de expérience personnelle et une étude que mon ami fait depuis plusieurs années et a appris à appliquer efficacement tout en travaillant avec des clients.

Volume

Les pages de moins de 1000 caractères sont très mal indexées, alors ne soyez pas paresseux et décrivez plus en détail votre produit sur les pages. La longueur recommandée est de 1 500 caractères maximum, espaces compris.

Unicité

Le texte doit être unique. L'unicité peut être vérifiée dans Advego ou sur content-watch.ru - elle doit être supérieure à 95 %. Ces outils évalueront non seulement l'unicité, mais afficheront également les sections du texte qui doivent être modifiées afin que la page n'entre pas dans la liste supplémentaire et ne soit pas publiée sur demande.

Structure du texte

1. Annonce. Un petit paragraphe décrivant sa signification principale, son objectif. L'annonce a grande importance: premièrement, après l'avoir lu, une personne devrait être intéressée par le produit et aller sur Description complète; deuxièmement, Yandex génère un extrait à partir du début du texte. Dans notre cas, cette annonce.
2. Descriptif principal. Le premier paragraphe devrait révéler plus profondément l'essence du produit, ses caractéristiques et son objectif. Le premier paragraphe doit commencer par un mot clé. Vous pouvez ensuite écrire sur les fonctionnalités et lister les fonctionnalités et les détails. Le deuxième paragraphe doit contenir une phrase clé Utiliser des touches haute fréquence au début du texte- plus loin dans l'ordre décroissant.
3. brève description liste de produits. Pas plus de 5 articles.
4. Suite de la description principale. Il est souhaitable de divulguer caractéristiques distinctives par rapport aux concurrents et à la position sur le marché.
5. Conclusion- à qui et pourquoi nous recommandons d'utiliser le produit. Dans le dernier paragraphe, de préférence dans la dernière phrase, doit contenir un mot clé.

Description du référencement

Ne doit pas dépasser 140 caractères. Doit révéler la signification du produit, affiché sous forme d'extrait dans Google. Assurez-vous d'utiliser une bonne clé.

Clés

Clés que vous utilisez référencement doivent être répartis uniformément dans le texte dans n'importe quel ordre. Il est logique de surligner les mots clés en gras.

Passages pour Yandex

Composez des textes de sorte que dans une phrase, qui n'est pas séparée par des balises, il y ait Expressions-clés des demandes potentielles dans Yandex. La phrase elle-même peut être diluée avec d'autres mots, cela ne nuira pas au problème.

Exemple de phrase : "livraison à Dnepropetrovsk"

Variantes du texte : "... organise la livraison dans la ville de Dnepropetrovsk..." ou "la livraison dans les villes d'Ukraine est possible : Dnepropetrovsk, Kharkiv, Zaporozhye..."

Le propriétaire n'a qu'à attendre le moment où le robot du moteur de recherche entre et indexe la page de votre site.

Comment améliorer l'indexation du site dans Yandex et Google

Devant ceux qui créent un site par eux-mêmes, il semble qu'une question évidente se pose : comment ajouter votre ressource aux résultats de recherche d'un système particulier pour une requête donnée ? La réponse est simple : le propriétaire n'a qu'à attendre le moment où le robot du moteur de recherche entre en jeu et indexe la page de votre site.

Dès que les pages de votre ressource seront dans l'index du moteur de recherche, elles seront affichées dans les résultats de la recherche.

Pour la plupart des webmasters, ce problème n'est pas grave. Les volumes de leurs sites ne dépassent pas les centaines de pages, et le robot de recherche indexe souvent correctement le contenu. Cependant, il convient de prêter attention à plusieurs facteurs importants lors de l'optimisation du référencement.

Généralement, l'une des deux méthodes d'indexation est utilisée :
La première est que le propriétaire ajoute lui-même l'adresse du site dans un champ spécial qui s'affiche dans le panneau du webmaster du moteur de recherche. Dans ce cas, le moteur de recherche est averti qu'un nouveau site n'a pas encore été indexé. À son tour, le robot visite chacune de ces ressources et l'indexe.

Pour une bonne indexation, il suffit de spécifier uniquement la page principale, le reste du robot se retrouvera grâce au plan du site. Vous téléchargez également le plan du site vous-même. Il existe de nombreux sites et programmes sur Internet qui génèrent gratuitement une carte aux formats .xml ou .html.

La deuxième façon est que le robot lui-même recherche votre site. Vous demandez : comment fait-il ? Le fait est que lors de l'indexation d'une ressource, le robot vérifie les liens qui y sont placés. Autrement dit, si votre site contient déjà un lien sur une ressource indexée, par exemple par Yandex, le robot de recherche visitera votre ressource dans un court laps de temps et l'indexera. Les webmasters expérimentés estiment que cette option a un effet beaucoup plus favorable sur les résultats de recherche du site. Pour ce faire, vous devez obtenir (ou acheter) plusieurs liens et attendre l'arrivée du robot.

Bien sûr, vous souhaitez voir votre site sur les pages d'un moteur de recherche au plus vite ! En règle générale, le robot indexe les pages dans un délai n'excédant pas deux semaines. Tout dépend de l'occupation du moteur de recherche. En termes d'indexation, le robot le plus rapide de Google. Quelques heures après la saisie manuelle, le robot commence à le scanner.

Le robot, comme les développeurs de sites Web, n'aime pas les codes complexes. Pour une indexation des plus réussies, je vous conseille de la simplifier au maximum et de respecter les règles suivantes :

1. Premièrement, l'accès à toutes les pages ne doit pas dépasser 3 clics, à compter de page d'accueil. Si ce n'est pas possible, créez un sitemap. Cela aidera le robot à naviguer dans votre "jungle".
2. Deuxièmement, soyez prudent lorsque vous travaillez avec des scripts. Les robots de recherche ne savent pas les reconnaître. Lorsque vous utilisez la navigation par script, assurez-vous de dupliquer les liens !
3. Troisièmement, n'ignorez pas le fait que les robots de recherche indexent jusqu'à 200 ko de texte. S'il est important pour vous que toute la page soit indexée, ne la faites pas dépasser 100 ko.

Pour les robots de recherche, il y a fichier spécial, stocké à la racine de votre hébergement. On l'appelle robots.txt. Avec lui, vous pouvez contrôler le robot de recherche, par exemple, interdire ou autoriser l'indexation de différentes pages.
Contrairement aux robots de recherche étrangers, les russes comprennent la balise

< NOINDEX>

Ce qui permet de cacher certaines parties de la page au robot. Afin d'éliminer complètement la possibilité d'indexation, vous devez placer cette balise dans le HEAD de la page.

Afin d'exclure de Résultats de recherche ressources obsolètes au lieu de nouvelles, les moteurs de recherche implémentent . Les enregistrements de la base de données sont constamment mis à jour. Ne déclenchez pas l'alarme si le nombre de pages indexées a soudainement changé.

Approchez soigneusement le choix de l'hébergement. Si votre site plante souvent, cela aggrave le processus d'indexation. Le robot n'a tout simplement pas accès à la ressource ! C'est pourquoi vous devez être prudent lorsque vous choisissez un hébergement. Ne négligez pas les liens externes. Ils ont un effet bénéfique sur la réindexation de votre site.

Après avoir analysé les fichiers journaux du serveur, vous recevrez des informations sur le processus d'indexation.