Pour découvrir et répertorier le web, Google utilise des petits robots d’indexation appelés aussi crawlers ou spiders (ou araignées en français). Ces crawlers web sont des programmes informatiques qui ont pour mission de parcourir le web à la recherche de nouvelles pages afin de les ajouter dans leur index web constitué déjà de plusieurs milliards de pages. De l’humeur de ces robots dépendra votre indexation web par Google. Ces derniers utilisent plusieurs techniques pour explorer un site et ils sont sujets à quelques contraintes techniques.
LA BASE : « Les crawlers de Google n’aiment pas les sites en javascript et indexer un site sur Google avec ce type de technologie sera plus difficile qu’avec de bonnes vielles pages en html.. »
Une bonne indexation Google vous permettra un meilleur positionnement
En configurant correctement votre site web, vous allez donc pouvoir indexer un site sur Google plus facilement et améliorer votre référencement naturel pour y gagner ces quelques positions tant attendues. En effet, plus une page est explorée souvent, plus elle aura de chances d’apparaître dans le Top 10 (ou 3) de Google.
Idéalement, chaque page doit avoir un objectif précis et être positionnée sur le moteur de recherche, via une étude de mots-clés ; je dis bien idéalement, car dans la pratique de l’indexation web, c’est souvent plus compliqué que prévu.
Indexation WEB : comment ça marche ?
Tout d’abord, il faut savoir qu’il existe plusieurs types de robots d’indexations sur le web.
Les 3 (grands) types de robots d’indexation sur le web
– les robots des moteurs de recherches : les robots des moteurs de recherche appartiennent à des entreprises comme Google, Qwant, Bing ou Yahoo ! Ils ont pour objectif d’explorer le maximum de pages afin de les trier et de fournir à l’utilisateur la meilleure page pour une requête donnée.
– Les robots des services web : Ceux-la explorent un type de page spécifique dans le but d’ex extraire une information précise. (Ex les backlinks pour majesticseo)
– les robots de hackings : Ces derniers vont tester les failles de sécurité des sites parcourus et chercher à s’y introduire.
Nul besoin de vous préciser que les derniers sont les plus gênants, car ils peuvent endommager votre site web. Ici, nous ne nous intéresserons qu’au premier type de crawler web (ceux des moteurs de recherches) afin de vous aider à améliorer l’indexation google de votre site dans le but de le faire connaitre votre site web au plus grand nombre.
Quel est le budget de crawl d’un site ?
Comme toute entreprise, Google doit gérer son budget dédié à l’exploration de nouvelles pages quotidiennement. Pour ce faire, il attribue à chaque site un « budget de crawl » en fonction de son importance, le budget de crawl correspond aux nombres de pages à indexer par jour.
Comment connaitre le budget de crawl de mon site?
Pour connaitre le budget de crawl qui va servir à l’indexation web de de votre site. Rendez-vous sur la Search console et cliquez sur l’onglet crawl. Vous verrez alors toutes les infos données par le moteurs. Pour connaitre votre budget de crawl mensuel, il vous faudra multiplier ce nombre par 30. Bien entendu, il ne s’agit que d’une moyenne, car ce chiffre évolue constamment.
Les 2 types de crawl
Anciennement associé à la « Google Dance » ; Il existe deux types de crawl liés à l’indexation Google d’un site web, une version allégée et une version plus lourde appelée « deep crawl ».
- Le crawl allégé : La version allégée (ou quotidienne) s’effectue chaque jour, mais ne donne lieu qu’à une vérification superficielle du site (c’est à dire les pages les plus importantes du site comme la homepage).
- Le deep crawl : Chaque mois (environ), le moteur effectue un « deep crawl », c’est à dire qu’il va allouer un peu plus de budget de crawl afin de vérifier si de nouvelles pages existent sur le site.
Evidemment, un site qui génère un bon contenu régulièrement et obtient des backlinks aura tendance à attirer l’attention de Google et se fera crawler plus fréquemment.
Passons à la pratique : Voyons comment optimiser votre indexation en indiquant aux robots des moteurs quelle page parcourir en priorité.
Optimiser l’indexation Google de son site web en 6 étapes
6 étapes importantes sont à prévoir pour indexer un site sur Google tout en respectant l’humeur des araignées !
1. Désindexation des pages sans valeurs : Robots, meta tags
Pour ne pas dépenser tout votre budget de crawl quotidien, il faudra indiquer aux moteurs les pages clés du site. Un bon moyen pour faire cela est de lui préciser quelles sont les pages qu’il ne doit pas indexer (car vous les trouver sans intérêt…). Une page sans intérêt est une page qui ne présente pas d’informations intéressantes pour l’utilisateur et par conséquent pour les moteurs.
C’est le cas des pages mentions légales, de la page contact ou des pages tags sur wordpress (qui présente souvent du contenu dupliqué).
Il peut sembler assez difficile et contradictoire de trouver les pages « sans intérêts » de son site, mais c’est une étape importante.
Pour ne pas voir/désindexer des pages de votre site il existe plusieurs méthodes
Les robots.txt : qui avertissent Google de ne pas prendre en compte la page. A savoir que Google fait quand même ce qu’il veut et qu’il peut lui prendre la lubie de venir indexer la page au cas ou (dans ce cas vous passerez par la métas)
Les métas noindex : qui interdisent au crawler de passer. Le plus efficace en matière de non indexation Google.
2. Limiter les longues redirections
Les redirections sont très utiles dans une stratégie de référencement, car elles permettent de prévenir les moteurs de recherches d’un éventuel déménagement de la page.
Il existe deux types de redirections : La redirection 301 (permanente) et la redirection 302 (temporaire). Les redirections se mettent en place via le ht.access (côté serveur) et chaque redirection utilisera le budget de crawl quotidien.
Il convient donc d’utiliser celles-ci avec parcimonie et surtout d’éviter les boucles de redirections de type
Page A > redirection 301 >> Page A’ >> redirection 301 >> Page A »
Préférez : page A > redirection 301 >> Page A »
3. Vérifier les liens brisés.
Les liens brisés provoqueront des erreurs 404. Il convient de les réparer régulièrement afin de ne pas brûler votre budget de crawl ce qui aurait pour effet de limiter l’indexation google du site. De plus, avoir des liens brisés sur site indique à Google que vous n’êtes pas très vigilant, ce qui a tendance à déclasser votre site sur les moteurs.
4. Insérer un flux RSS
Le flux RSS est un outil pratique pour indiquer aux moteurs quelles sont les nouvelles actualités d’un site. Feeburner est l’outil de flux RSS de Google. Il est très utile par les spiders pour découvrir les nouvelles pages d’un site et améliorer l’indexation Google.
5. Ajouter un sitemap à jour
En théorie, le sitemap va reprendre l’ensemble des pages d’un site pour indiquer aux moteurs qu’elles existent. le sitemap est donc une carte des url de votre site spécialement conçu pour les robots de d’indexation. Attention de ne mettre que des pages importantes dans votre sitemap. certains plugins lorsqu’ils sont mal configurés vont ajouter des pages inutiles dans votre sitemap, ce qui n’aidera pas votre indexation
6. Vérifier les url au contenu identiques
« Last but not least ». Il est très important de vérifier si deux url ne présentent pas un contenu identique ou très similaires.. Cela rejoint évidemment le point 1, mais c’est très important. J’ai déjà vu sur un site un nombre de pages multipliées par 4 à cause des url et du contenu dupliqué. Tenez-vous le pour dit.
Bonne chance dans votre indexation Google pour l’optimisation du crawl, si vous avez des questions, des doutes ou des commentaires, n’hésitez pas !