Crawling

Le crawling est la façon dont les moteurs de recherche découvrent les pages : un programme (un crawler ou robot) télécharge les pages et suit leurs liens pour en trouver d'autres.

Par l'équipe SmooxSEO. Mis à jour le 16 novembre 2026.

En détail

Googlebot et les autres crawlers partent d'adresses connues et de sitemaps, lisent chaque page et ajoutent à leur liste les liens qu'ils y trouvent. Les pages que aucun lien ne pointe, ou qui sont bloquées par robots.txt, sont difficiles ou impossibles à découvrir.

Les crawlers ne suivent que les vrais liens écrits sous la forme <a href>. Les boutons et les gestionnaires de clic en JavaScript ne sont généralement pas suivis.

Problèmes liés vérifiés par SmooxSEO

Termes liés