robots.txt

robots.txt est un fichier texte placé à la racine d'un site (example.com/robots.txt). Il indique aux robots d'exploration les parties du site qu'ils peuvent ou ne peuvent pas visiter.

Par l'équipe SmooxSEO. Mis à jour le 16 novembre 2026.

En détail

Chaque bloc désigne un user agent (un robot d'exploration) et liste des règles Allow ou Disallow pour des chemins. Il peut aussi pointer vers votre sitemap XML.

robots.txt contrôle l'exploration, pas l'indexation : une page bloquée peut quand même apparaître dans les résultats si d'autres pages y renvoient. Pour retirer une page des résultats, utilisez noindex à la place, et ne la bloquez pas.

Problèmes liés vérifiés par SmooxSEO

Termes liés