Le fichier robots.txt est un fichier contenant des informations destinées aux robots d’indexations des moteurs de recherche.
L’objectif premier est d’informé le robot des pages qu’il doit ou non indexé.
Ainsi les robots indexeurs des moteurs de recherche passent toujours par la racine de votre site pour détecter ce fichier, tout comme le sitemap c’est un indicateur important qui facilite le travail des moteurs de recherche et améliore donc votre référencement. |
