Quelle URL du sitemap mettre dans le robots.txt ?
Vous pouvez préciser le chemin vers votre sitemap dans le fichier robots.txt. Ainsi, les robots de Google le trouveront plus facilement.
Pour rappel, le fichier "sitemap" liste toutes les pages d'un site internet avec les URL correspondantes. Le but de ce fichier est de faciliter le parcours du site par les robots utilisés par les moteurs de recherche. Avec ce fichier, les moteurs de recherche sont censés indexer plus facilement les pages de votre site.
Vous pouvez préciser le chemin vers votre fichier sitemap dans le fichier robots.txt, qui indique aux robots les directives à suivre lors de l'indexation du site et de ses pages. Indiquez alors la directive "sitemap" suivie de l'URL complète vers le fichier sitemap comme ceci :
sitemap: http://monsite.fr/sitemap.xml
Attention, cela doit bien être une URL complète : il n'est pas possible d'indiquer juste le chemin du fichier sans l'URL, vous ne pouvez donc pas écrire par exemple sitemap:/sitemap.xml.
Le site officiel de Google recommande particulièrement le sitemap pour les sites qui ont beaucoup de pages, mais précise bien que ses robots n'indexeront pas toujours la totalité des éléments indiqués dans ce fichier... Des informations complémentaires figurent aussi sur le site Sitemap.org".
Concernant l'indexation, lire aussi :
Empêcher l'indexation d'un site miroir (un sous-domaine) via le fichier robots.txt
Empêcher l'indexation des paramètres d'URL avec robots.txt