Robots.txt

Le Robot Exclusion Standard est un fichier texte placé à la racine d’un site Web qui contient des instructions pour les Crawlers (ou spiders) parcourants votre site.