robots.txt testeur
Évitez de bloquer accidentellement les moteurs de recherche ou les pages importantes.
Les mesures à prendre
- Parsing suit RFC 9309 : le groupe utilisateur-agent le plus spécifique s'applique, la règle de jumelage la plus longue gagne et permet de gagner des liens.
- Une réponse 5xx pour robots.txt est rapportée parce que les rampeurs peuvent traiter l'ensemble du site comme étant refusé dans ce cas.
Limites
- robots.txt est un indice rampant, pas un contrôle d'accès, et ne supprime pas les pages déjà indexées.
- Seuls les 512 KiB premiers du fichier sont analysés.
Dépannage
- Rejeté de façon inattendue
- Recherchez une règle générale Disallow: / dans le groupe applicable, ou une règle avec joker dont le motif est plus long que celui de la règle Allow.