Tester voor robots.txt
Vermijd per ongeluk blokkeren van zoekmachines of belangrijke pagina's.
Hoe het meet
- Ontleden volgt RFC 9309: de meest specifieke user-agent groep is van toepassing, de langste bijpassende regel wint en maakt het winnen van banden mogelijk.
- Een 5xx respons voor robots.txt is gemeld omdat kruipers de hele site kunnen behandelen als niet toegestaan in dat geval.
Grenswaarden
- robots.txt is een kruipende hint, geen toegangscontrole, en verwijdert reeds geïndexeerde pagina's niet.
- Alleen de eerste 512 KiB van het dossier worden ontleed.
Problemen oplossen
- Onverwacht niet toegestaan
- Controleer de toepasselijke groep op een algemene Disallow: / of een jokerregel met een langer patroon dan de Allow-regel.