robots.txt testare
Undvik att av misstag blockera sökmotorer eller viktiga sidor.
Hur det mäter
- Parsing följer RFC 9309: den mest specifika användaragentgruppen gäller, den längsta matchande regeln vinner och tillåter vinstband.
- Ett 5xx-svar för robots.txt rapporteras eftersom krypskyttar kan behandla hela webbplatsen som förbjuden i det fallet.
Begränsningar
- robots.txt är en krypande ledtråd, inte åtkomstkontroll och tar inte bort redan indexerade sidor.
- Endast den första 512 KiB av filen är parsed.
Felsökning
- Disallowed oväntat
- Kontrollera om den relevanta gruppen har en bred Disallow: / eller en jokerregel med ett längre mönster än Allow-regeln.