Test av robots.txt
Unngå ved et uhell blokkere søkemotorer eller viktige sider.
Hvordan det måles
- Parsing følger RFC 9309: den mest spesifikke brukeragentgruppen gjelder, den lengste matchende regelen vinner og tillater gevinster bånd.
- En 5xx respons for robots.txt er rapportert fordi crawlers kan behandle hele stedet som ikke tillatt i det tilfellet.
Grenser
- robots.txt er et krypende hint, ikke tilgangskontroll, og fjerner ikke allerede indekserte sider.
- Bare den første 512 KiB av filen tolkes.
Feilsøking
- Ikke tillatt uventet
- Se etter en bred Disallow: / i den aktuelle gruppen eller en jokerregel med et lengre mønster enn Allow-regelen.