Test af robots.txt
Undgå utilsigtet blokering af søgemaskiner eller vigtige sider.
Hvordan den måler
- Fortolkningen følger RFC 9309: Den mest specifikke brugeragentgruppe gælder, den længste matchende regel vinder og tillader gevinstbånd.
- En 5xx respons for robots.txt er rapporteret, fordi crawlers kan behandle hele webstedet som forbudt i dette tilfælde.
Grænseværdier
- robots.txt er et krybende vink, ikke adgangskontrol, og fjerner ikke allerede indekserede sider.
- Kun de første 512 KiB i filen er fortolket.
Fejlfinding
- Uventet bortvisning
- Se efter en bred Disallow: / i den relevante gruppe eller en jokerregel med et længere mønster end Allow-reglen.