Test pentru robots.txt
Evitați blocarea accidentală a motoarelor de căutare sau a paginilor importante.
Cum se masoara
- Parsing urmează după RFC 9309: se aplică cel mai specific grup de agenţi de utilizator, cea mai lungă regulă de potrivire câştigă şi permite câştiguri de cravate.
- Un răspuns 5xxx pentru robots.txt este raportat deoarece crawlere pot trata întregul site ca nepermis în acest caz.
Limite
- robots.txt este un indiciu crawling, nu controlul accesului, și nu elimină paginile deja indexate.
- Doar primele 512 KiB din dosar sunt parsed.
Depanare
- Nepermis pe neasteptate
- Caută o regulă generală Disallow: / în grupul aplicabil sau o regulă cu metacaracter al cărei tipar este mai lung decât cel al regulii Allow.