Test souboru robots.txt
Vyhněte se náhodnému blokování vyhledávačů nebo důležitých stránek.
Jak opatření
- Rozdělení následovalo RFC 9309: použije se nejspecifičtější skupina uživatelů- agent, vyhrává nejdelší odpovídající pravidlo a umožňuje vyhrát vazby.
- Je hlášena 5xx odezva na robots.txt, protože v tomto případě se s celou lokalitou může zacházet jako s nepovolenou.
Mezní hodnoty
- robots.txt je plazící se náznak, ne kontrola přístupu, a neodstraňuje již indexované stránky.
- Pouze první 512 KiB souboru jsou rozebrány.
Řešení problémů
- Nečekaně zakázáno
- V příslušné skupině hledejte obecné pravidlo Disallow: / nebo pravidlo se zástupným znakem, jehož vzor je delší než vzor Allow.