Test di robots.txt
Evita di bloccare per errore i motori di ricerca o pagine importanti.
Come misura
- L'analisi segue RFC 9309: si applica il gruppo user-agent più specifico, vince la regola corrispondente più lunga e, a parità, vince allow.
- Una risposta 5xx per robots.txt viene segnalata perché in quel caso i crawler possono trattare l'intero sito come non consentito.
Limiti
- robots.txt è un suggerimento per la scansione, non un controllo degli accessi, e non rimuove le pagine già indicizzate.
- Vengono analizzati solo i primi 512 KiB del file.
Risoluzione dei problemi
- Non consentito in modo inatteso
- Cerca un Disallow: / generico nel gruppo corrispondente o una regola con carattere jolly più lunga del tuo Allow.