Tester robots.txt
Evite bloquear accidentalmente los motores de búsqueda o páginas importantes.
Cómo mide
- Parsing follows RFC 9309: se aplica el grupo más específico del usuario-agente, la regla más larga coincidente gana y permite ganar lazos.
- Se reporta una respuesta de 5xx para robots.txt porque los rastreadores pueden tratar todo el sitio como no autorizado en ese caso.
Limits
- robots.txt es una pista de arrastre, no control de acceso, y no elimina las páginas ya indexadas.
- Sólo se analiza el primer 512 KiB del archivo.
Solución de problemas
- Desaparecido inesperadamente
- Busca una regla amplia Disallow: / en el grupo aplicable o una regla con comodín cuyo patrón sea más largo que el de Allow.