robots.txt testador
Evite bloquear acidentalmente motores de busca ou páginas importantes.
Como ele mede
- A análise segue RFC 9309: o grupo de agentes mais específico se aplica, a regra mais longa ganha e permite vitórias.
- Uma resposta de 5xx para robots.txt é relatada porque rastreadores podem tratar todo o local como proibido nesse caso.
Limites
- robots.txt é uma dica rastejante, não controle de acesso, e não remove páginas já indexadas.
- Apenas o primeiro 512 KiB do arquivo são analisados.
Solução de problemas
- Desaprovado inesperadamente.
- Procure uma regra ampla Disallow: / no grupo aplicável ou uma regra com curinga cujo padrão seja mais longo que o de Allow.