robots.txt Тестер
Избегайте случайной блокировки поисковых систем или важных страниц.
Как он измеряет
- Парсинг следует за RFC 9309: применяется наиболее специфическая группа пользователей-агентов, выигрывает самое длинное правило соответствия и позволяет выигрывать связи.
- 5xx ответ для robots.txt сообщается, потому что сканеры могут рассматривать весь сайт как запрещенный в этом случае.
пределы
- robots.txt является подсказкой для сканирования, не контролирует доступ и не удаляет уже проиндексированные страницы.
- Разобраны только первые 512 KiB файла.
устранение неполадок
- Запрещено неожиданно
- Проверьте подходящую группу на общее правило Disallow: / или правило с подстановочным знаком, чей шаблон длиннее шаблона Allow.