robots.txt 测试器
避免意外屏蔽搜索引擎或重要页面.
如何衡量
- 解析跟随RFC 9309:最具体的用户代理组适用,最长的匹配规则胜出并允许胜出关系.
- 报告了robots.txt的5xx回复,因为爬行者可能认为整个网站在这种情况下是不允许的。
限制
- robots.txt是一个爬行提示,不是访问控制,也不删除已经索引的页面.
- 只有前512KiB文件被解析.
解决问题
- 意外被抛弃
- 检查适用组中是否存在范围过宽的 Disallow: /，或含通配符且匹配模式比 Allow 更长的规则。
避免意外屏蔽搜索引擎或重要页面.