robots.txt テスター
誤って検索エンジンや重要なページをブロックしないでください。
対策方法
- パーシングはRFC 9309に従います。最も特定のユーザーエージェントグループが適用され、最も長いマッチングルールが勝ち、勝ち目を結びます。
- robots.txtの5xx応答は、クローラーがその場合、サイト全体を不許可として扱う可能性があるため報告されています。
制限事項
- robots.txtは、アクセス制御ではなく、クロールヒントであり、既にインデックスされたページを削除しません。
- ファイルの最初の512 KiBのみが解析されます。
トラブルシューティング
- 予期しないで
- 適用されるグループに広範な Disallow: / がないか、または Allow より長いパターンを持つワイルドカード付きルールがないか確認してください。