robots.txt Tester
Vermeiden Sie es, versehentlich Suchmaschinen oder wichtige Seiten zu blockieren.
Wie es misst
- Das Parsing folgt RFC 9309: Es gilt die spezifischste User-Agent-Gruppe, die längste Matching-Regel gewinnt und erlaubt Gewinnbindungen.
- Eine 5xx Antwort für robots.txt wird gemeldet, weil Crawler die gesamte Site in diesem Fall als unzulässig behandeln können.
Grenzwerte
- robots.txt ist ein Crawling-Hinweis, keine Zugriffskontrolle und entfernt nicht bereits indizierte Seiten.
- Nur die ersten 512 KiB der Datei werden analysiert.
Fehlerbehebung
- Unerwartet verboten
- Prüfe die passende Gruppe auf eine umfassende Regel Disallow: / oder eine Platzhalterregel, deren Muster länger als das der Allow-Regel ist.