Tester pliku robots.txt
Unikać przypadkowego blokowania wyszukiwarek lub ważnych stron.
Jak mierzy
- Parsing następuje po RFC 9309: najbardziej specyficzna grupa użytkowników-agentów ma zastosowanie, najdłuższa zasada dopasowania wygrywa i pozwala na wygrane krawaty.
- Reakcja 5xx na robots.txt jest zgłaszana, ponieważ w takim przypadku pełzacze mogą traktować całe miejsce jako niedozwolone.
Granice
- robots.txt jest pełzającą podpowiedź, nie kontroli dostępu, i nie usuwa już indeksowanych stron.
- Tylko pierwsze 512 KiB pliku są rozpatrywane.
Rozwiązywanie problemów
- Niedozwolone niespodziewanie
- Sprawdź, czy odpowiednia grupa zawiera ogólną regułę Disallow: / lub regułę z symbolem wieloznacznym o wzorcu dłuższym niż Allow.