robots.txt tesztelő
Kerülje a keresőmotorok vagy fontos oldalak véletlen blokkolását.
Hogyan méri
- A feladás a RFC 9309-t követi: a legspecifikusabb felhasználóügynök-csoport alkalmazandó, a leghosszabb illeszkedési szabály nyer, és engedélyezi a nyakkendőket.
- A robots.txt esetében 5xx választ jelentettek, mivel a rákok az egész területet az adott esetben megengedettként kezelhetik.
Határértékek
- robots.txt egy mászó tipp, nem hozzáférés vezérlés, és nem távolítja el már indexelt oldalak.
- Csak az első 512 KiB fájl oszlik fel.
Hibaelhárítás
- Váratlanul elutasítva
- Keressen általános Disallow: / szabályt a megfelelő csoportban, vagy olyan helyettesítő karakteres szabályt, amelynek mintája hosszabb az Allow mintájánál.