robots.txt testaaja
Vältä vahingossa estää hakukoneiden tai tärkeitä sivuja.
Toiminta
- Jäsentäminen seuraa RFC 9309: tarkin käyttäjäagentti ryhmä sovelletaan, pisin matching sääntö voittaa ja mahdollistaa voittositeet.
- robots.txt:n vaste 5xx on raportoitu, koska ryömijät voivat kohdella koko aluetta siinä tapauksessa kiellettynä.
Raja-arvot
- robots.txt on ryömivä vihje, ei kulunvalvonta, eikä poista jo indeksoituja sivuja.
- Vain tiedoston ensimmäinen 512 KiB on jäsennelty.
Vianmääritys
- Hylättiin odottamatta
- Tarkista soveltuvasta ryhmästä laaja Disallow: / -sääntö tai jokerimerkkisääntö, jonka malli on pidempi kuin Allow-säännön.