Sivustokartan tarkistus
Saalis rikki tai himmeä sivukartta ennen hakukoneiden tehdä.
Toiminta
- Tiedosto (gzip-tuki) tarkastetaan jopa 2 MiB ilman XML parser, joten DTD ja yhteisöt eivät koskaan käsitellä.
- Enintään viisi saman isännän URL-osoitetta tarkastetaan HEAD pyynnöllä.
- Protokollan raja-arvot: 50,000 URL-osoitetta ja 50 MB pakkaamatonta pintakarttaa kohti.
Raja-arvot
- Lukumäärä on pienempi, kun tiedosto on tynkätty 2 MiB.
- Hakemistossa olevat lapsikartat on lueteltu eikä niitä ole vahvistettu rekursiivisesti.
Vianmääritys
- Identtinen lastmod kaikkialla
- Regeneroitu aikaleimat, jotka eivät heijasta todellisia muutoksia, jätetään hakukoneiden huomiotta. Käytä todellista muutospäivää.