robots.txt δοκιμαστής
Αποφύγετε το κατά λάθος μπλοκάρισμα μηχανών αναζήτησης ή σημαντικών σελίδων.
Πώς μετρά
- Η ανάλυση ακολουθεί το RFC 9309: ισχύει η πιο συγκεκριμένη ομάδα χρηστών-παραγόντων, ο μεγαλύτερος κανόνας που ταιριάζει κερδίζει και επιτρέπει τους δεσμούς κερδών.
- Αναφέρθηκε απόκριση 5xx για το robots.txt, επειδή οι συριγμοί μπορεί να αντιμετωπίζουν ολόκληρο το σημείο ως απαγορευμένο σε αυτή την περίπτωση.
Όρια
- robots.txt είναι μια σέρνεται υπόδειξη, δεν τον έλεγχο πρόσβασης, και δεν αφαιρεί ήδη ευρετηριαστεί σελίδες.
- Μόνο το πρώτο 512 KiB του αρχείου αναλύεται.
Αντιμετώπιση προβλημάτων
- Απορρίπτεται απροσδόκητα
- Ελέγξτε για γενικό κανόνα Disallow: / στην αντίστοιχη ομάδα ή για κανόνα με μπαλαντέρ του οποίου το μοτίβο είναι μεγαλύτερο από του Allow.