Πώς να το χρησιμοποιήσετε
- Επιλέξτε την προεπιλεγμένη πολιτική για όλους τους crawlers και προσθέστε τυχόν διαδρομές που δεν πρέπει να ανακτούν, όπως /cart/ ή /search.
- Προσθέστε ομάδες για συγκεκριμένους crawlers αν χρειάζονται διαφορετικούς κανόνες ή χρησιμοποιήστε μια προεπιλογή.
- Προσθέστε το πλήρες URL του XML sitemap σας.
- Κατεβάστε το robots.txt και ανεβάστε το στη ρίζα του ιστότοπού σας, ώστε να διατίθεται στη διεύθυνση https://your-domain/robots.txt.
Πώς λειτουργεί
Το robots.txt είναι ένα απλό αρχείο κειμένου στη ρίζα ενός host που λέει στους crawlers ποια URLs επιτρέπεται να ανακτήσουν. Είναι τυποποιημένο ως RFC 9309. Ένα αρχείο περιέχει ομάδες: μία ή περισσότερες γραμμές User-agent ακολουθούμενες από κανόνες Allow και Disallow. Ένας crawler χρησιμοποιεί την ομάδα που αντιστοιχεί πιο συγκεκριμένα στο όνομά του και, διαφορετικά, καταφεύγει στην ομάδα *· δεν συνδυάζει τη δική του ομάδα με την ομάδα *. Μέσα σε μια ομάδα, κερδίζει ο πιο συγκεκριμένος (μεγαλύτερος) κανόνας που ταιριάζει και σε ισοπαλία κερδίζει το Allow.
Οι διαδρομές αντιστοιχίζονται από την αρχή της διαδρομής URL και κάνουν διάκριση πεζών/κεφαλαίων. Το * αντιστοιχεί σε οποιαδήποτε ακολουθία χαρακτήρων και το $ σηματοδοτεί το τέλος του URL. Ένα κενό «Disallow:» σημαίνει ότι δεν αποκλείεται τίποτα. Οι γραμμές σε αυτό το εργαλείο που δεν ξεκινούν με / ή * αγνοούνται και επισημαίνονται, επειδή και οι crawlers θα τις αγνοούσαν. Οι γραμμές Sitemap πρέπει να είναι απόλυτα URLs και ισχύουν για ολόκληρο το αρχείο, όχι για μία ομάδα.
Σημαντικοί περιορισμοί: Το robots.txt ελέγχει την ανίχνευση (crawling), όχι την ευρετηρίαση (indexing). Ένα αποκλεισμένο URL μπορεί να εμφανιστεί στα αποτελέσματα αναζήτησης αν άλλες σελίδες συνδέονται προς αυτό, απλώς χωρίς περιγραφή. Για να κρατήσετε μια σελίδα εκτός αποτελεσμάτων αναζήτησης, επιτρέψτε την ανίχνευση και χρησιμοποιήστε αντί αυτού ένα robots meta tag noindex. Κάθε host και πρωτόκολλο χρειάζεται το δικό του αρχείο, επομένως το blog.example.com χρειάζεται ξεχωριστό robots.txt.
Παραδείγματα
Κατάστημα που αποκρύπτει το καλάθι και την εσωτερική αναζήτηση
Επιτρέψτε τα πάντα και, στη συνέχεια, αποκλείστε τα /cart/, /checkout/ και /search. Προσθέστε Sitemap: https://example.com/sitemap.xml. Οι σελίδες προϊόντων και κατηγοριών παραμένουν ανιχνεύσιμες.
Ιστότοπος staging
Επιλέξτε «Αποκλεισμός όλων». Οι καλοπροαίρετοι crawlers θα παραλείψουν τότε τον ιστότοπο, αλλά προστατέψτε το staging και με κωδικό πρόσβασης, επειδή το robots.txt είναι απλώς ένα αίτημα.
Εξαίρεση από τα crawlers εκπαίδευσης τεχνητής νοημοσύνης
Η προεπιλογή για crawlers τεχνητής νοημοσύνης προσθέτει μια ομάδα για τα GPTBot, CCBot, Google-Extended, ClaudeBot και PerplexityBot με Disallow: /. Οι crawlers αναζήτησης, όπως ο Googlebot, συνεχίζουν να ακολουθούν την ομάδα *.
Συχνές ερωτήσεις
Πού τοποθετώ το robots.txt;
Στη ρίζα του host, ώστε να φορτώνεται στη διεύθυνση https://example.com/robots.txt. Ένα robots.txt σε υποφάκελο αγνοείται.
Μπορεί η οδηγία Disallow να αφαιρέσει μια σελίδα από τα αποτελέσματα αναζήτησης;
Όχι αξιόπιστα. Η οδηγία Disallow σταματά την ανίχνευση, αλλά η διεύθυνση URL μπορεί να εξακολουθεί να εμφανίζεται αν συνδέεται από αλλού. Χρησιμοποιήστε μια ετικέτα meta noindex ή μια κεφαλίδα και κρατήστε τη σελίδα ανιχνεύσιμη ώστε να μπορεί να τη δει ο crawler.
Υπακούουν όλα τα bots στο robots.txt;
Όχι. Η τήρηση του robots.txt είναι εθελοντική. Οι μεγάλες μηχανές αναζήτησης και πολλά AI crawlers δηλώνουν ότι το σέβονται, αλλά οι scrapers και τα κακόβουλα bots μπορούν να το αγνοήσουν.
Χρησιμοποιεί η Google το Crawl-delay;
Όχι, η Google αγνοεί το Crawl-delay. Ορισμένα άλλα crawlers, συμπεριλαμβανομένου του Bing, το διαβάζουν. Η Google προσαρμόζει αυτόματα τον ρυθμό ανίχνευσης με βάση τον τρόπο απόκρισης του διακομιστή σας.
Πρέπει να μπλοκάρω τα αρχεία CSS και JavaScript;
Όχι. Οι μηχανές αναζήτησης αποδίδουν τις σελίδες και χρειάζονται αυτά τα αρχεία για να κατανοήσουν τη διάταξη και το περιεχόμενο. Το μπλοκάρισμά τους μπορεί να κάνει τις σελίδες να φαίνονται σπασμένες στους crawlers.
Απόρρητο
Το αρχείο δημιουργείται στο πρόγραμμα περιήγησής σας. Οι κανόνες και οι διευθύνσεις URL σας δεν αποστέλλονται πουθενά ούτε αποθηκεύονται.