Το αρχείο robots.txt είναι ένα αρχείο κειμένου που βρίσκεται στον βασικό φάκελο της ιστοσελίδας σου. Λέει στους crawlers ποιες σελίδες μπορούν να επισκεφτούν και ποιες είναι απαγορευμένες. Για τις παραδοσιακές μηχανές αναζήτησης, το robots.txt είναι προαιρετικό. Για τους crawlers AI, είναι το βασικό εργαλείο που χρησιμοποιείς για να ελέγξεις αν το περιεχόμενό σου θα γίνει index ή θα μπλοκαριστεί.
Η διαφορά μετράει. Η Google σέβεται το robots.txt, αλλά κάνει crawling και σε σελίδες που μπλοκάρεις αν άλλες ιστοσελίδες τις κάνουν link. Οι crawlers AI σέβονται το robots.txt πιο αυστηρά. Μπλόκαρε το GPTBot στο robots.txt και το ChatGPT δεν θα παραθέτει το περιεχόμενό σου. Επίτρεψέ το και το περιεχόμενό σου γίνεται διαθέσιμο για παραθέσεις AI. Αυτό το κεφάλαιο καλύπτει πώς λέγεται κάθε μεγάλος crawler AI, πώς να μπλοκάρεις συγκεκριμένα bots και ποια στρατηγική έχει νόημα για το brand σου.
Πώς δουλεύει το robots.txt για τους crawlers AI
Όταν ένας crawler επισκέπτεται την ιστοσελίδα σου, το πρώτο πράγμα που κάνει είναι να ψάξει για αρχείο robots.txt. Διαβάζει το αρχείο γραμμή γραμμή, ψάχνοντας κανόνες που τον αφορούν. Αν το robots.txt σου λέει «disallow: /», κανένας crawler δεν μπορεί να μπει σε καμία σελίδα. Αν λέει «disallow: /admin/», οι crawlers μπορούν να μπουν παντού εκτός από τον φάκελο admin.
Οι crawlers AI ακολουθούν αυτούς τους κανόνες πιο συνεπώς από τον Googlebot. Αν μπλοκάρεις το ClaudeBot στο robots.txt, το Claude δεν θα κάνει index το περιεχόμενό σου. Τελεία. Ο Googlebot μπορεί να σαρώσει σελίδες που μπλόκαρες αν το περιεχόμενο έχει link από άλλες ιστοσελίδες, αλλά οι crawlers AI σταματούν στην οδηγία του robots.txt.
Η μορφή είναι απλή. Γράφεις κανόνες που ορίζουν ποια user agents (ονόματα crawlers) αφορά κάθε κανόνας και μετά αναφέρεις σε τι μπορούν και σε τι δεν μπορούν να έχουν πρόσβαση. Το αρχείο είναι απλό κείμενο. Χωρίς markup. Χωρίς ειδική μορφοποίηση. Μόνο κανόνες.
Οι μεγάλοι crawlers AI και τα ονόματα των user agents τους
Κάθε crawler έχει ένα όνομα user agent. Όταν επισκέπτεται την ιστοσελίδα σου, ταυτίζεται με αυτό το όνομα. Χρησιμοποιείς αυτό το όνομα στο robots.txt για να φτιάξεις κανόνες ειδικά για αυτόν τον crawler.
Να οι μεγάλοι crawlers AI που πρέπει να ξέρεις:
GPTBot (OpenAI)
Το GPTBot είναι ο crawler της OpenAI. Κάνει index περιεχόμενο για το ChatGPT. Όταν ένας χρήστης ενεργοποιεί την αναζήτηση στο web στο ChatGPT, το σύστημα παίρνει δεδομένα από σελίδες που έχει κάνει index το GPTBot. Το GPTBot σαρώνει επιθετικά, αλλά σέβεται τους κανόνες του robots.txt.
Για να επιτρέψεις το GPTBot, δεν κάνεις τίποτα. Σαρώνει από προεπιλογή. Για να το μπλοκάρεις, πρόσθεσε αυτές τις γραμμές στο robots.txt:
User-agent: GPTBot
Disallow: /
Αυτός ο κανόνας λέει «GPTBot, δεν μπορείς να μπεις σε καμία σελίδα αυτής της ιστοσελίδας». Αν θέλεις να μπλοκάρεις μόνο συγκεκριμένες ενότητες, μπορείς να είσαι πιο συγκεκριμένος. Μπλόκαρε τον φάκελο /admin/ αλλά άφησε τα υπόλοιπα:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
Το ClaudeBot είναι ο crawler της Anthropic. Κάνει index περιεχόμενο για την αναζήτηση στο web του Claude. Το ClaudeBot είναι πιο επιθετικό από το GPTBot. Κάνει περισσότερα αιτήματα και σαρώνει πιο συχνά. Αν επιτρέψεις το ClaudeBot, παρακολούθησε τους πόρους του server σου.
Το ClaudeBot ταυτίζεται με αυτό το όνομα user agent. Χρησιμοποίησέ το στο robots.txt με τον ίδιο τρόπο όπως το GPTBot:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
Το PerplexityBot σαρώνει το web για το Perplexity. Είναι ένας από τους πιο συχνούς crawlers. Ενημερώνει το περιεχόμενο πολλές φορές την ημέρα, γιατί το Perplexity δίνει προτεραιότητα στη φρεσκάδα. Αν μπλοκάρεις το PerplexityBot, το περιεχόμενό σου δεν θα εμφανίζεται στις απαντήσεις του Perplexity.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
Η Google έχει δύο crawlers. Ο Googlebot σαρώνει για την παραδοσιακή αναζήτηση. Ο Googlebot-Extended σαρώνει για τα συστήματα AI της Google, όπως τα AI Overviews και το Gemini. Μπορείς να μπλοκάρεις τον Googlebot-Extended και να επιτρέπεις τον Googlebot.
User-agent: Googlebot-Extended
Disallow: /
Άλλοι crawlers
Το Yandex (YandexBot), το Microsoft Bing (Bingbot), το Naver (Naver) και άλλες μηχανές αναζήτησης έχουν επίσης crawlers. Η αρχή είναι η ίδια. Βρες το όνομα του user agent και φτιάξε έναν κανόνα.
Η στρατηγική: να επιτρέψεις ή να μπλοκάρεις;
Τα περισσότερα brands πρέπει να επιτρέπουν στους crawlers AI να μπαίνουν στο περιεχόμενό τους. Οι παραθέσεις AI φέρνουν επισκεψιμότητα υψηλής ποιότητας. Οι χρήστες που βρίσκουν το περιεχόμενό σου μέσω ChatGPT ή Perplexity έχουν ήδη αποφασίσει ότι η απάντησή σου έχει αξία. Κάνουν κλικ και μετατρέπονται σε πελάτες με υψηλότερα ποσοστά από τους επισκέπτες της παραδοσιακής αναζήτησης.
Υπάρχουν εξαιρέσεις. Αν έχεις ιδιόκτητες πληροφορίες, επαγγελματικά μυστικά ή περιεχόμενο που θέλεις να μείνει αποκλειστικό, έχει νόημα να μπλοκάρεις τους crawlers AI. Αν έχεις περιεχόμενο πίσω από paywall, μπορεί να μπλοκάρεις ορισμένους crawlers για να μην υπάρχει δωρεάν πρόσβαση μέσω περιλήψεων AI. Αν έχεις περιεχόμενο που σε φέρνει σε δύσκολη θέση ή είναι ξεπερασμένο, μπορεί να μπλοκάρεις τους crawlers AI μέχρι να το ενημερώσεις.
Για το μεγαλύτερο μέρος του περιεχομένου όμως, η λογική είναι απλή. Η ορατότητα στην AI δημιουργεί περισσότερες ευκαιρίες απ' ό,τι κινδύνους. Επίτρεψε τους crawlers. Κάνε παραθέσεις. Φέρε επισκεψιμότητα.
Μπλόκαρε συγκεκριμένους crawlers και επίτρεψε άλλους
Δεν χρειάζεται να διαλέξεις «όλα ή τίποτα». Μπορείς να επιτρέψεις κάποιους crawlers AI και να μπλοκάρεις άλλους.
Επίτρεψε το Perplexity και το GPTBot αλλά μπλόκαρε το ClaudeBot, επειδή η συχνότητα σάρωσης του ClaudeBot πιέζει τον server σου:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
Το κενό «Disallow:» σημαίνει ότι δεν υπάρχει περιορισμός. Ο crawler μπορεί να μπει παντού.
Μπορείς επίσης να μπλοκάρεις crawlers AI από συγκεκριμένες ενότητες. Επίτρεψε το GPTBot παντού εκτός από το admin panel σου:
User-agent: GPTBot
Disallow: /admin/
Άφησέ το να σαρώνει το blog σου αλλά όχι τα προϊόντα σου:
User-agent: GPTBot
Disallow: /products/
Ο κανόνας wildcard και η προεπιλεγμένη συμπεριφορά
Μπορείς να φτιάξεις κανόνες για συγκεκριμένους crawlers και έναν προεπιλεγμένο κανόνα για όλους τους άλλους. Ο αστερίσκος (*) είναι το wildcard που ισχύει για όλους τους crawlers που δεν αναφέρονται συγκεκριμένα.
Αυτός ο κανόνας μπλοκάρει όλους τους crawlers από το /private/ αλλά επιτρέπει όλα τα υπόλοιπα:
User-agent: *
Disallow: /private/
Αυτός ο κανόνας μπλοκάρει όλους τους crawlers από οτιδήποτε:
User-agent: *
Disallow: /
Η οδηγία crawl-delay
Μπορείς να πεις στους crawlers να επιβραδύνουν. Η οδηγία Crawl-delay λέει σε έναν crawler να περιμένει συγκεκριμένο αριθμό δευτερολέπτων ανάμεσα στα αιτήματα. Αν ο server σου δυσκολεύεται με τη σάρωση του ClaudeBot, μπορείς να του πεις να πάει πιο αργά:
User-agent: ClaudeBot
Crawl-delay: 5
Αυτό σημαίνει ότι το ClaudeBot πρέπει να περιμένει 5 δευτερόλεπτα ανάμεσα σε κάθε αίτημα. Επιβραδύνει τη σάρωση αλλά μειώνει το φορτίο του server.
Πώς σχετίζεται το robots.txt με το sitemap σου
Το αρχείο robots.txt μπορεί να παραπέμπει στο sitemap σου. Πρόσθεσε αυτή τη γραμμή στο τέλος του robots.txt:
Sitemap: https://yoursite.com/sitemap.xml
Οι crawlers ελέγχουν το robots.txt σου και βλέπουν την παραπομπή στο sitemap. Ξέρουν έτσι πού θα βρουν τον χάρτη του περιεχομένου σου. Αυτό επιταχύνει την ανακάλυψη. Δεν αλλάζει σε τι μπορούν να μπουν οι crawlers. Απλώς τους δείχνει πού να κοιτάξουν.
Δοκίμασε το robots.txt σου
Μπορείς να δοκιμάσεις το αρχείο robots.txt πριν το ανεβάσεις. Το Google Search Console περιλαμβάνει εργαλείο δοκιμής του robots.txt. Βάζεις ένα URL και ένα όνομα user agent και σου λέει αν ο συγκεκριμένος crawler μπορεί να μπει σε εκείνη τη σελίδα σύμφωνα με τους κανόνες του robots.txt σου.
Πολλές πλατφόρμες περιεχομένου δημιουργούν αυτόματα αρχείο robots.txt. Έλεγξε τις ρυθμίσεις της ιστοσελίδας σου. Αν μπορείς να το επεξεργαστείς, μπορείς να προσθέσεις δικούς σου κανόνες. Αν δεν μπορείς, επικοινώνησε με τον πάροχο φιλοξενίας σου.
Συχνές ερωτήσεις
Αν μπλοκάρω όλους τους crawlers AI, θα κατατάσσεται η ιστοσελίδα μου στη Google;
Ναι. Το μπλοκάρισμα των crawlers AI (GPTBot, ClaudeBot κ.λπ.) δεν επηρεάζει την κατάταξη στη Google. Η Google χρησιμοποιεί τον Googlebot για την παραδοσιακή αναζήτηση και τον Googlebot-Extended για τις λειτουργίες AI. Αν θέλεις να μπλοκάρεις μόνο τους crawlers AI αλλά να κρατήσεις την πρόσβαση της Google, μπλόκαρε συγκεκριμένα τα ονόματα των crawlers AI και άφησε ξεμπλόκαρτους τον Googlebot και τον Googlebot-Extended. Με τον δημιουργό ιστοσελίδων της WEMASY φτιάχνεις τις δικές σου σελίδες στην ιστοσελίδα σου.
Μπορώ να μπλοκάρω τους crawlers εκπαίδευσης AI αλλά να επιτρέψω τους crawlers αναζήτησης AI;
Τα όρια ανάμεσα στους crawlers εκπαίδευσης και αναζήτησης είναι θολά. Οι περισσότερες μεγάλες εταιρείες AI χρησιμοποιούν πλέον τους ίδιους crawlers και για τους δύο σκοπούς. Αν μπλοκάρεις εντελώς έναν crawler AI, μπλοκάρεις και την πρόσβασή του για εκπαίδευση και την πρόσβασή του για αναζήτηση. Δεν μπορείς να μπλοκάρεις επιλεκτικά μόνο την εκπαίδευση ή μόνο την αναζήτηση με το robots.txt. Μπλοκάρεις τον crawler εξ ολοκλήρου ή τον επιτρέπεις.
Τι γίνεται αν δεν έχω αρχείο robots.txt;
Αν δεν έχεις αρχείο robots.txt, οι crawlers υποθέτουν ότι μπορούν να μπουν παντού. Όλοι οι crawlers (Google, Bing, GPTBot, ClaudeBot, όλοι) θα κάνουν index ολόκληρη την ιστοσελίδα σου. Για τις περισσότερες ιστοσελίδες αυτή είναι η επιθυμητή συμπεριφορά. Αν θέλεις να μπλοκάρεις συγκεκριμένους crawlers ή ενότητες, χρειάζεσαι αρχείο robots.txt.
Μπορούν οι crawlers AI να παρακάμψουν το αρχείο robots.txt μου;
Θεωρητικά ναι, αλλά δεν το κάνουν. Οι crawlers AI σέβονται το robots.txt πιο αυστηρά από τον Googlebot. Αν πεις σε έναν crawler AI να μείνει έξω, μένει έξω. Οι δημιουργοί των crawlers ξέρουν ότι η παράβαση του robots.txt βλάπτει τις σχέσεις τους με τους εκδότες. Ακολουθούν τους κανόνες.
Κάθε πότε πρέπει να ενημερώνω το αρχείο robots.txt;
Χρειάζεται να το ενημερώσεις μόνο αν αλλάξουν οι κανόνες μπλοκαρίσματός σου. Αν αποφασίσεις να μπλοκάρεις έναν νέο crawler ή να ανοίξεις την πρόσβαση σε μια ενότητα που ήταν μπλοκαρισμένη, ενημέρωσέ το. Αλλιώς, αφού το στήσεις, μπορείς να το αφήσεις ήσυχο. Οι crawlers το ελέγχουν κάθε φορά που επισκέπτονται, οπότε οι αλλαγές ισχύουν αμέσως.
Πρέπει να μπλοκάρω τους crawlers AI από την ανάλυση ανταγωνιστών ή την ιδιωτική έρευνά μου;
Ναι. Αν έχεις σελίδες που περιέχουν ιδιόκτητη έρευνα, ανάλυση ανταγωνισμού ή περιεχόμενο που δεν θέλεις να είναι δημόσια διαθέσιμο, μπλόκαρε όλους τους crawlers από αυτές τις ενότητες. Πρόσθεσε κανόνα disallow για αυτόν τον φάκελο ή αυτές τις σελίδες. Οι crawlers δεν θα τις κάνουν index και τα συστήματα AI δεν θα έχουν πρόσβαση για να τις παραθέσουν.