Για να ελέγξεις αν το ChatGPT μπορεί να βρει και να παραθέσει το περιεχόμενό σου, υπάρχουν τρεις ξεχωριστοί μηχανισμοί: το robots.txt, τα meta tags και οι κεφαλίδες HTTP. Οι περισσότεροι ξέρουν τον έναν. Αν καταλάβεις και τους τρεις, μπορείς να διαλέξεις συνειδητά τη στρατηγική ορατότητάς σου.
Δεν είναι απλά θέμα μπλοκαρίσματος ή επιτρέπεις. Είναι θέμα να ξέρεις τι θέλεις. Διαφορετικές οδηγίες δίνουν διαφορετικά αποτελέσματα. Ο λάθος συνδυασμός μπορεί να γυρίσει μπούμερανγκ.
Τα τρία επίπεδα ελέγχου
Έχεις τρεις τρόπους να πεις στους crawlers του ChatGPT τι ισχύει για το περιεχόμενό σου.
Επίπεδο 1: robots.txt
Αυτό το αρχείο στη ρίζα του domain σου λέει στους crawlers τι μπορούν και τι δεν μπορούν να ανοίξουν σε όλη την ιστοσελίδα ή σε συγκεκριμένες ενότητες. Ελέγχει την ανακάλυψη και τη σάρωση.
Επίπεδο 2: meta robots tags
Αυτά τα meta tags HTML σε κάθε σελίδα λένε στους crawlers τι να κάνουν αφού έχουν βρει και διαβάσει τη σελίδα. Ελέγχουν την ευρετηρίαση και τη χρήση αυτής της συγκεκριμένης σελίδας.
Επίπεδο 3: κεφαλίδες HTTP X-Robots-Tag
Αυτή η κεφαλίδα στην απάντηση HTTP του server σου έχει τον ίδιο σκοπό με τα meta robots tags, αλλά μπορεί να εφαρμοστεί σε όλη την ιστοσελίδα ή σε συγκεκριμένους τύπους περιεχομένου. Είναι χρήσιμη για περιεχόμενο που δεν είναι HTML, όπως τα PDF.
Οι περισσότεροι εστιάζουν στο robots.txt και ξεχνούν τα άλλα δύο. Και τα τρία δουλεύουν μαζί.
Επίπεδο 1: Το robots.txt και το OAI-SearchBot
Το robots.txt επικοινωνεί με το OAI-SearchBot (τον crawler αναζήτησης του ChatGPT). Το ChatGPT σέβεται τις τυπικές οδηγίες του robots.txt.
Για να επιτρέψεις στο OAI-SearchBot να έχει πρόσβαση στο περιεχόμενό σου
User-agent: OAI-SearchBot
Allow: /
Αυτή είναι η προεπιλογή. Το OAI-SearchBot θα σαρώσει όλη την ιστοσελίδα σου και το περιεχόμενό σου θα φαίνεται στην αναζήτηση του ChatGPT.
Για να μπλοκάρεις εντελώς το OAI-SearchBot
User-agent: OAI-SearchBot
Disallow: /
Έτσι η αναζήτηση του ChatGPT δεν μπορεί να βρει το περιεχόμενό σου. Οι σελίδες σου δεν θα εμφανίζονται στις απαντήσεις του ChatGPT.
Για να επιτρέψεις το OAI-SearchBot αλλά να ελέγχεις τον ρυθμό σάρωσης
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
Η οδηγία Crawl-delay λέει στο bot να περιμένει 1 δευτερόλεπτο ανάμεσα στα αιτήματα. Αυτό βοηθά να μην φορτώνεται ο server σου, αν ο crawler του ChatGPT τον επισκέπτεται πολύ συχνά.
Για να μπλοκάρεις συγκεκριμένες ενότητες
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Έτσι μπλοκάρεται η σάρωση των φακέλων /admin/ και /private/, ενώ όλα τα υπόλοιπα μένουν ανοιχτά.
Η βασική αρχή: το robots.txt ελέγχει την ανακάλυψη και τη σάρωση. Αν μπλοκάρεις έναν crawler εδώ, δεν μπορεί να ανοίξει καθόλου τη σελίδα, άρα δεν μπορεί να διαβάσει ούτε τα meta tags της.
Επίπεδο 2: meta robots tags, έλεγχος μετά την ανακάλυψη
Αφού το OAI-SearchBot σαρώσει τη σελίδα σου (δηλαδή δεν μπλοκαρίστηκε στο robots.txt), τα meta robots tags του λένε τι να κάνει με το περιεχόμενο.
Η δομή του meta robots tag
<meta name="robots" content="directive1, directive2">
Βασικές οδηγίες για crawlers AI
noindex: μην ευρετηριάσεις αυτή τη σελίδα και μην τη συμπεριλάβεις σε περιλήψεις. Ο crawler βλέπει τη σελίδα αλλά δεν τη χρησιμοποιεί.
nofollow: μην ακολουθήσεις τα links αυτής της σελίδας. Ο crawler βλέπει τη σελίδα αλλά δεν σαρώνει τα links μέσα της.
noai: μην χρησιμοποιήσεις αυτό το περιεχόμενο για εκπαίδευση μοντέλων AI. Η σελίδα μπορεί να βγαίνει στα αποτελέσματα αναζήτησης, αλλά η OpenAI δεν μπορεί να τη χρησιμοποιήσει για να εκπαιδεύσει γλωσσικά μοντέλα.
noimageai: μην χρησιμοποιήσεις τις εικόνες αυτής της σελίδας για εκπαίδευση μοντέλων που δημιουργούν εικόνες.
Παράδειγμα
<meta name="robots" content="noindex">
Αυτό λέει σε όλους τους crawlers (Google, Bing, ChatGPT κ.λπ.) να μην ευρετηριάσουν τη σελίδα. Το ChatGPT δεν θα την παραθέσει, η Google δεν θα την εμφανίσει και το Bing δεν θα τη συμπεριλάβει.
Ειδικά για το OAI-SearchBot
<meta name="robots" content="noai">
Αυτό λέει συγκεκριμένα στο OAI-SearchBot να μην χρησιμοποιήσει το περιεχόμενο για εκπαίδευση. Η σελίδα μπορεί να παρατίθεται ακόμα στα αποτελέσματα αναζήτησης του ChatGPT, αλλά η OpenAI δεν μπορεί να τη χρησιμοποιήσει για εκπαίδευση μοντέλων.
Κρίσιμος κανόνας: μην συνδυάζεις robots.txt και noindex
Αυτός είναι ο πιο σημαντικός τεχνικός κανόνας. Μην κάνεις ποτέ αυτό:
User-agent: OAI-SearchBot
Disallow: /article/
και ταυτόχρονα να βάζεις αυτό στη σελίδα του άρθρου:
<meta name="robots" content="noindex">
Γιατί: αν μπλοκάρεις το OAI-SearchBot μέσω robots.txt από το /article/, ο crawler δεν ανοίγει ποτέ τη σελίδα. Δεν διαβάζει ποτέ το meta tag. Η οδηγία noindex δεν έχει κανένα αποτέλεσμα, γιατί ο crawler δεν τη βλέπει. Επιπλέον, αν η σελίδα σου έχει links από άλλες ιστοσελίδες, κάποιοι crawlers μπορεί να την ευρετηριάσουν ούτως ή άλλως, επειδή τη βρήκαν μέσα από links, παρόλο που το robots.txt έλεγε όχι.
Ο κανόνας: χρησιμοποίησε ή robots.txt Ή meta tags, όχι και τα δύο για την ίδια οδηγία.
Καλή πρακτική: χρησιμοποίησε το robots.txt για τον έλεγχο της σάρωσης σε όλη την ιστοσελίδα (επιτρέπεις ή απαγορεύεις ολόκληρες ενότητες). Χρησιμοποίησε meta tags για έλεγχο ανά σελίδα (μεμονωμένες σελίδες με ειδικούς κανόνες).
Επίπεδο 3: κεφαλίδες HTTP X-Robots-Tag
Αν θέλεις να ελέγξεις τη συμπεριφορά των crawlers για περιεχόμενο που δεν είναι HTML (PDF, εικόνες κ.λπ.), ή να εφαρμόσεις κανόνες σε πολλές σελίδες χωρίς να επεξεργαστείς τη μία μία, χρησιμοποίησε την κεφαλίδα HTTP X-Robots-Tag.
Παράδειγμα:
X-Robots-Tag: noindex, nofollow
Αυτή εφαρμόζεται στο επίπεδο του server και λέει σε όλους τους crawlers να μην ευρετηριάσουν και να μην ακολουθήσουν links σε οποιαδήποτε σελίδα σερβίρεται με αυτή την κεφαλίδα.
Μπορείς να την εφαρμόσεις επιλεκτικά:
X-Robots-Tag: OAI-SearchBot: noai
Αυτό λέει μόνο στο OAI-SearchBot να μην χρησιμοποιήσει το περιεχόμενό σου για εκπαίδευση, ενώ το επιτρέπει στην αναζήτηση.
Στρατηγικές επιλογές: τι θέλεις πραγματικά
Η επιλογή σου εξαρτάται από τον στόχο σου.
Στόχος 1: όσο το δυνατόν περισσότερες παραθέσεις στο ChatGPT
Επίτρεψε στο robots.txt, χωρίς meta tags noindex. Άφησε το OAI-SearchBot να σε βρει και να σε παραθέσει.
User-agent: OAI-SearchBot
Allow: /
Χωρίς περιοριστικά meta tags.
Στόχος 2: να φαίνεσαι στην αναζήτηση του ChatGPT αλλά να μην γίνεται εκπαίδευση μοντέλου
Επίτρεψε στο robots.txt, χρησιμοποίησε το meta tag noai.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Στόχος 3: να κρυφτείς από το ChatGPT αλλά να φαίνεσαι σε άλλες μηχανές αναζήτησης
Μπλόκαρε το OAI-SearchBot, επίτρεψε τους άλλους.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Στόχος 4: να κρυφτείς από όλους τους crawlers AI
Μπλόκαρε πολλά bots.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
Το πρόβλημα της συμμόρφωσης: δεν σέβονται όλοι οι crawlers AI αυτούς τους κανόνες
Η άβολη αλήθεια: οι διαφορετικοί crawlers AI συμμορφώνονται σε διαφορετικό βαθμό.
Οι δοκιμές δείχνουν ότι το ChatGPT σέβεται το robots.txt και κάποια meta tags. Το Perplexity σέβεται και τα δύο με συνέπεια. Άλλα συστήματα AI συμμορφώνονται διαφορετικά. Κάποια παλιότερα scrapers AI δεν σέβονται καθόλου το robots.txt.
Μπορείς να ελέγξεις αποτελεσματικά τους crawlers της OpenAI. Δεν μπορείς να ελέγξεις πλήρως κάθε σύστημα AI που μπορεί να αντιγράψει το περιεχόμενό σου.
Πώς σε βοηθά η WEMASY να διαχειριστείς την πρόσβαση των crawlers
Με τον δημιουργό ιστοσελίδων της WEMASY φτιάχνεις τις δικές σου σελίδες στην ιστοσελίδα σου. Δες τα πακέτα της WEMASY για να ξεκινήσεις.
Συχνές ερωτήσεις
Αν μπλοκάρω το OAI-SearchBot στο robots.txt, μπορεί το περιεχόμενό μου να εμφανιστεί στο ChatGPT μέσω links;
Απίθανο. Το OAI-SearchBot είναι ο βασικός crawler αναζήτησης του ChatGPT. Αν μπλοκαριστεί, δεν έχεις παρουσία στην αναζήτηση του ChatGPT. Ωστόσο, αν ένα άλλο σύστημα έχει link στο περιεχόμενό σου, ένας διαφορετικός crawler μπορεί να το πάρει. Αυτό είναι απρόβλεπτο. Με τον δημιουργό ιστοσελίδων της WEMASY φτιάχνεις τις δικές σου σελίδες στην ιστοσελίδα σου.
Τι κάνει πραγματικά το meta tag noai;
Λέει στην OpenAI να μην χρησιμοποιήσει το περιεχόμενό σου για να εκπαιδεύσει τα γλωσσικά της μοντέλα. Το περιεχόμενό σου μπορεί να εμφανίζεται ακόμα στα αποτελέσματα αναζήτησης του ChatGPT με παραπομπές. Χωρίς αυτό το tag, η OpenAI μπορεί να χρησιμοποιήσει το περιεχόμενό σου για να εκπαιδεύσει το ChatGPT και άλλα μοντέλα.
Να χρησιμοποιήσω noindex αν δεν θέλω να εμφανίζομαι στο ChatGPT;
Ναι, αλλά κατάλαβε τι κάνει: το noindex λέει σε όλους τους crawlers (Google, Bing, ChatGPT κ.λπ.) να μην ευρετηριάσουν τη σελίδα. Χρησιμοποίησέ το αν θέλεις να κρυφτείς από όλα τα αποτελέσματα αναζήτησης. Αν θέλεις να κρυφτείς μόνο από το ChatGPT αλλά να μείνεις ορατός στη Google, μην χρησιμοποιήσεις noindex. Αντί γι' αυτό, μπλόκαρε το OAI-SearchBot στο robots.txt.
Πόσο χρειάζεται για να ισχύσουν οι αλλαγές στο robots.txt ή στα meta tags;
Οι αλλαγές στο robots.txt συνήθως λαμβάνονται υπόψη μέσα σε 24 ώρες. Οι αλλαγές στα meta tags λαμβάνονται υπόψη την επόμενη φορά που ο crawler ξαναεπισκεφτεί τη σελίδα. Για άμεση δοκιμή, μπορείς να ελέγξεις με το εργαλείο δοκιμής crawler της OpenAI ή μέσω του Bing Webmaster Tools.
Μπορώ να μπλοκάρω όλους τους crawlers AI και να επιτρέψω τη Google;
Ναι. Στο robots.txt σου, κάνε disallow στα GPTBot, OAI-SearchBot, ChatGPT-User και άλλα bots AI, ενώ επιτρέπεις το Googlebot και το Bingbot. Ωστόσο, αυτό δεν εμποδίζει συστήματα AI που δεν σέβονται το robots.txt να αποκτήσουν πρόσβαση στο περιεχόμενό σου.
Τι γίνεται αν ο crawler βλέπει X-Robots-Tag και robots.txt που αντιφάσκουν;
Το robots.txt αξιολογείται πρώτο. Αν το robots.txt μπλοκάρει έναν crawler, δεν ανοίγει τη σελίδα, άρα δεν βλέπει ποτέ το X-Robots-Tag. Αν το robots.txt τον επιτρέπει, τότε ισχύουν οι οδηγίες του X-Robots-Tag. Φρόντισε να συμφωνούν.