Το πιστοποιητικό SSL της ιστοσελίδας σου δουλεύει μια χαρά για τους ανθρώπους που την επισκέπτονται. Όμως οι crawlers AI, όπως οι GPTBot, ClaudeBot και PerplexityBot, δεν μπορούν να φτάσουν καθόλου στο περιεχόμενό σου.
Οι περισσότερες στρατηγικές GEO επικεντρώνονται στο robots.txt και στη βελτιστοποίηση του περιεχομένου. Όμως, πριν ένας crawler AI προλάβει να διαβάσει το robots.txt σου, πρέπει να ολοκληρώσει με επιτυχία ένα HTTPS handshake με τον server σου. Αν το handshake αποτύχει, το περιεχόμενό σου είναι αόρατο για την AI, όσο καλά κι αν το έχεις βελτιστοποιήσει.
Σε αυτό το άρθρο θα δεις γιατί το HTTPS και τα πιστοποιητικά SSL είναι η βάση της ορατότητας στην AI. Θα μάθεις ποια επίπεδα ασφάλειας επηρεάζουν τους crawlers, ποια σφάλματα SSL μπλοκάρουν το indexing και πώς να ελέγξεις ότι όλες οι μεγάλες πλατφόρμες AI έχουν πρόσβαση στην ιστοσελίδα σου.
Τι είναι το HTTPS και τα πιστοποιητικά SSL
Το HTTPS είναι το HTTP με ένα επίπεδο ασφάλειας από πάνω. Όταν ένας επισκέπτης ή ένας crawler συνδέεται στην ιστοσελίδα σου, το HTTPS κρυπτογραφεί τα δεδομένα που ταξιδεύουν ανάμεσα στον browser (ή τον crawler) και τον server σου. Για αυτό χρησιμοποιεί το SSL (Secure Sockets Layer) ή τον σύγχρονο διάδοχό του, το TLS (Transport Layer Security).
Το πιστοποιητικό SSL είναι η ψηφιακή ταυτότητα που χρησιμοποιεί ο server σου για να αποδείξει ότι είναι αυτός που λέει. Περιέχει το όνομα του domain σου, τον εκδότη του πιστοποιητικού και μια ημερομηνία λήξης. Όταν ένας crawler φτάνει στην ιστοσελίδα σου, ο server δείχνει το πιστοποιητικό ως απόδειξη ταυτότητας. Ο crawler το ελέγχει πριν διαβάσει οποιοδήποτε περιεχόμενο.
Αυτή η διαδικασία δεν φαίνεται στους επισκέπτες με σύγχρονους browsers: βλέπουν απλώς ένα πράσινο λουκέτο. Αν όμως το πιστοποιητικό λείπει, έχει λήξει, είναι αυτο-υπογεγραμμένο ή δεν ταιριάζει με το domain σου, το handshake αποτυγχάνει. Και αυτή η αποτυχία μπλοκάρει τους crawlers εντελώς.
Γιατί οι crawlers AI χρειάζονται HTTPS για να φτάσουν στο περιεχόμενό σου
Οι crawlers AI κάνουν αιτήματα HTTP όπως ο Googlebot. Ακολουθούν συνδέσμους, κατεβάζουν σελίδες και διαβάζουν HTML. Σε αντίθεση όμως με μερικούς παλιότερους crawlers, όλες οι σύγχρονες πλατφόρμες AI (ο crawler του ChatGPT, του Perplexity, του Claude) απαιτούν έγκυρη σύνδεση HTTPS πριν καν προσπαθήσουν να διαβάσουν το robots.txt ή μία σελίδα.
Να τι γίνεται όταν ένας crawler AI επισκέπτεται την ιστοσελίδα σου. Πρώτα προσπαθεί να δημιουργήσει ασφαλή σύνδεση με το domain σου μέσω TLS. Ο server σου απαντά με ένα πιστοποιητικό SSL. Ο crawler ελέγχει ότι το πιστοποιητικό είναι αυθεντικό και ότι ταιριάζει με το domain σου. Μόνο αν αυτός ο έλεγχος πετύχει, συνεχίζει με τα πραγματικά αιτήματα για το περιεχόμενό σου.
Αν το πιστοποιητικό SSL είναι άκυρο ή έχει λήξει, ο crawler σταματά στο δεύτερο βήμα και δεν κατεβάζει ποτέ το περιεχόμενό σου. Από τη δική του πλευρά, η ιστοσελίδα σου δεν είναι προσβάσιμη. Δεν ξαναδοκιμάζει αύριο. Σημειώνει το domain σου ως απρόσιτο και προχωρά παρακάτω.
Αυτό διαφέρει από το παραδοσιακό SEO, όπου η Google ξαναδοκιμάζει τα αιτήματα που απέτυχαν και τελικά κάνει index το περιεχόμενο, ακόμη κι αν υπήρξαν προσωρινά προβλήματα σύνδεσης. Οι crawlers AI είναι πιο αυστηροί στις πρώτες προσπάθειες πρόσβασης. Ένα handshake SSL που αποτυγχάνει στο πρώτο αίτημα συχνά σημαίνει ότι δεν θα γίνει καθόλου indexing.
Πώς τα προβλήματα στο πιστοποιητικό SSL μπλοκάρουν τους crawlers AI
Δεν είναι όλα τα προβλήματα SSL εμφανή. Ένα πιστοποιητικό μπορεί να είναι τεχνικά εγκατεστημένο και παρ' όλα αυτά να μην περνά τον έλεγχο για ορισμένους crawlers. Οι πιο συχνές αιτίες είναι οι παρακάτω.
Πιστοποιητικά που έχουν λήξει
Ένα πιστοποιητικό που πέρασε την ημερομηνία λήξης είναι άκυρο. Οι crawlers το απορρίπτουν αμέσως. Κάποιες ιστοσελίδες χρησιμοποιούν πιστοποιητικά με πολύ μικρή διάρκεια (30 έως 90 ημέρες) και τα ανανεώνουν αυτόματα. Αν η αυτοματοποίηση αποτύχει, το πιστοποιητικό λήγει χωρίς να το καταλάβει κανείς και οι crawlers χάνουν την πρόσβαση αμέσως.
Αυτο-υπογεγραμμένα πιστοποιητικά
Ένα αυτο-υπογεγραμμένο πιστοποιητικό το υπογράφει ο ίδιος ο server σου και όχι μια αξιόπιστη αρχή πιστοποίησης. Οι browsers και οι crawlers δεν το εμπιστεύονται, γιατί οποιοσδήποτε θα μπορούσε να φτιάξει ένα και να παρουσιαστεί για κάποιον άλλον. Τα αυτο-υπογεγραμμένα πιστοποιητικά κάνουν για δοκιμές ή εσωτερικά δίκτυα, αλλά μπλοκάρουν κάθε δημόσια πρόσβαση crawler.
Domain που δεν ταιριάζει
Αν το πιστοποιητικό σου έχει εκδοθεί για το example.com αλλά η ιστοσελίδα ανοίγει από το www.example.com (ή αντίστροφα), το domain του πιστοποιητικού δεν ταιριάζει με αυτό που ζητήθηκε. Οι crawlers το απορρίπτουν. Μετράει ακόμη και μια μικρή διαφορά: ένα πιστοποιητικό SSL για το sub.example.com δεν θα ισχύσει αν ο crawler ζητήσει περιεχόμενο από το content.example.com.
Προβλήματα στην αλυσίδα πιστοποιητικών
Ένα πιστοποιητικό SSL βρίσκεται μέσα σε μια αλυσίδα που οδηγεί σε μια ριζική αρχή. Αν ο server σου δεν έχει ρυθμιστεί να στέλνει ολόκληρη την αλυσίδα (έχεις το τελικό πιστοποιητικό αλλά όχι τα ενδιάμεσα), οι crawlers μπορεί να μην καταφέρουν να επαληθεύσουν την ταυτότητά σου. Κάποιοι crawlers είναι επιεικείς και ψάχνουν στο διαδίκτυο το ενδιάμεσο πιστοποιητικό που λείπει. Άλλοι απορρίπτουν τη σύνδεση αμέσως.
Προβλήματα ρύθμισης SNI
Το Server Name Indication (SNI) επιτρέπει σε έναν server να φιλοξενεί πολλές ιστοσελίδες HTTPS, αναγνωρίζοντας ποια ιστοσελίδα ζητά ο επισκέπτης. Αν ο server σου δεν έχει ρυθμιστεί για SNI ή το SNI έχει λάθος ρύθμιση, οι crawlers που ζητούν το domain σου μπορεί να λάβουν πιστοποιητικό για άλλο domain. Τότε ο έλεγχος αποτυγχάνει.
Security headers που επηρεάζουν την πρόσβαση των crawlers AI
Μόλις πετύχει το handshake SSL, ο server σου μπορεί να στείλει security headers που καθορίζουν πώς αλληλεπιδρούν οι crawlers με το περιεχόμενό σου. Αυτά τα headers δεν μπλοκάρουν εντελώς τους crawlers, αλλά επηρεάζουν τον τρόπο που χειρίζονται τις σελίδες σου.
Strict-Transport-Security (HSTS)
Το HSTS λέει στους crawlers να χρησιμοποιούν πάντα HTTPS όταν μπαίνουν στην ιστοσελίδα σου και ποτέ HTTP. Αυτό είναι καλό για την ασφάλεια και δεν μπλοκάρει τους crawlers. Αν όμως ρυθμίσεις λάθος το HSTS με πολύ μεγάλη διάρκεια και αργότερα περάσεις σε άκυρο πιστοποιητικό, οι crawlers αναγκάζονται να χρησιμοποιήσουν HTTPS αλλά δεν μπορούν να ολοκληρώσουν το handshake. Φρόντισε η πολιτική HSTS να συνοδεύεται από έγκυρα πιστοποιητικά για όσο διάστημα έχεις ορίσει.
X-Frame-Options και X-Content-Type-Options
Αυτά τα headers λένε στους crawlers πώς να χειρίζονται το περιεχόμενό σου. Δεν τους εμποδίζουν να το κατεβάσουν. Μπορούν όμως να επηρεάσουν τον τρόπο που διαβάζουν και εξάγουν πληροφορίες από τις σελίδες σου.
Content-Security-Policy
Τα headers CSP μπορούν να περιορίσουν ποιους πόρους των σελίδων σου μπορούν να φορτώσουν οι crawlers. Αν έχεις πολύ αυστηρό CSP που μπλοκάρει εξωτερικούς πόρους, οι crawlers μπορεί να μην καταφέρουν να κατεβάσουν εικόνες, stylesheets ή scripts που αναφέρονται στις σελίδες σου. Αυτό δεν μπλοκάρει το ίδιο το HTML, αλλά περιορίζει τα σήματα που μπορούν να εξάγουν οι crawlers.
Συνηθισμένα σφάλματα SSL και τι σημαίνουν για το indexing από την AI
Όταν ένας crawler AI αποτυγχάνει να επαληθεύσει το πιστοποιητικό SSL σου, καταγράφει ένα σφάλμα. Αν καταλάβεις αυτά τα σφάλματα, θα βρεις εύκολα τι χαλάει. Να τα πιο συχνά:
Το πιστοποιητικό έχει λήξει
Το πιστοποιητικό SSL σου έχει περάσει την ημερομηνία λήξης. Οι crawlers βλέπουν την ημερομηνία λήξης μέσα στο πιστοποιητικό και το απορρίπτουν. Είναι το πιο εύκολο πρόβλημα να το εντοπίσεις και να το διορθώσεις. Έλεγξε την ημερομηνία λήξης και ανανέωσε το πιστοποιητικό πριν λήξει.
Το πιστοποιητικό δεν ταιριάζει με το domain
Το όνομα domain στο πιστοποιητικό δεν ταιριάζει με το domain που ζητά ο crawler. Αυτό συμβαίνει συχνά όταν μεταφέρεις την ιστοσελίδα σε νέο domain και ξεχνάς να ενημερώσεις το πιστοποιητικό SSL, ή όταν προσθέτεις subdomain ενώ το πιστοποιητικό καλύπτει μόνο το βασικό domain.
Δεν επαληθεύεται η αρχή πιστοποίησης
Ο crawler δεν μπορεί να φτάσει από το πιστοποιητικό σου σε μια αξιόπιστη ριζική αρχή. Αυτό συμβαίνει αν το πιστοποιητικό το εξέδωσε αρχή που δεν εμπιστεύονται οι crawlers ή αν ο server σου δεν έστειλε ολόκληρη την αλυσίδα των ενδιάμεσων πιστοποιητικών.
Το πιστοποιητικό έχει ανακληθεί
Η αρχή πιστοποίησης έχει ανακαλέσει το πιστοποιητικό εξαιτίας περιστατικού ασφαλείας ή λάθος ρύθμισης. Οι crawlers ελέγχουν την κατάσταση ανάκλησης και αρνούνται την πρόσβαση. Είναι σπάνιο, αλλά σοβαρό όταν συμβεί.
Πώς να ελέγξεις τη ρύθμιση HTTPS για τους crawlers AI
Ο καλύτερος τρόπος να βεβαιωθείς ότι οι crawlers AI έχουν πρόσβαση στην ιστοσελίδα σου είναι να τη δοκιμάσεις μόνος σου. Αυτά τα βήματα διάγνωσης είναι μέρος ενός μεγαλύτερου τεχνικού ελέγχου GEO. Να πώς θα ελέγξεις συγκεκριμένα για προβλήματα HTTPS:
Χρησιμοποίησε online εργαλεία ελέγχου SSL
Δωρεάν εργαλεία όπως το SSLLabs ή το Qualys SSL Labs κάνουν πλήρη ανάλυση της ρύθμισης SSL. Ελέγχουν την εγκυρότητα του πιστοποιητικού, την πληρότητα της αλυσίδας, την υποστήριξη εκδόσεων TLS και γνωστές ευπάθειες. Δώσε το domain σου σε αυτά τα εργαλεία και διόρθωσε όποια σφάλματα αναφέρουν.
Δοκίμασε με curl ή wget
Από ένα τερματικό, τρέξε curl -I https://yourdomain.com ή wget με την παράμετρο spider https://yourdomain.com. Αυτά τα εργαλεία μιμούνται αυτό που κάνει ένας crawler. Αν αποτύχουν με σφάλμα SSL, θα αποτύχουν και οι crawlers. Το μήνυμα σφάλματος σου λέει ακριβώς τι φταίει.
Έλεγξε με το OpenSSL
Το OpenSSL είναι το βασικό εργαλείο για διάγνωση SSL. Τρέξε openssl s_client -connect yourdomain.com:443 για να δεις ακριβώς ποιο πιστοποιητικό παρουσιάζει ο server σου και αν επαληθεύεται σωστά.
Επαλήθευσε ότι η αλυσίδα πιστοποιητικών είναι πλήρης
Χρησιμοποίησε εργαλεία όπως το testssl.sh για να δεις αν ο server σου στέλνει ολόκληρη την αλυσίδα. Αν λείπουν ενδιάμεσα πιστοποιητικά, πρόσθεσέ τα στη ρύθμιση του server σου.
Δοκίμασε σε διάφορες πλατφόρμες AI
Κάποιοι crawlers AI είναι πιο αυστηροί από άλλους στον έλεγχο SSL. Δοκίμασε την ιστοσελίδα σου ζητώντας από το ChatGPT, το Perplexity, το Claude και το Google Gemini μια απάντηση που περιλαμβάνει το περιεχόμενό σου. Αν μία πλατφόρμα δεν έχει πρόσβαση, δες στην τεκμηρίωση του crawler της ποιες απαιτήσεις SSL μπορεί να έχει. Οι πλατφόρμες AI συμπεριφέρονται διαφορετικά, και μπορείς να μάθεις περισσότερα στους οδηγούς μας για τη βελτιστοποίηση για την αναζήτηση του ChatGPT και για τη βελτιστοποίηση για το Perplexity.
Φτιάξε τις σελίδες σου με τη WEMASY
Με τον δημιουργό ιστοσελίδων της WEMASY φτιάχνεις τις δικές σου σελίδες στην ιστοσελίδα σου.
Όποια πλατφόρμα κι αν διαλέξεις, έλεγχε τακτικά το πιστοποιητικό σου με τα βήματα που περιγράφονται παραπάνω.
Δες τα πακέτα της WEMASY για να βρεις αυτό που σου ταιριάζει.
Συχνές ερωτήσεις
Υποστηρίζουν οι crawlers AI και HTTPS και HTTP;
Όχι. Όλοι οι μεγάλοι crawlers AI (GPTBot, ClaudeBot, PerplexityBot) απαιτούν αποκλειστικά HTTPS. Δεν υποστηρίζουν HTTP. Μια ιστοσελίδα που τρέχει σε HTTP δεν είναι καθόλου προσβάσιμη για τους crawlers AI. Αν έχεις παλιά ιστοσελίδα που τρέχει ακόμη σε HTTP, πέρασε αμέσως σε HTTPS. Το HTTPS είναι υποχρεωτικό για την πρόσβαση των crawlers AI. Με τον δημιουργό ιστοσελίδων της WEMASY φτιάχνεις τις δικές σου σελίδες στην ιστοσελίδα σου.
Ισχύει ένα wildcard πιστοποιητικό SSL για όλα τα subdomains;
Ναι. Ένα wildcard πιστοποιητικό (*.example.com) καλύπτει κάθε subdomain κάτω από το βασικό σου domain. Αν έχεις subdomains όπως api.example.com ή blog.example.com, ένα wildcard πιστοποιητικό τα καλύπτει όλα. Ωστόσο, δεν καλύπτει το ίδιο το βασικό domain (example.com) αν δεν το έχεις συμπεριλάβει ρητά. Βεβαιώσου ότι το wildcard πιστοποιητικό σου καλύπτει και το wildcard και το βασικό domain.
Ακολουθούν οι crawlers AI τις ανακατευθύνσεις από HTTP σε HTTPS;
Οι περισσότεροι ναι. Αν ο server σου ανακατευθύνει τα αιτήματα HTTP σε HTTPS (συνηθισμένη ρύθμιση), οι crawlers AI ακολουθούν την ανακατεύθυνση και συνεχίζουν με σύνδεση HTTPS. Αυτό όμως προσθέτει ένα βήμα και καταναλώνει επιπλέον πόρους του crawler. Η καλύτερη πρακτική είναι να απενεργοποιήσεις εντελώς το HTTP και να δέχεσαι μόνο συνδέσεις HTTPS. Έτσι δεν υπάρχει επιβάρυνση από ανακατευθύνσεις και κανένας crawler δεν καταλήγει σε μη κρυπτογραφημένη εκδοχή της ιστοσελίδας σου.
Κάθε πότε πρέπει να ανανεώνω το πιστοποιητικό SSL;
Τα σύγχρονα πιστοποιητικά SSL διαρκούν συνήθως ένα χρόνο. Οι περισσότεροι πάροχοι φιλοξενίας και πλατφόρμες κάνουν την ανανέωση αυτόματα. Δεν χρειάζεται να ανανεώνεις χειροκίνητα, εκτός αν έχεις πολύ παλιά ρύθμιση φιλοξενίας. Βάλε για σιγουριά υπενθύμιση στο ημερολόγιο 30 ημέρες πριν τη λήξη, αλλά η αυτόματη ανανέωση θα πρέπει να αποτρέπει εντελώς τη λήξη.
Θα πειράξει ένα κακό πιστοποιητικό SSL την κατάταξή μου στο SEO;
Ναι. Η Google απαιτεί HTTPS και θεωρεί χαμηλότερης ποιότητας τις ιστοσελίδες χωρίς έγκυρο HTTPS. Ένα πιστοποιητικό SSL που έχει λήξει ή είναι άκυρο αντιμετωπίζεται σαν ιστοσελίδα HTTP και χάνει θέσεις. Για την ορατότητα στην AI η ζημιά είναι ακόμη μεγαλύτερη, γιατί οι crawlers AI δεν μπορούν καθόλου να μπουν όταν το πιστοποιητικό έχει λήξει. Δεν θα κάνουν index το περιεχόμενό σου, όσο καλά βελτιστοποιημένο κι αν είναι.
Μπορώ να χρησιμοποιήσω αυτο-υπογεγραμμένο πιστοποιητικό σε ιστοσελίδα παραγωγής;
Όχι. Τα αυτο-υπογεγραμμένα πιστοποιητικά απορρίπτονται από όλους τους μεγάλους crawlers και browsers. Κάνουν μόνο για ανάπτυξη, δοκιμές ή εσωτερικά δίκτυα όπου ελέγχεις όλους τους clients που συνδέονται στον server. Για κάθε δημόσια ιστοσελίδα χρησιμοποίησε πιστοποιητικό από αξιόπιστη αρχή πιστοποίησης (CA). Οι περισσότερες αρχές προσφέρουν πολύ φθηνά ή δωρεάν πιστοποιητικά για βασική χρήση.