Οι μηχανές αναζήτησης σαρώνουν το site σου συνεχώς, ακολουθώντας συνδέσμους και ευρετηριάζοντας σελίδες. Δεν αξίζει όμως κάθε σελίδα να ευρετηριαστεί. Έχεις ιδιωτικές σελίδες, περιοχές διαχείρισης, δοκιμαστικές σελίδες και διπλότυπες σελίδες που σπαταλούν budget σάρωσης. Το robots.txt είναι ένα απλό αρχείο κειμένου που λέει στις μηχανές αναζήτησης ποιες σελίδες μπορούν και ποιες δεν μπορούν να σαρώσουν. Είναι ο φρουρός ανάμεσα στο site σου και τα bots των μηχανών αναζήτησης.
Το robots.txt είναι αρχείο απλού κειμένου που βρίσκεται στον ριζικό κατάλογο της ιστοσελίδας σου (yoursite.com/robots.txt). Περιέχει οδηγίες για τους crawlers των μηχανών αναζήτησης για το ποιες σελίδες και ενότητες του site σου επιτρέπεται να σαρώσουν. Δεν χρειάζεσαι σύνδεση για να έχεις πρόσβαση στο robots.txt. Είναι δημόσιο. Οποιοσδήποτε μπορεί να επισκεφτεί το yoursite.com/robots.txt και να δει τις οδηγίες σου.
Οι μηχανές αναζήτησης υποτίθεται ότι ακολουθούν τους κανόνες του robots.txt. Οι περισσότερες το κάνουν. Κάποιες όχι. Οι crawlers με καλή συμπεριφορά (Google, Bing, αξιόπιστες μηχανές αναζήτησης) σέβονται το robots.txt. Οι κακόβουλοι παράγοντες και τα κακόβουλα bots συχνά το αγνοούν.
Πώς μοιάζει το robots.txt;
Ένα απλό αρχείο robots.txt μοιάζει ως εξής:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Αυτό λέει σε όλα τα bots (User-agent: *) ότι δεν μπορούν να σαρώσουν τις ενότητες /admin/ ή /private/. Επιτρέπει ρητά το /blog/ (κάτι χρήσιμο αν ένας γονικός φάκελος είναι αποκλεισμένος). Δείχνει επίσης στα bots το sitemap σου.
Να ένα άλλο παράδειγμα με πιο συγκεκριμένους κανόνες:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Αυτό αποκλείει μόνο τον crawler της Google από το /temp/. Όλα τα άλλα bots αποκλείονται από το /test/ και από όλα τα αρχεία PDF. Το crawl-delay λέει στα bots να περιμένουν 5 δευτερόλεπτα ανάμεσα στα αιτήματα.
Πώς βοηθά το robots.txt το SEO
Το robots.txt βοηθά το SEO με έναν κύριο τρόπο: διατηρεί το budget σάρωσης. Οι μηχανές αναζήτησης διαθέτουν περιορισμένο budget σάρωσης σε κάθε site. Για τα μικρά sites, το budget σάρωσης σπάνια είναι πρόβλημα. Για μεγάλα sites με χιλιάδες σελίδες, το budget σάρωσης μετράει.
Αν το site σου έχει 10.000 σελίδες αλλά μόνο οι 500 είναι σημαντικές, θες τα bots να σαρώνουν τις 500 σημαντικές σελίδες πολλές φορές αντί να απλώνουν το budget σάρωσής τους σε όλες τις 10.000 σελίδες. Το robots.txt εμποδίζει τα bots να σπαταλούν χρόνο σε ασήμαντες σελίδες.
Συνηθισμένες σελίδες για αποκλεισμό: περιοχές διαχείρισης, σελίδες σύνδεσης, σελίδες ευχαριστιών, δοκιμαστικές σελίδες, διπλό περιεχόμενο, σελίδες συνεδριών και προσωρινό περιεχόμενο. Ο αποκλεισμός αυτών των σελίδων λέει στα bots να εστιάσουν στο περιεχόμενο που μετράει.
Τι να μην αποκλείεις στο robots.txt
Μην αποκλείεις σελίδες που θέλεις να κατατάσσονται. Μην αποκλείεις την ενότητα blog ή τις κύριες περιοχές περιεχομένου σου. Μην αποκλείεις αρχεία CSS, JavaScript ή εικόνων που χρειάζονται για να αποδοθούν σωστά οι σελίδες (εκτός αν θέλεις συγκεκριμένα να εμποδίσεις την ευρετηρίαση).
Η Google συνιστά να μην αποκλείεις αρχεία CSS, JavaScript και εικόνων ακόμα κι αν δεν θέλεις να ευρετηριαστούν. Ο αποκλεισμός αυτών των πόρων μπορεί να εμποδίσει τη Google να αποδώσει και να καταλάβει σωστά τις σελίδες σου.
Μη χρησιμοποιείς το robots.txt για να κρύψεις ευαίσθητες πληροφορίες. Το robots.txt είναι δημόσιο. Οποιοσδήποτε μπορεί να διαβάσει το yoursite.com/robots.txt. Αν θέλεις πραγματικά να κρύψεις κάτι, χρησιμοποίησε προστασία με κωδικό ή ταυτοποίηση διακομιστή, όχι robots.txt.
Πώς να φτιάξεις αρχείο robots.txt
Η δημιουργία του robots.txt είναι απλή. Είναι αρχείο απλού κειμένου. Οι περισσότεροι δημιουργοί ιστοσελίδων και πλατφόρμες CMS παράγουν ένα αυτόματα.
Αν το CMS σου δεν έφτιαξε ένα, φτιάξε το χειροκίνητα. Άνοιξε έναν επεξεργαστή κειμένου. Γράψε τους κανόνες σου. Αποθήκευσέ το ως "robots.txt" (όχι "robots.txt.txt"). Ανέβασέ το στον ριζικό κατάλογο του site σου (yoursite.com/robots.txt).
Δοκίμασε το αρχείο robots.txt σου. Πήγαινε στο Google Search Console, επίλεξε την ιδιοκτησία σου, πήγαινε στο εργαλείο Robots.txt Tester και επικόλλησε τους κανόνες σου. Η Google θα σου δείξει τι αποκλείει και τι επιτρέπει το αρχείο. Αυτό επιβεβαιώνει ότι οι κανόνες σου δουλεύουν όπως προορίζονται.
Συνηθισμένοι κανόνες robots.txt και παραδείγματα
Να ο πιο συνηθισμένος κανόνας: αποκλεισμός όλων των bots από συγκεκριμένο κατάλογο.
User-agent: *
Disallow: /admin/
Να πώς αποκλείεις συγκεκριμένο τύπο αρχείου (όπως PDF):
User-agent: *
Disallow: /*.pdf
Να πώς αποκλείεις όλα τα bots εκτός από τη Google:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Να πώς προσθέτεις καθυστέρηση σάρωσης (αναμονή X δευτερολέπτων ανάμεσα στα αιτήματα):
User-agent: *
Crawl-delay: 10
Να πώς δείχνεις στα bots το sitemap σου:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Σημαντικοί περιορισμοί του robots.txt
Το robots.txt δεν είναι εργαλείο ασφαλείας. Είναι σύστημα ευγένειας. Τα κακά bots, οι hackers και οι κακόβουλοι crawlers αγνοούν εντελώς το robots.txt. Μη το χρησιμοποιείς για να κρύψεις ευαίσθητα δεδομένα ή να προστατεύσεις σημαντικές σελίδες. Χρησιμοποίησε προστασία με κωδικό για αυτές.
Το robots.txt δεν εγγυάται αποκλεισμό από τα αποτελέσματα αναζήτησης. Η Google κάποιες φορές ευρετηριάζει σελίδες που αναφέρονται στο robots.txt αν συνδέονται από άλλες ευρετηριασμένες σελίδες. Ο αποκλεισμός εμποδίζει τη σάρωση, όχι όμως την ευρετηρίαση αν η σελίδα συνδέεται αλλού.
Το robots.txt δεν είναι noindex. Αν θέλεις να εμποδίσεις εντελώς την ευρετηρίαση, χρησιμοποίησε robots meta tag ή κεφαλίδα X-Robots-Tag, όχι robots.txt. Το robots.txt ελέγχει μόνο τη σάρωση, όχι την ευρετηρίαση.
Συχνές ερωτήσεις
Επηρεάζει το robots.txt τις θέσεις SEO;
Έμμεσα. Το robots.txt δεν επηρεάζει άμεσα τις θέσεις. Κατευθύνοντας όμως το budget σάρωσης στις σημαντικές σελίδες, βοηθάς τις μηχανές αναζήτησης να σαρώνουν και να ευρετηριάζουν το καλύτερο περιεχόμενό σου πιο συχνά. Η καλύτερη σάρωση οδηγεί σε καλύτερη ευρετηρίαση που οδηγεί σε καλύτερη δυνατότητα κατάταξης. Άρα το robots.txt βοηθά τις θέσεις έμμεσα μέσω της διαχείρισης του budget σάρωσης. Με τον δημιουργό ιστοσελίδων της WEMASY φτιάχνεις τις δικές σου σελίδες στην ιστοσελίδα σου.
Μπορώ να εμποδίσω τη Google να σαρώνει το site μου;
Ναι, αλλά δεν πρέπει. Μπορείς να απαγορεύσεις το Googlebot στο robots.txt, αλλά αυτό εμποδίζει τη Google να ευρετηριάσει το site σου. Το site σου θα εξαφανιστεί από την αναζήτηση Google. Ο μόνος λόγος να το κάνεις είναι αν βγάζεις το site σου εκτός σύνδεσης ή το μετακινείς και δεν θέλεις να ευρετηριαστεί η παλιά έκδοση. Σχεδόν σε όλες τις περιπτώσεις, πρέπει να επιτρέπεις στη Google να σαρώνει.
Έχει το robots.txt διάκριση πεζών-κεφαλαίων;
Εν μέρει. Οι εντολές User-agent και Disallow δεν έχουν διάκριση πεζών-κεφαλαίων. Οι διαδρομές που απαγορεύεις έχουν διάκριση πεζών-κεφαλαίων στους περισσότερους διακομιστές. Το /Admin/ και το /admin/ είναι διαφορετικές διαδρομές. Δοκίμασε τους κανόνες σου στο Google Search Console για να βεβαιωθείς ότι δουλεύουν όπως προορίζονται.
Πρέπει να αποκλείσω διπλότυπες σελίδες με robots.txt;
Εξαρτάται. Το robots.txt αποκλείει τη σάρωση αλλά όχι την ευρετηρίαση. Αν θέλεις να εμποδίσεις την ευρετηρίαση διπλότυπων σελίδων, χρησιμοποίησε αντίθετα το canonical tag ή το robots meta noindex. Χρησιμοποίησε το robots.txt για να αποκλείσεις τη σάρωση ασήμαντων διπλότυπων που δεν σε νοιάζει αν τα βρει ποτέ η Google.
Χρειάζεται να ειδοποιήσω τη Google όταν αλλάζω το robots.txt;
Όχι. Η Google σαρώνει το robots.txt συχνά. Οι αλλαγές συνήθως ισχύουν μέσα σε ώρες. Δεν χρειάζεται να υποβάλεις ξανά το site σου ή να ειδοποιήσεις κανέναν. Απλώς ενημέρωσε το robots.txt και περίμενε την επόμενη σάρωση.
Ποια είναι η διαφορά ανάμεσα στο robots.txt και στα robots meta tags;
Το robots.txt αποκλείει τη σάρωση σε επίπεδο αρχείου. Τα robots meta tags ελέγχουν την ευρετηρίαση σε επίπεδο σελίδας. Το robots.txt λέει ότι μια σελίδα δεν μπορεί να σαρωθεί. Τα robots meta tags (όπως το noindex) λένε ότι μια σελίδα μπορεί να σαρωθεί αλλά δεν πρέπει να ευρετηριαστεί. Χρησιμοποίησε το robots.txt για μεγάλες ενότητες που θέλεις να αποκλείσεις. Χρησιμοποίησε robots meta tags για μεμονωμένες σελίδες που θέλεις να σαρωθούν αλλά όχι να ευρετηριαστούν.