Οι μηχανές αναζήτησης προσπαθούν να σαρώσουν το site σου και κάτι πάει στραβά. Μια σελίδα επιστρέφει σφάλμα 500. Μια σελίδα λήγει ο χρόνος. Μια σελίδα είναι απρόσιτη. Αυτά είναι σφάλματα σάρωσης. Λένε στη Google ότι το site σου έχει προβλήματα. Πολλά σφάλματα σάρωσης βλάπτουν τις θέσεις και εμποδίζουν την ευρετηρίαση σελίδων. Όσο περισσότερα σφάλματα σάρωσης έχεις, τόσο λιγότερες σελίδες σαρώνει η Google. Πρέπει να βρίσκεις και να διορθώνεις γρήγορα τα σφάλματα σάρωσης.
Τι είναι τα σφάλματα σάρωσης;
Τα σφάλματα σάρωσης συμβαίνουν όταν η Google προσπαθεί να σαρώσει μια σελίδα και αντιμετωπίζει πρόβλημα. Η σελίδα μπορεί να επιστρέφει σφάλμα διακομιστή 5xx. Μπορεί να λήγει ο χρόνος και να μην απαντά. Μπορεί να αποκλείεται από το robots.txt ή να ανακατευθύνεται ατελείωτα. Οποιοδήποτε πρόβλημα εμποδίζει τη Google να σαρώσει επιτυχώς μια σελίδα είναι σφάλμα σάρωσης.
Τα σφάλματα σάρωσης διαφέρουν από τα προβλήματα ευρετηρίασης. Μια σελίδα μπορεί να σαρωθεί επιτυχώς αλλά να μην ευρετηριαστεί (λόγω noindex ή άλλων λόγων). Αυτό δεν είναι σφάλμα σάρωσης. Ένα σφάλμα σάρωσης είναι όταν αποτυγχάνει η ίδια η σάρωση.
Τύποι σφαλμάτων σάρωσης
Το 500 Internal Server Error σημαίνει ότι κάτι στον διακομιστή σου είναι χαλασμένο. Ένα script κατέρρευσε. Ένα ερώτημα βάσης δεδομένων απέτυχε. Ο διακομιστής δεν μπορεί να επεξεργαστεί το αίτημα. Διόρθωσε το υποκείμενο πρόβλημα στον διακομιστή σου.
Το 503 Service Unavailable σημαίνει ότι ο διακομιστής είναι προσωρινά εκτός λειτουργίας. Αυτό είναι φυσιολογικό κατά τη συντήρηση. Διόρθωσε ό,τι προκάλεσε την προσωρινή διακοπή.
Το timeout σημαίνει ότι η σελίδα πήρε πολύ χρόνο να απαντήσει. Η Google τα παράτησε. Συνήθως αυτό σημαίνει ότι ο διακομιστής σου είναι αργός ή υπερφορτωμένος. Βελτιστοποίησε τον διακομιστή σου ή αναβάθμισε τη φιλοξενία.
Το σφάλμα ανακατεύθυνσης σημαίνει ότι η σελίδα ανακατευθύνει λάθος. Ίσως ανακατευθύνει στον εαυτό της (ατέρμονος βρόχος). Ίσως ανακατευθύνει σε χαλασμένη σελίδα. Διόρθωσε την αλυσίδα ανακατευθύνσεων.
Το Not found (404) δεν είναι τεχνικά σφάλμα σάρωσης. Η σελίδα επιστρέφει σωστά 404. Αν όμως είναι σημαντική σελίδα που πρέπει να υπάρχει, διερεύνησε γιατί επιστρέφει 404.
Το Blocked by robots.txt σημαίνει ότι το robots.txt εμποδίζει τη σάρωση. Αυτό μπορεί να είναι εσκεμμένο (αποκλείσες τη σελίδα επίτηδες) ή τυχαίο (αποκλείσες πάρα πολλά). Έλεγξε το robots.txt σου.
Γιατί μετράνε τα σφάλματα σάρωσης
Τα σφάλματα σάρωσης λένε στις μηχανές αναζήτησης ότι το site σου έχει προβλήματα. Αν οι μηχανές αναζήτησης συναντούν πολλά σφάλματα σάρωσης, υποθέτουν ότι το site σου είναι χαλασμένο και μειώνουν τη συχνότητα σάρωσης. Αυτό σημαίνει ότι σαρώνονται και ευρετηριάζονται λιγότερες σελίδες.
Οι σελίδες που δεν μπορούν να σαρωθούν δεν μπορούν να ευρετηριαστούν. Αν μια σημαντική σελίδα επιστρέφει σφάλματα 500, οι μηχανές αναζήτησης σταματούν να προσπαθούν να τη σαρώσουν και την αφαιρούν από το ευρετήριο.
Τα σφάλματα σάρωσης δημιουργούν αρνητικό σήμα. Οι μηχανές αναζήτησης χρησιμοποιούν την υγεία του site ως παράγοντα κατάταξης. Ένα site με πολλά σφάλματα σάρωσης μοιάζει χαλασμένο και αναξιόπιστο. Οι θέσεις σου υποφέρουν.
Πώς να βρεις σφάλματα σάρωσης
Χρησιμοποίησε τα εργαλεία webmaster της μηχανής αναζήτησής σου (Google Search Console για τη Google). Η αναφορά Coverage δείχνει σφάλματα σάρωσης. Παραθέτει URL που η Google προσπάθησε να σαρώσει αλλά απέτυχε. Δείχνονται ο τύπος σφάλματος και ο αριθμός σελίδων με κάθε σφάλμα.
Χρησιμοποίησε την αναφορά Crawl Stats. Δείχνει πόσες σελίδες σάρωσε η Google σε ποιες ημερομηνίες. Αν ο όγκος σάρωσης πέσει ξαφνικά, πιθανότατα έχεις σφάλματα σάρωσης.
Χρησιμοποίησε το εργαλείο URL Inspection. Εισήγαγε ένα συγκεκριμένο URL και το εργαλείο δείχνει αν σαρώθηκε επιτυχώς, πότε σαρώθηκε και ποια σφάλματα συνάντησε (αν υπήρξαν).
Έλεγξε τα αρχεία καταγραφής του διακομιστή. Ο πάροχος φιλοξενίας σου έχει αρχεία πρόσβασης που δείχνουν κάθε αίτημα και απόκριση. Ψάξε για σφάλματα 5xx ή timeouts.
Συνηθισμένες αιτίες σφαλμάτων σάρωσης και διορθώσεις
Ο διακομιστής σου είναι υπερφορτωμένος. Πάρα πολλά αιτήματα προκαλούν timeouts και σφάλματα 503. Αναβάθμισε τη φιλοξενία σου ή βελτιστοποίησε τον κώδικά σου ώστε να χειρίζεται περισσότερη επισκεψιμότητα.
Ένα script στο site σου είναι χαλασμένο. Ένα σφάλμα PHP ή σφάλμα βάσης δεδομένων προκαλεί σφάλματα 500. Έλεγξε τα αρχεία σφαλμάτων σου και διόρθωσε τον χαλασμένο κώδικα.
Το robots.txt είναι πολύ περιοριστικό. Αποκλείσες κατά λάθος σημαντικές σελίδες. Έλεγξε το robots.txt και αφαίρεσε υπερβολικά ευρείς κανόνες disallow.
Οι αλυσίδες ανακατευθύνσεων είναι χαλασμένες. Η σελίδα Α ανακατευθύνει στη Β που ανακατευθύνει στη Γ που είναι χαλασμένη. Διόρθωσε την αλυσίδα ανακατευθύνσεων ώστε να δείχνει απευθείας στον τελικό προορισμό.
Μια σελίδα έχει tag noindex. Η Google τη σαρώνει αλλά δεν την ευρετηριάζει λόγω noindex. Αν είναι εσκεμμένο, αγνόησέ το. Αν είναι τυχαίο, αφαίρεσε το tag noindex.
Διόρθωση σφαλμάτων σάρωσης
Εντόπισε τον τύπο σφάλματος. Διαφορετικά σφάλματα χρειάζονται διαφορετικές διορθώσεις. Τα σφάλματα 500 χρειάζονται διορθώσεις διακομιστή. Τα timeouts χρειάζονται βελτιστοποίηση απόδοσης. Τα σφάλματα ανακατεύθυνσης χρειάζονται διορθώσεις ανακατεύθυνσης.
Διόρθωσε το υποκείμενο πρόβλημα. Για σφάλματα 500, διόρθωσε τον χαλασμένο κώδικα ή script. Για timeouts, βελτιστοποίησε την απόδοση. Για ανακατευθύνσεις, διόρθωσε την αλυσίδα.
Επαλήθευσε τη διόρθωση. Χρησιμοποίησε το εργαλείο URL Inspection για να φέρεις ξανά τη σελίδα. Η Google θα τη σαρώσει ξανά και θα αναφέρει αν το σφάλμα διορθώθηκε.
Παρακολούθησε τα στατιστικά σάρωσης. Αφού διορθώσεις σφάλματα, παρακολούθησε τον όγκο σάρωσης στα εργαλεία webmaster σου. Ο όγκος σάρωσης πρέπει να αυξηθεί καθώς οι μηχανές αναζήτησης σαρώνουν περισσότερες σελίδες επιτυχώς.
Συχνές ερωτήσεις
Πόσα σφάλματα σάρωσης πρέπει να ανεχτώ;
Μηδέν είναι ο στόχος. Κάποια σφάλματα σάρωσης όμως είναι αναπόφευκτα. Μερικά σφάλματα σάρωσης σε ασήμαντες σελίδες δεν είναι μεγάλο θέμα. Εκατοντάδες σφάλματα σάρωσης δείχνουν σοβαρά προβλήματα. Αν έχεις περισσότερα από 50 σφάλματα σάρωσης, διερεύνησε και διόρθωσέ τα. Με τον δημιουργό ιστοσελίδων της WEMASY φτιάχνεις τις δικές σου σελίδες στην ιστοσελίδα σου.
Βλάπτουν άμεσα τις θέσεις τα σφάλματα σάρωσης;
Όχι άμεσα, αλλά εμποδίζουν την ευρετηρίαση σελίδων και βλάπτουν τα σήματα υγείας του site. Μια σελίδα με σφάλμα σάρωσης δεν μπορεί να κατατάσσεται (δεν είναι ευρετηριασμένη). Πολλά σφάλματα σάρωσης δείχνουν στη Google ότι το site σου είναι χαλασμένο, κάτι που βλάπτει έμμεσα όλες τις θέσεις σου.
Πρέπει να διορθώσω αμέσως όλα τα σφάλματα σάρωσης;
Ιεράρχησε. Διόρθωσε πρώτα τα σφάλματα σάρωσης σε σημαντικές σελίδες (αρχική σελίδα, κορυφαίες σελίδες προορισμού, σελίδες που φέρνουν χρήματα). Οι λιγότερο σημαντικές σελίδες (αρχειοθετημένο περιεχόμενο, βοηθητικές σελίδες) μπορούν να περιμένουν. Διόρθωσε πρώτα τα πιο επιζήμια σφάλματα.
Μπορούν τα σφάλματα σάρωσης σε παλιό περιεχόμενο να βλάψουν το site μου;
Κάπως. Αν έχεις χιλιάδες αρχειοθετημένες σελίδες που επιστρέφουν 404 ή 500, δημιουργεί θόρυβο και απλώνει το budget σάρωσης σε χαλασμένες σελίδες. Είναι καλύτερα να διαγράψεις το παλιό περιεχόμενο ή να το ανακατευθύνεις σε σχετικό νέο περιεχόμενο παρά να το αφήσεις χαλασμένο.
Πόσο χρόνο παίρνει στις μηχανές αναζήτησης να σαρώσουν ξανά αφού διορθώσω ένα σφάλμα;
Συνήθως μερικές μέρες. Αφού διορθώσεις ένα σφάλμα σάρωσης, οι μηχανές αναζήτησης θα σαρώσουν ξανά τη σελίδα στον επόμενο κύκλο σάρωσής τους. Χρησιμοποίησε το εργαλείο URL Inspection για να ζητήσεις νέα σάρωση. Επιταχύνει τη διαδικασία. Μετά τη νέα σάρωση, τα εργαλεία webmaster ενημερώνουν την αναφορά Coverage.
Ποια είναι η διαφορά ανάμεσα στα σφάλματα σάρωσης και στα σφάλματα ευρετηρίασης;
Τα σφάλματα σάρωσης συμβαίνουν όταν η Google δεν μπορεί να σαρώσει μια σελίδα (σφάλματα 500, timeouts). Τα σφάλματα ευρετηρίασης συμβαίνουν όταν μια σελίδα σαρώνεται επιτυχώς αλλά δεν μπορεί να ευρετηριαστεί (ζητήματα περιεχομένου, tag noindex). Τα σφάλματα σάρωσης εμποδίζουν εντελώς την ευρετηρίαση. Τα σφάλματα ευρετηρίασης σημαίνουν ότι η σελίδα σαρώθηκε αλλά δεν ευρετηριάστηκε για άλλους λόγους.