Τα bots των μηχανών αναζήτησης επισκέπτονται το site σου συνεχώς. Σαρώνουν σελίδες, ακολουθούν συνδέσμους και ελέγχουν για ενημερώσεις. Δεν μπορείς όμως να δεις αυτή τη δραστηριότητα στο Google Search Console. Μπορείς να την δεις μόνο στα logs του διακομιστή σου. Τα logs του διακομιστή καταγράφουν κάθε αίτημα προς τον διακομιστή σου, συμπεριλαμβανομένου ποιο bot το έκανε, ποια σελίδα σάρωσε, πόσο πήρε και ποιον κωδικό απόκρισης πήρε. Η ανάλυση logs αποκαλύπτει πώς αντιμετωπίζουν πραγματικά το site σου οι μηχανές αναζήτησης.
Τι είναι τα logs διακομιστή;
Τα logs διακομιστή είναι αρχεία καταγραφής κάθε αιτήματος προς τον web server σου. Κάθε γραμμή αντιπροσωπεύει ένα αίτημα. Το log δείχνει τη διεύθυνση IP του επισκέπτη, τι ζήτησε, πότε το ζήτησε, ποιον κωδικό απόκρισης επέστρεψε ο διακομιστής και πόσα δεδομένα στάλθηκαν.
Κάθε πάροχος φιλοξενίας κρατά logs διακομιστή. Μπορείς να έχεις πρόσβαση σε αυτά μέσω του πίνακα ελέγχου φιλοξενίας ή μέσω FTP. Οι συνηθισμένες μορφές log περιλαμβάνουν logs πρόσβασης Apache και logs Nginx. Οι περισσότεροι πάροχοι φιλοξενίας σου επιτρέπουν να κατεβάσεις logs για ανάλυση.
Τα αρχεία log μπορεί να είναι τεράστια. Ένα πολυσύχναστο site παράγει gigabytes logs την ημέρα. Η ανάλυσή τους απαιτεί εργαλεία. Δεν μπορείς να διαβάσεις χειροκίνητα εκατομμύρια εγγραφές log.
Κατανοώντας τα user-agents των crawlers
Κάθε bot αναγνωρίζει τον εαυτό του με μια συμβολοσειρά user-agent. Το Googlebot είναι ο crawler της Google. Το Bingbot είναι ο crawler του Bing. Το Slurp είναι ο crawler του Yahoo. Άλλες μηχανές αναζήτησης έχουν τα δικά τους bots.
Μπορείς να φιλτράρεις τα logs ανά user-agent για να δεις μόνο αιτήματα από συγκεκριμένους crawlers. Αυτό σου λέει πόσο συχνά σαρώνει κάθε μηχανή αναζήτησης το site σου.
Πρόσεχε τα ψεύτικα user-agents. Οι κακόβουλοι παράγοντες προσποιούνται τις μηχανές αναζήτησης. Μια συμβολοσειρά user-agent που λέει «Googlebot» μπορεί να μην είναι πραγματικά Googlebot. Επαλήθευσε τη διεύθυνση IP. Οι πραγματικές διευθύνσεις IP του Googlebot δημοσιεύονται από τη Google.
Τι μπορείς να μάθεις από τα logs
Συχνότητα σάρωσης: Πόσο συχνά σαρώνει κάθε μηχανή αναζήτησης το site σου; Καθημερινά; Εβδομαδιαία; Πολλές φορές την ημέρα; Η συχνότητα σάρωσης δείχνει πόσο εκτιμά η Google το site σου.
Πρότυπα σάρωσης: Ποιες σελίδες επισκέπτεται ο crawler; Σαρώνει πιο συχνά τις σημαντικές σελίδες; Σπαταλά χρόνο σε ασήμαντες σελίδες; Αυτό αποκαλύπτει την κατανομή του budget σάρωσης.
Κωδικοί απόκρισης: Οι σελίδες επιστρέφουν 200 (επιτυχία) ή σφάλματα; Πολλά σφάλματα 4xx ή 5xx δείχνουν προβλήματα.
Ταχύτητα σάρωσης: Πόσο χρόνο περνά το bot σαρώνοντας; Οι γρήγορες σαρώσεις δείχνουν ότι οι σελίδες φορτώνουν γρήγορα. Οι αργές σαρώσεις δείχνουν προβλήματα απόδοσης.
Συμπεριφορά bots: Ακολουθούν τα bots το robots.txt; Σέβονται το nofollow; Σαρώνουν εικόνες και CSS; Αυτό αποκαλύπτει αν η τεχνική σου ρύθμιση είναι σωστή.
Πώς να αναλύσεις τα logs
Κατέβασε τα logs σου. Πήγαινε στον πίνακα ελέγχου φιλοξενίας σου, βρες την ενότητα logs και κατέβασε τα logs πρόσβασης για την περίοδο που θέλεις να αναλύσεις.
Χρησιμοποίησε εργαλεία ανάλυσης logs. Οι αναλυτές αρχείων log μπορούν να αναλύσουν logs και να εξάγουν πληροφορίες. Αυτά τα εργαλεία φιλτράρουν ανά user-agent, διεύθυνση IP, κωδικό απόκρισης και άλλα.
Φιλτράρισε για crawlers. Εστίασε σε αιτήματα από bots μηχανών αναζήτησης. Φιλτράρισε έξω την κανονική επισκεψιμότητα χρηστών. Αυτό απομονώνει τη συμπεριφορά των crawlers.
Ανάλυσε μοτίβα. Κοίτα τις τάσεις συχνότητας σάρωσης. Αυξάνονται ή μειώνονται οι σαρώσεις; Ανεβαίνουν τα ποσοστά σφαλμάτων; Ταιριάζουν τα πρότυπα σάρωσης με τις προσδοκίες σου;
Συνηθισμένα ευρήματα ανάλυσης logs
Ασήμαντες σελίδες που σαρώνονται περισσότερο από σημαντικές. Αυτό δείχνει πρόβλημα δομής του site. Οι σημαντικές σελίδες πρέπει να σαρώνονται πιο συχνά. Χρησιμοποίησε robots.txt ή εσωτερικούς συνδέσμους για να δώσεις προτεραιότητα στις σημαντικές σελίδες.
Υψηλά ποσοστά σφαλμάτων. Πολλές αποκρίσεις 4xx ή 5xx δείχνουν χαλασμένες σελίδες ή προβλήματα διακομιστή. Διόρθωσε τα σφάλματα για να βελτιώσεις τη δυνατότητα σάρωσης.
Χαμηλή συχνότητα σάρωσης. Αν οι μηχανές αναζήτησης σαρώνουν σπάνια το site σου, μπορεί να δείχνει χαμηλό κύρος ή κακή ποιότητα περιεχομένου. Βελτίωσε το περιεχόμενο και τα backlinks για να προσελκύσεις περισσότερες σαρώσεις.
Bots που σαρώνουν αποκλεισμένες σελίδες. Αν το robots.txt αποκλείει σελίδες αλλά οι crawlers εξακολουθούν να τις ζητούν, τα bots αγνοούν τους κανόνες αποκλεισμού σου. Αυτό συνήθως είναι αβλαβές.
Περιορισμοί της ανάλυσης logs
Η ανάλυση logs δείχνει αιτήματα προς τον διακομιστή σου, αλλά όχι όλη τη δραστηριότητα των crawlers. Κάποιες μηχανές αναζήτησης χρησιμοποιούν caching. Μπορεί να μη σαρώνουν κάθε URL κάθε φορά. Οι σαρώσεις από cache δεν εμφανίζονται στα logs.
Η ανάλυση logs δεν δείχνει αποφάσεις ευρετηρίασης. Το ότι μια σελίδα σαρώθηκε δεν σημαίνει ότι ευρετηριάστηκε. Οι μηχανές αναζήτησης σαρώνουν και απορρίπτουν σελίδες συνεχώς.
Τα μεγάλα αρχεία log είναι δύσκολο να διαχειριστούν. Ένα πολυσύχναστο site παράγει τεράστια logs. Η ανάλυση gigabytes δεδομένων απαιτεί ισχυρά εργαλεία και ειδίκευση.
Τα δεδομένα log είναι τεχνικά. Απαιτούν κατανόηση των αποκρίσεων HTTP, των συμβολοσειρών user-agent και της συμπεριφοράς του διακομιστή. Δεν είναι φιλικά προς αρχάριους.
Συχνές ερωτήσεις
Πού βρίσκω τα logs του διακομιστή μου;
Ο πάροχος φιλοξενίας σου έχει logs διακομιστή. Συνδέσου στον πίνακα ελέγχου φιλοξενίας σου (cPanel, Plesk κ.λπ.) και ψάξε για ενότητα που λέγεται Logs ή Statistics. Οι περισσότεροι πάροχοι σου επιτρέπουν να κατεβάσεις ακατέργαστα logs. Κάποιοι παρέχουν προβολείς logs. Αν δεν τα βρίσκεις, επικοινώνησε με τον πάροχο φιλοξενίας σου. Με τον δημιουργό ιστοσελίδων της WEMASY φτιάχνεις τις δικές σου σελίδες στην ιστοσελίδα σου.
Πόσο πίσω φτάνουν τα logs διακομιστή;
Διαφέρει ανά πάροχο. Κάποιοι πάροχοι κρατούν logs για 30 ημέρες, άλλοι για 90 ημέρες. Οι πάροχοι για επιχειρήσεις μπορεί να κρατούν logs για χρόνια. Έλεγξε την τεκμηρίωση της φιλοξενίας σου. Αν χρειάζεσαι ιστορικά logs, κατέβασέ τα και αρχειοθέτησέ τα τακτικά.
Πρέπει να αναλύσω τα logs μόνος μου ή να προσλάβω κάποιον;
Για τα περισσότερα sites, το Google Search Console αρκεί. Η ανάλυση logs είναι προηγμένη και τεχνική. Χρησιμοποίησε logs μόνο αν το GSC δεν σου δίνει τις απαντήσεις που χρειάζεσαι. Αν κάνεις ανάλυση logs, χρησιμοποίησε ειδικό αναλυτή αρχείων log. Αν σου λείπει η ειδίκευση, πρόσλαβε σύμβουλο SEO.
Μπορώ να χρησιμοποιήσω τα logs για να εντοπίσω κακά bots;
Ναι. Τα logs δείχνουν όλα τα αιτήματα, συμπεριλαμβανομένων των κακών bots. Ψάξε για ασυνήθιστες συμβολοσειρές user-agent, υψηλούς ρυθμούς αιτημάτων ή πρότυπα σάρωσης που δεν βγάζουν νόημα. Τα κακά bots συχνά σαρώνουν το site σου πολύ πιο γρήγορα από τους νόμιμους crawlers. Μπορείς να τα αποκλείσεις με robots.txt ή με το firewall σου.
Βοηθά η ανάλυση logs στη βελτίωση των θέσεών μου;
Έμμεσα. Η ανάλυση logs σε βοηθά να καταλάβεις προβλήματα σάρωσης, προβλήματα δομής του site και σημεία συμφόρησης απόδοσης. Η διόρθωση αυτών των ζητημάτων βελτιώνει το site σου και για τους crawlers και για τους χρήστες, κάτι που μπορεί να βελτιώσει τις θέσεις. Τα logs όμως είναι διαγνωστικό εργαλείο, όχι παράγοντας κατάταξης από μόνα τους.
Ποια είναι η διαφορά ανάμεσα στα logs και στα δεδομένα του Search Console;
Τα logs δείχνουν κάθε αίτημα προς τον διακομιστή σου. Το Search Console δείχνει τι έκανε η Google με αυτά τα αιτήματα (ευρετηρίασε, απέρριψε κ.λπ.). Τα logs είναι ακατέργαστα δεδομένα. Το Search Console είναι η ερμηνεία των δεδομένων από τη Google. Χρησιμοποίησε και τα δύο μαζί για πλήρη εικόνα.