Γιατί οι εικασίες αποτυγχάνουν και οι δοκιμές κερδίζουν
Γι' αυτό αποτυγχάνουν οι εικασίες. Χωρίς δοκιμές, δεν μπορείς να ξεχωρίσεις το σήμα από τον θόρυβο. Δεν μπορείς να πεις αν μια αλλαγή κινήθηκε πραγματικά προς τα πάνω ή αν βλέπεις μια φυσιολογική διακύμανση. Χάνεις μήνες δοκιμάζοντας αλλαγές που δεν δουλεύουν. Χάνεις και αλλαγές που δουλεύουν, γιατί τις ακύρωσες νομίζοντας ότι δεν δούλευαν.
Το A/B testing το λύνει αυτό αφαιρώντας την ασάφεια. Δοκιμάζεις μία αλλαγή στο μισό της επισκεψιμότητάς σου. Αφήνεις το άλλο μισό όπως είναι. Μετράς τη διαφορά με ακρίβεια. Η στατιστική σού λέει αν η διαφορά είναι πραγματική ή τυχαία. Σταματάς να μαντεύεις. Αρχίζεις να ξέρεις.
Τι είναι στην πραγματικότητα το A/B testing
Εκδοχή A έναντι εκδοχής B
Το A/B testing συγκρίνει δύο εκδοχές κάποιου πράγματος, δείχνοντάς τες σε διαφορετικούς ανθρώπους και μετρώντας ποια αποδίδει καλύτερα. Η εκδοχή A είναι η τρέχουσα ρύθμισή σου. Η εκδοχή B είναι η αλλαγή σου. Δείχνεις την A στο πενήντα τοις εκατό των επισκεπτών. Δείχνεις τη B στο άλλο πενήντα τοις εκατό. Όλα τα υπόλοιπα είναι ίδια. Η μόνη διαφορά είναι το ένα πράγμα που άλλαξες.
Μέτρηση και σύγκριση
Όταν αρκετοί επισκέπτες έχουν δει και τις δύο εκδοχές, αναλύεις τα αποτελέσματα. Η εκδοχή B έκανε περισσότερες μετατροπές από την A; Κατά πόσο; Η διαφορά είναι πραγματική ή απλώς τυχαία διακύμανση; Η στατιστική απαντά σε αυτά τα ερωτήματα με ακρίβεια.
Η πραγματική δύναμη: η ακρίβεια
Αυτή η ακρίβεια είναι η πραγματική δύναμη. Όχι η ίδια η δοκιμή. Η ακρίβεια. Ξέρεις ακριβώς τι δουλεύει για το δικό σου κοινό, στη δική σου ιστοσελίδα, εκείνη τη στιγμή. Οι γενικές συμβουλές από άλλες ιστοσελίδες δεν ισχύουν για σένα. Τα δικά σου δεδομένα ισχύουν.
Το κρυφό κόστος των εικασιών
Μία κακή αλλαγή κοστίζει μήνες εσόδων
Ας πούμε ότι βγάζεις εκατό δολάρια κέρδος ανά πελάτη. Η ιστοσελίδα σου έχει δέκα χιλιάδες επισκέπτες τον μήνα. Δύο τοις εκατό μετατροπή. Αυτό κάνει διακόσιους πελάτες τον μήνα. Είκοσι χιλιάδες δολάρια κέρδος τον μήνα.
Νομίζεις ότι μια αλλαγή μπορεί να βοηθήσει. Την κάνεις χωρίς δοκιμή. Αν η αλλαγή στην πραγματικότητα μειώνει τη μετατροπή κατά ένα τοις εκατό, τώρα παίρνεις μόνο εκατό πελάτες. Το κέρδος πέφτει στις δέκα χιλιάδες δολάρια. Έχεις χάσει δέκα χιλιάδες δολάρια εκείνον τον μήνα.
Οι σιωπηλές απώλειες μαζεύονται
Μπορεί να μην το προσέξεις. Μπορεί να νομίσεις ότι τα έσοδα απλώς έπεσαν αυτόν τον μήνα για άλλους λόγους. Αφήνεις την κακή αλλαγή στη θέση της. Τον επόμενο μήνα ίδια ιστορία. Απώλεια δέκα χιλιάδων δολαρίων. Σε ένα χρόνο έχασες εκατόν είκοσι χιλιάδες δολάρια, επειδή δεν δοκίμασες.
Αυτό είναι το κρυφό κόστος των εικασιών. Όχι η περιστασιακή κακή απόφαση. Η συνεχής, μικρή ζημιά από αλλαγές που βλάπτουν λίγο ή βοηθούν λίγο, χωρίς ποτέ να ξέρεις ποια είναι ποια.
Οι δοκιμές αποτρέπουν τις σιωπηλές απώλειες
Οι δοκιμές το αποτρέπουν. Μια κακή αλλαγή πιάνεται. Βλέπεις ότι είναι χειρότερη. Την ακυρώνεις. Μία απώλεια αντί για δώδεκα.
Τι ξεχωρίζει τους νικητές από τους υπόλοιπους
Οι μεγάλες εταιρείες δοκιμάζουν συνεχώς
Οι μεγάλες εταιρείες δοκιμάζουν συνεχώς. Τα μεγαλύτερα online καταστήματα τρέχουν χιλιάδες δοκιμές τον χρόνο. Οι υπηρεσίες streaming δοκιμάζουν. Οι πλατφόρμες ταξιδιών δοκιμάζουν. Δοκιμάζουν γιατί οι δοκιμές συσσωρεύουν όφελος. Βελτίωση ένα τοις εκατό τον μήνα γίνεται δώδεκα τοις εκατό τον χρόνο. Βελτίωση πέντε τοις εκατό τον μήνα γίνεται ογδόντα τοις εκατό τον χρόνο.
Οι μικρές επιχειρήσεις σπάνια δοκιμάζουν
Οι μικρές και μεσαίες επιχειρήσεις σπάνια δοκιμάζουν. Νομίζουν ότι οι δοκιμές είναι για εταιρείες τεχνολογίας με ομάδες μηχανικών. Μαντεύουν. Χάνουν χρήματα σιγά σιγά, χωρίς να ξέρουν γιατί.
Οι δοκιμές είναι το πλεονέκτημα
Οι εταιρείες που κερδίζουν είναι αυτές που δοκιμάζουν περισσότερο από τους ανταγωνιστές τους. Όχι πιο έξυπνες. Όχι καλύτερες. Περισσότερες δοκιμές. Αυτό είναι όλο. Οι δοκιμές είναι συνήθεια, όχι ταλέντο. Μπορεί να το κάνει οποιοσδήποτε.
Δοκιμές ή απλές αλλαγές
Η αλλαγή χωρίς δοκιμή είναι εικασία
Η αλλαγή χωρίς δοκιμή είναι εικασία. Αλλάζεις κάτι. Βλέπεις αν ανεβαίνουν τα έσοδα. Αν ανεβαίνουν, το κρατάς. Αν όχι, το γυρνάς πίσω. Αυτό παίρνει μήνες. Δεν έχεις ιδέα αν η αλλαγή προκάλεσε το αποτέλεσμα. Μπορεί να ακυρώσεις μια νικήτρια αλλαγή επειδή η συγκυρία σού βγήκε άτυχη.
Η δοκιμή είναι γνώση
Η δοκιμή είναι γνώση. Αλλάζεις κάτι με σύστημα. Μετράς πριν και μετά με ακρίβεια. Η στατιστική σού λέει αν η αλλαγή είχε σημασία. Ξέρεις αμέσως. Μπορείς να τρέξεις δεκάδες δοκιμές στον χρόνο που χρειάζεται για μία εικασία.
Οι περισσότερες επιχειρήσεις αλλάζουν χωρίς να δοκιμάζουν. Λίγες δοκιμάζουν. Όσοι δοκιμάζουν νικούν όσους μαντεύουν.
Λανθασμένες αντιλήψεις που σκοτώνουν τα προγράμματα δοκιμών
Οι δοκιμές κάνουν πολύ ώρα
Λάθος. Οι περισσότερες δοκιμές τελειώνουν σε μία με δύο εβδομάδες. Αν η δοκιμή σου κάνει τρεις μήνες, δεν έχεις αρκετή επισκεψιμότητα. Αυτό όμως είναι πρόβλημα επισκεψιμότητας, όχι πρόβλημα δοκιμών.
Οι δοκιμές είναι ακριβές
Λάθος. Οι δοκιμές είναι δωρεάν ή φθηνές. Μερικά εργαλεία είναι δωρεάν. Οι πληρωμένες πλατφόρμες ξεκινούν από περίπου πεντακόσια δολάρια τον μήνα. Αυτό δεν είναι τίποτα μπροστά στην επίδραση στα έσοδα. Μία δοκιμή που βελτιώνει τη μετατροπή κατά ένα τοις εκατό πληρώνει τα εργαλεία για όλο τον χρόνο.
Μόνο οι μεγάλες ιστοσελίδες μπορούν να δοκιμάζουν
Λάθος. Οι δοκιμές δουλεύουν για κάθε ιστοσελίδα με τουλάχιστον πεντακόσιους επισκέπτες τον μήνα. Οι περισσότερες ιστοσελίδες το ξεπερνούν. Οι ιστοσελίδες μικρών επιχειρήσεων ωφελούνται περισσότερο από τις δοκιμές, γιατί οι μικρές βελτιώσεις είναι μεγάλα ποσοστιαία κέρδη.
Χρειάζεται τέλεια προετοιμασία
Λάθος. Μια καλή ρύθμιση νικά τον τέλειο σχεδιασμό. Ξεκίνα σήμερα να δοκιμάζεις με απλή ρύθμιση. Βελτίωσε τη διαδικασία όσο μαθαίνεις.
Η δέσμευση που μετράει
Οι δοκιμές δίνουν αξία μόνο αν εφαρμόζεις τους νικητές
Το ερώτημα δεν είναι πώς θα δοκιμάσω, αλλά τι θα κάνω με τις δοκιμές που κερδίζουν. Κάποιες εταιρείες δοκιμάζουν αλλά δεν εφαρμόζουν ποτέ τους νικητές. Τρέχουν τη δοκιμή. Κερδίζει η νέα εκδοχή. Λένε ότι θα την εφαρμόσουν αργότερα. Το «αργότερα» δεν έρχεται ποτέ.
Οι δοκιμές που κερδίζουν δίνουν αξία μόνο αν τις εφαρμόσεις. Και οι νικητές εμπνέουν επόμενες δοκιμές. Αν η αλλαγή στο χρώμα του κουμπιού αυξάνει τη μετατροπή κατά δύο τοις εκατό, τι γίνεται με το μέγεθος του κουμπιού; Τη θέση του κουμπιού; Το κείμενο του κουμπιού; Μία δοκιμή οδηγεί σε άλλη. Οι δοκιμές δεν είναι εφάπαξ ενέργεια. Είναι συνεχής διαδικασία.
Αθροιστικό όφελος μέσα από τη δέσμευση
Οι εταιρείες που ωφελούνται περισσότερο από τις δοκιμές είναι αυτές που δεσμεύονται να εφαρμόζουν τους νικητές και να τρέχουν επόμενες δοκιμές. Χτίζουν τις δοκιμές μέσα στην κουλτούρα τους. Μήνα με τον μήνα. Χρόνο με τον χρόνο. Οι μικρές βελτιώσεις συσσωρεύονται σε τεράστια ανάπτυξη.
Συχνές ερωτήσεις
Πώς θα καταλάβω αν η επιχείρησή μου είναι αρκετά μεγάλη για A/B testing;
Αν έχεις πεντακόσιους επισκέπτες τον μήνα, μπορείς να δοκιμάζεις. Οι περισσότερες επαγγελματικές ιστοσελίδες το ξεπερνούν. Αν είσαι κάτω από πεντακόσιους, φρόντισε πρώτα την επισκεψιμότητα. Μόλις φτάσεις τους πεντακόσιους, ξεκίνα τις δοκιμές. Με τον δημιουργό ιστοσελίδων του WEMASY μπορείς να το στήσεις απευθείας στην ιστοσελίδα σου.
Αν πουλάω ακριβά προϊόντα με λίγους πελάτες, μπορώ να δοκιμάζω;
Είναι πιο δύσκολο, αλλά γίνεται. Ο χρόνος κλιμακώνεται διαφορετικά. Με έναν πελάτη τον μήνα, μια δοκιμή παίρνει μήνες. Η αρχή όμως είναι η ίδια. Δοκίμασε αλλαγές με μεγάλη επίδραση. Απόφυγε αλλαγές με μικρή επίδραση, που δεν θα μετρήσουν με τον δικό σου όγκο.
Ποια είναι η διαφορά ανάμεσα σε μια δοκιμή που κερδίζει και σε μια δοκιμή όπου ο νικητής χαλάει;
Εφαρμόζεις τον νικητή. Δουλεύει έναν μήνα. Τον δεύτερο μήνα δεν δουλεύει το ίδιο καλά. Αυτό συμβαίνει. Κάτι άλλαξε. Το κοινό μετακινήθηκε. Εποχιακό φαινόμενο. Τρέξε τη δοκιμή ξανά. Ο νικητής μπορεί να αντιστραφεί. Κατάγραψε αυτό που έμαθες.
Να δοκιμάζω σε επαναλαμβανόμενους πελάτες, σε νέους πελάτες ή και στους δύο;
Δοκίμαζε σε όλους. Συμπεριφέρονται διαφορετικά, αλλά και οι δύο μετράνε για την επιχείρηση. Οι νέοι πελάτες είναι η πρώτη εντύπωση. Οι επαναλαμβανόμενοι είναι η πίστη. Δοκίμαζε σε όλους. Αν θέλεις περισσότερη λεπτομέρεια, ανάλυσέ τους ξεχωριστά μετά.
Τρέχω μια δοκιμή και χάνω άσχημα. Να σταματήσω νωρίς;
Όχι. Τρέξε ολόκληρη τη διάρκεια. Τα πρώιμα αποτελέσματα παραπλανούν. Φέρσου σαν να μην είσαι το άτομο που τρέχει τη δοκιμή. Φαντάσου ότι δεν έχεις κανένα συμφέρον. Θα ήθελες να μάθεις τα προκαταρκτικά αποτελέσματα μετά από μία εβδομάδα; Μάλλον όχι. Περίμενε τα πραγματικά δεδομένα.
Πώς πείθω την ομάδα μου να δοκιμάζει αντί να μαντεύει;
Δείξε χρήματα. Τρέξε μια δοκιμή. Κερδίζει η νέα εκδοχή. Υπολόγισε την επίδραση στα έσοδα. Αυτή η δοκιμή αύξησε τα έσοδα κατά πέντε χιλιάδες δολάρια τον μήνα. Αν μια μέση δοκιμή βελτιώνει κατά τρία τοις εκατό, μπορούμε να φτάσουμε σε τεράστια ανάπτυξη. Τα χρήματα πείθουν.