Δοκιμή που τελειώνει πολύ νωρίς (peeking bias)
Το λάθος
Το μεγαλύτερο λάθος: να κοιτάς τα αποτελέσματα μετά από μία εβδομάδα, ενώ η δοκιμή ήταν σχεδιασμένη για δύο.
Γιατί είναι λάθος
Μία εβδομάδα δίνει τετρακόσιες μετατροπές ανά εκδοχή. Δύο εβδομάδες δίνουν οκτακόσιες. Με τετρακόσιες, ο τυχαίος θόρυβος είναι μεγαλύτερος. Βλέπεις διαφορές που χάνονται όταν έχεις περισσότερα δεδομένα.
Παράδειγμα: την πρώτη εβδομάδα η εκδοχή δοκιμής δείχνει εννέα τοις εκατό μετατροπή. Ο έλεγχος οκτώ τοις εκατό. Μια νίκη ενός τοις εκατό μοιάζει αληθινή. Κοιτάς νωρίς και ενθουσιάζεσαι. Τη δεύτερη εβδομάδα η εκδοχή δοκιμής πέφτει στο οκτώ κόμμα πέντε τοις εκατό. Ο έλεγχος μένει στο οκτώ τοις εκατό. Νίκη μισού τοις εκατό. Εξακολουθεί να είναι στατιστικά σημαντική, αλλά πολύ μικρότερη από ό,τι έδειχνε η πρώτη εβδομάδα.
Αν σταματούσες την πρώτη εβδομάδα, θα είχες υπερεκτιμήσει το όφελος της εκδοχής δοκιμής κατά πενήντα τοις εκατό.
Πώς να το αποφύγεις
Αποφάσισε τη διάρκεια πριν ξεκινήσεις τη δοκιμή. Δύο εβδομάδες είναι το συνηθισμένο. Γράψε το κάπου. Μην κοιτάς νωρίς. Βάλε υπενθύμιση στο ημερολόγιο για την ημερομηνία λήξης.
Δοκιμή πολλών αλλαγών ταυτόχρονα
Το λάθος
Αλλάζεις τον τίτλο. Αλλάζεις το χρώμα του κουμπιού. Αλλάζεις το κείμενο του κουμπιού. Αλλάζεις τα πεδία της φόρμας. Τέσσερις αλλαγές ταυτόχρονα.
Γιατί είναι λάθος
Η εκδοχή δοκιμής μετατρέπει στο δώδεκα τοις εκατό. Ο έλεγχος στο δέκα. Νίκη δύο τοις εκατό. Εφαρμόζεις και τις τέσσερις αλλαγές.
Έναν μήνα μετά: η μετατροπή πέφτει στο εννέα τοις εκατό. Κάτι χάλασε. Αλλά ποια αλλαγή; Ο τίτλος; Το κουμπί; Η φόρμα; Άλλαξες τέσσερα πράγματα και δεν ξέρεις ποιο έκανε ζημιά. Δεν μπορείς να μάθεις ποια αλλαγή βοήθησε και ποια έβλαψε.
Πώς να το αποφύγεις
Μία αλλαγή τη φορά. Άλλαξε μόνο τον τίτλο. Δοκίμασέ τον. Εφάρμοσέ τον αν κερδίσει. Μετά δοκίμασε το χρώμα του κουμπιού. Μετά τη φόρμα. Μία μεταβλητή τη φορά.
Λάθη μέτρησης και χαλασμένες δοκιμές
Το λάθος
Η δοκιμή τρέχει δύο εβδομάδες. Τα αποτελέσματα δείχνουν ότι η εκδοχή δοκιμής κερδίζει κατά πέντε τοις εκατό. Την εφαρμόζεις. Έναν μήνα μετά καταλαβαίνεις ότι η μέτρηση ήταν χαλασμένη. Το pixel μετατροπής δεν ενεργοποιήθηκε για το ενενήντα τοις εκατό των επισκεπτών.
Γιατί είναι λάθος
Τα αποτελέσματα είναι άχρηστα. Η εφαρμογή βασίστηκε σε κακά δεδομένα. Ξόδεψες τεχνικό χρόνο για να εφαρμόσεις κάτι που στηρίχτηκε σε άκυρα αποτελέσματα.
Πώς να το αποφύγεις
Έλεγξε τη ρύθμιση της δοκιμής με δείγμα. Τρέξε μια απλή διαδρομή με το χέρι. Ενεργοποιείται το γεγονός; Έλεγξε τα αρχεία καταγραφής της μέτρησης. Επιβεβαίωσε ότι το pixel ενεργοποιείται. Έλεγξε τη μέτρηση πριν ανακηρύξεις νικητή.
Ανεπαρκές μέγεθος δείγματος
Το λάθος
Τρέχεις μια δοκιμή με μόνο πεντακόσιες μετατροπές συνολικά. Διακόσιες πενήντα ανά εκδοχή. Με τόσο μικρό δείγμα, ο τυχαίος θόρυβος είναι τεράστιος. Διαφορές πέντε τοις εκατό είναι συνηθισμένες. Διαφορές δέκα τοις εκατό δεν προκαλούν έκπληξη.
Βλέπεις την εκδοχή δοκιμής πέντε τοις εκατό πάνω από τον έλεγχο. Καμία στατιστική σημαντικότητα. Ανακηρύσσεις τη δοκιμή ασαφή.
Γιατί είναι λάθος
Είχες ανεπαρκή ισχύ από την αρχή. Έπρεπε να ξέρεις ότι η δοκιμή χρειαζόταν δύο εβδομάδες, όχι μία. Οι δοκιμές με ανεπαρκή ισχύ σπαταλούν χρόνο και δίνουν ασαφή αποτελέσματα.
Πώς να το αποφύγεις
Υπολόγισε το μέγεθος δείγματος πριν ξεκινήσεις. Πόσες μετατροπές χρειάζεσαι; Πόσο θα κρατήσει η δοκιμή μέχρι να τις φτάσεις; Αν η δοκιμή θέλει τρεις μήνες, σκέψου να δοκιμάσεις κάτι άλλο με πιο γρήγορα αποτελέσματα.
Έλλειψη ελέγχου για εξωτερικούς παράγοντες
Το λάθος
Τρέχεις τη δοκιμή από Τρίτη μέχρι Πέμπτη. Τα αποτελέσματα της Δευτέρας είναι πριν από τη δοκιμή. Της Παρασκευής μετά τη δοκιμή. Συγκρίνεις την Παρασκευή με τη Δευτέρα.
Αλλά η επισκεψιμότητα της Παρασκευής διαφέρει από της Δευτέρας. Η Παρασκευή είναι χαλαρή περιήγηση του Σαββατοκύριακου. Η Δευτέρα είναι περιήγηση εργάσιμης ημέρας. Διαφορετικό κοινό. Διαφορετικά ποσοστά μετατροπής. Αποδίδεις τη διαφορά στη δοκιμή, ενώ είναι διαφορά σύνθεσης.
Γιατί είναι λάθος
Εφάρμοσες μια αλλαγή με βάση τη διαφορά στη σύνθεση της επισκεψιμότητας, όχι την αποτελεσματικότητα της εκδοχής δοκιμής. Όταν έρθει νέα σύνθεση επισκεψιμότητας, τα αποτελέσματα δεν ισχύουν.
Πώς να το αποφύγεις
Τρέξε τη δοκιμή αρκετή ώρα ώστε να ισορροπήσει η σύνθεση της επισκεψιμότητας. Οι δύο εβδομάδες περιλαμβάνουν εργάσιμες και Σαββατοκύριακα. Μία εβδομάδα μπορεί να είναι στραβή.
Αλλαγή της υπόθεσης στη μέση της δοκιμής
Το λάθος
Ξεκινάς τη δοκιμή με την υπόθεση: μια πιο σύντομη φόρμα αυξάνει τις υποβολές.
Στα μισά παίρνεις νέα δεδομένα από την υποστήριξη. Οι πελάτες θέλουν περισσότερες επιλογές πεδίων. Αλλάζεις την υπόθεση: ίσως τελικά βοηθούν περισσότερα πεδία. Τώρα έχεις μια δοκιμή σχεδιασμένη για μία υπόθεση που αναλύεται ως άλλη υπόθεση.
Γιατί είναι λάθος
Μπερδεύει τα αποτελέσματα. Δεν μπορείς να πεις ποια υπόθεση δοκίμαζε πραγματικά η δοκιμή. Μπορεί να εφαρμόσεις κάτι με βάση μια μπερδεμένη ερμηνεία.
Πώς να το αποφύγεις
Γράψε την υπόθεση πριν ξεκινήσεις τη δοκιμή. Δεσμεύσου σε αυτήν. Αν πάρεις νέες πληροφορίες και θες να δοκιμάσεις άλλη υπόθεση, τελείωσε πρώτα την τρέχουσα δοκιμή. Μετά τρέξε τη νέα.
Να μην εφαρμόζεις τους νικητές
Το λάθος
Η δοκιμή τελειώνει. Η εκδοχή δοκιμής κερδίζει. Λες «θα το εφαρμόσουμε αργότερα». Το «αργότερα» δεν έρχεται ποτέ. Η δοκιμή δεν έφτιαξε καμία αξία. Έχασες χρόνο.
Γιατί είναι λάθος
Οι νικητές δημιουργούν αξία μόνο αν εφαρμοστούν. Ένα πρόγραμμα δοκιμών μεγαλώνει σαν χιονοστιβάδα μόνο αν εφαρμόζεις τους νικητές σταθερά. Ένας νικητής που δεν εφαρμόστηκε σκοτώνει την ορμή και την πίστη της ομάδας στις δοκιμές.
Πώς να το αποφύγεις
Δεσμεύσου για την εφαρμογή πριν τρέξεις τη δοκιμή. Αν κερδίσει η εκδοχή δοκιμής, εφάρμοσέ την μέσα σε μία εβδομάδα. Αν κερδίσει ο έλεγχος, γύρνα αμέσως πίσω. Μην αφήνεις τους νικητές να μαραζώνουν.
Να μην αναλύεις τα αποτελέσματα ανά τμήμα
Το λάθος
Τα συνολικά αποτελέσματα δείχνουν ότι η εκδοχή δοκιμής κερδίζει. Την εφαρμόζεις παντού.
Αλλά η ανάλυση ανά τμήμα δείχνει: στον υπολογιστή η εκδοχή δοκιμής κερδίζει. Στο κινητό χάνει. Στο εξωτερικό δεν έχει καμία επίδραση. Η καθολική εφαρμογή βλάπτει τους επισκέπτες από κινητό και από το εξωτερικό.
Γιατί είναι λάθος
Βελτιστοποίησες για τον συνολικό μέσο όρο, αλλά έβλαψες συγκεκριμένα τμήματα. Η επισκεψιμότητα από κινητά μπορεί να μεγαλώνει πιο γρήγορα από τον υπολογιστή. Εφαρμόζοντας την εκδοχή δοκιμής, έβλαψες το τμήμα της μελλοντικής ανάπτυξης.
Πώς να το αποφύγεις
Έλεγχε πάντα τα αποτελέσματα ανά τμήμα πριν ανακηρύξεις καθολικό νικητή. Ο νικητής μπορεί να μην ισχύει για όλους. Εφάρμοσέ τον στα τμήματα όπου κερδίζει. Παράλειψέ τον όπου δεν κερδίζει.
Σύγχυση της κατεύθυνσης της αιτίας με τον νικητή
Το λάθος
Η δοκιμή δείχνει ότι η εκδοχή δοκιμής νικά τον έλεγχο. Υποθέτεις ότι η εκδοχή δοκιμής είναι καλύτερη. Αλλά τι γίνεται αν ο έλεγχος απλώς δεν δουλεύει; Το κουμπί του ελέγχου δεν λειτουργεί. Όλοι μπερδεύονται. Το κουμπί της εκδοχής δοκιμής δουλεύει μια χαρά. Η εκδοχή δοκιμής κερδίζει επειδή ο έλεγχος είναι χαλασμένος, όχι επειδή είναι εγγενώς καλύτερη.
Γιατί είναι λάθος
Μαθαίνεις λάθος μάθημα. Νομίζεις ότι το στυλ του κουμπιού κερδίζει, ενώ στην πραγματικότητα έμαθες ότι «ένα κουμπί που δουλεύει νικά ένα χαλασμένο». Άλλες συνέπειες για τις μελλοντικές δοκιμές.
Πώς να το αποφύγεις
Κατάλαβε γιατί κέρδισε η εκδοχή δοκιμής. Ήταν επειδή η εκδοχή δοκιμής είναι καλύτερη ή επειδή ο έλεγχος είναι χειρότερος; Διαφορετικές συνέπειες.
Επανάληψη της ίδιας δοκιμής με την ελπίδα για άλλο αποτέλεσμα
Το λάθος
Δοκιμή ένα: η εκδοχή δοκιμής χάνει από τον έλεγχο. Ξαναδοκιμάζεις με μια μικρή παραλλαγή. Δοκιμή δύο: το ίδιο αποτέλεσμα. Κερδίζει πάλι ο έλεγχος. Ξαναδοκιμάζεις. Δοκιμή τρία: το ίδιο μοτίβο. Ο έλεγχος συνεχίζει να κερδίζει.
Δοκιμάζεις το ίδιο πράγμα ξανά και ξανά και παίρνεις το ίδιο αποτέλεσμα.
Γιατί είναι λάθος
Σπαταλάς τον προϋπολογισμό δοκιμών σε μια προσέγγιση που δεν δουλεύει. Είναι καλύτερα να αλλάξεις προσέγγιση παρά να συνεχίζεις να δοκιμάζεις την ίδια χαμένη στρατηγική.
Πώς να το αποφύγεις
Σταμάτα να δοκιμάζεις το ίδιο πράγμα. Χρειάζεσαι άλλη στρατηγική. Η τρέχουσα προσέγγιση δεν δουλεύει. Άλλαξε σε διαφορετική εκδοχή δοκιμής.
Να μην καταγράφεις αποτελέσματα και μαθήματα
Το λάθος
Η δοκιμή τελειώνει. Τα αποτελέσματα δείχνουν νικητή. Τον εφαρμόζεις. Μετά το ξεχνάς.
Έξι μήνες μετά: ένα νέο μέλος της ομάδας ρωτά «τι μάθαμε για τους τίτλους;». Δεν έχεις καμία τεκμηρίωση. Ξεκινάς από το μηδέν.
Γιατί είναι λάθος
Χάνεις τη γνώση του οργανισμού. Κάθε δοκιμή πρέπει να σε διδάσκει κάτι. Χωρίς τεκμηρίωση, η γνώση χάνεται όταν φεύγουν μέλη της ομάδας.
Πώς να το αποφύγεις
Κατάγραψε κάθε δοκιμή. Υπόθεση. Αποτελέσματα. Μάθημα. Μοιράσου τα με την ομάδα. Χτίσε γνώση για τον οργανισμό σου.
Συχνές ερωτήσεις
Αν ελέγχω τα αποτελέσματα της δοκιμής μία φορά την εβδομάδα, κάνω peeking;
Όχι, αν δεσμευτείς σε διάρκεια δύο εβδομάδων και δεν αλλάξεις συμπεριφορά με βάση τα αποτελέσματα της πρώτης εβδομάδας. Παρακολουθείς, αλλά δεν σταματάς νωρίς. Ο έλεγχος είναι εντάξει. Το νωρίς σταμάτημα είναι peeking. Παράδειγμα: η πρώτη εβδομάδα δείχνει εννέα τοις εκατό για την εκδοχή δοκιμής και οκτώ τοις εκατό για τον έλεγχο. Η εκδοχή δοκιμής μοιάζει νικητής. Μην την εφαρμόσεις ακόμα. Δεσμεύσου για τις δύο πλήρεις εβδομάδες. Η δεύτερη εβδομάδα μπορεί να δείξει οκτώ κόμμα οκτώ τοις εκατό για την εκδοχή δοκιμής και οκτώ τοις εκατό για τον έλεγχο. Εμφανίζεται μικρότερη διαφορά. Αν σταματούσες την πρώτη εβδομάδα, θα είχες υπερεκτιμήσει το όφελος κατά πενήντα τοις εκατό. Δεσμεύσου για τη διάρκεια, έλεγχε εβδομαδιαία αν θέλεις, αλλά μην ενεργείς με βάση προκαταρκτικά αποτελέσματα. Με τον δημιουργός ιστοσελίδων του WEMASY μπορείς να το στήσεις απευθείας στην ιστοσελίδα σου.
Μπορώ να δοκιμάζω δύο παρόμοια πράγματα ταυτόχρονα (διαφορετικούς τίτλους σε διαφορετικές περιοχές);
Ναι, αν οι περιοχές είναι πραγματικά ξεχωριστές και δεν τις συγκρίνεις μεταξύ τους. Δοκίμασε τον τίτλο Α απέναντι στον Β στην επισκεψιμότητα των ΗΠΑ. Δοκίμασε τον τίτλο Γ απέναντι στον Δ στην επισκεψιμότητα της ΕΕ. Ξεχωριστές δοκιμές. Οι παράλληλες δοκιμές είναι εντάξει. Αλλά μη συγκρίνεις τον Α με τον Γ ανάμεσα στις περιοχές, γιατί η σύνθεση διαφέρει. Το κοινό κάθε περιοχής μετατρέπει με διαφορετικό ρυθμό. Οι ΗΠΑ μπορεί να έχουν βάση δώδεκα τοις εκατό. Η ΕΕ οκτώ τοις εκατό. Ο τίτλος Α κερδίζει στις ΗΠΑ. Ο τίτλος Γ κερδίζει στην ΕΕ. Δεν μπορείς να συμπεράνεις ότι ο τίτλος Α είναι καθολικά καλύτερος, γιατί οι περιοχές έχουν διαφορετικές βάσεις. Δοκίμασε παράλληλα αλλά ανάλυσε ξεχωριστά.
Αν τα αποτελέσματα δεν δείχνουν σημαντική διαφορά, να υποθέσω ότι οι εκδοχές είναι ίδιες;
Όχι. Υπόθεσε ότι η διαφορά είναι ασαφής. Μπορεί να είναι ίδιες. Μπορεί να διαφέρουν αλλά να χρειαζόταν περισσότερα δεδομένα για να φανεί. Παράδειγμα: ο έλεγχος πεντακόσιες μετατροπές. Η εκδοχή δοκιμής πεντακόσιες πέντε. Διαφορά ενός τοις εκατό. Ογδόντα οκτώ τοις εκατό βεβαιότητα. Όχι σημαντικό. Δεν μπορείς να συμπεράνεις ότι είναι ίδιες. Μπορείς να συμπεράνεις μόνο ότι η διαφορά είναι ασαφής. Επιλογές: τρέξε τη δοκιμή περισσότερο για να μαζέψεις περισσότερα δεδομένα. Ή, αν η εκδοχή δοκιμής είναι πιο εύκολη στην εφαρμογή από τον έλεγχο, πέρασε σε αυτήν, γιατί στη χειρότερη είναι ίδιες και στην καλύτερη η εκδοχή δοκιμής είναι καλύτερη. Αν ο έλεγχος είναι πιο εύκολος, κράτα τον έλεγχο.
Τι γίνεται αν η δοκιμή μου δείχνει στατιστικά σημαντικό αποτέλεσμα αλλά διαισθητικά μου φαίνεται λάθος;
Εμπιστεύσου τα στατιστικά, όχι τη διαίσθηση. Τα μαθηματικά είναι εξυπνότερα από τη διαίσθηση. Αν τα στατιστικά λένε ότι το αποτέλεσμα είναι αληθινό (ενενήντα πέντε τοις εκατό βεβαιότητα), πιθανότατα είναι. Η διαίσθησή σου μπορεί να κάνει λάθος. Η διαίσθησή σου βασίζεται σε περιορισμένη εμπειρία. Τα στατιστικά βασίζονται σε χιλιάδες σημεία δεδομένων από επισκέπτες. Εφάρμοσε με βάση τα στατιστικά. Παράδειγμα: νομίζεις ότι το κόκκινο κουμπί αποδίδει καλύτερα από το μπλε. Η δοκιμή δείχνει ότι το μπλε κερδίζει σημαντικά. Η διαίσθησή σου έκανε λάθος. Εφάρμοσε το μπλε κουμπί. Αν εμπιστευόσουν τη διαίσθηση και αγνοούσες τα δεδομένα, θα είχες εφαρμόσει το κόκκινο και θα είχες βλάψει τη μετατροπή.
Μπορώ να συνδυάσω πολλά μικρά ασήμαντα αποτελέσματα σε ένα μεγάλο σημαντικό;
Όχι. Κάθε δοκιμή στέκεται μόνη της. Δεν μπορείς να συνδυάσεις ασαφείς δοκιμές σε ένα σαφές αποτέλεσμα. Η δοκιμή ένα δείχνει ογδόντα πέντε τοις εκατό βεβαιότητα ότι κερδίζει η εκδοχή δοκιμής. Η δοκιμή δύο δείχνει ογδόντα τοις εκατό βεβαιότητα για την ίδια εκδοχή. Μαζί ενενήντα πέντε τοις εκατό; Όχι. Έτσι δεν δουλεύουν τα στατιστικά. Κάθε δοκιμή είναι ανεξάρτητη. Ο συνδυασμός τους είναι στατιστική ανοησία. Τρέξε από την αρχή μια δοκιμή με σωστό μέγεθος και σωστή ισχύ. Είτε έχεις σημαντικότητα είτε όχι.
Αν η δοκιμή δείχνει ισχυρό αποτέλεσμα για ένα τμήμα αλλά αδύναμο συνολικά, τι εφαρμόζω;
Εφάρμοσε μόνο για το τμήμα, αν το ισχυρό αποτέλεσμα είναι στατιστικά σημαντικό για το τμήμα. Αν το τμήμα είναι μικρό (δέκα τοις εκατό της επισκεψιμότητας), το όριο στατιστικής σημαντικότητας είναι πιο δύσκολο να φτάσει. Μπορεί να είναι ψευδώς θετικό στο τμήμα. Έλεγξε τη στατιστική σημαντικότητα συγκεκριμένα για το τμήμα, όχι μόνο συνολικά. Παράδειγμα: η συνολική δοκιμή δείχνει εννέα τοις εκατό για την εκδοχή δοκιμής και οκτώ κόμμα εννέα τοις εκατό για τον έλεγχο. Μόλις σημαντικό. Αλλά το τμήμα του υπολογιστή δείχνει δέκα τοις εκατό για την εκδοχή δοκιμής και οκτώ τοις εκατό για τον έλεγχο. Νίκη δύο τοις εκατό στον υπολογιστή. Ισχυρό και σημαντικό για τον υπολογιστή. Το τμήμα του κινητού δείχνει οκτώ τοις εκατό και για τα δύο. Καμία διαφορά. Εφάρμοσε μόνο για τον υπολογιστή. Μην εφαρμόσεις για το κινητό. Διαφορετικά τμήματα έχουν διαφορετικές βέλτιστες εκδοχές.