Βήμα πρώτο: γράψε την υπόθεση με συγκεκριμένα στοιχεία
Η αόριστη υπόθεση αποτυγχάνει
Όχι: αν αλλάξω το checkout, θα ανέβει η μετατροπή.
Η συγκεκριμένη υπόθεση κερδίζει
Καλύτερα: πιστεύουμε ότι αν απλοποιήσουμε το checkout από διαδικασία πέντε βημάτων σε φόρμα μίας σελίδας, οι ολοκληρωμένες αγορές θα αυξηθούν τουλάχιστον κατά τρία τοις εκατό, επειδή οι πελάτες εγκαταλείπουν όταν η φόρμα φαίνεται μεγάλη.
Η υπόθεση πρέπει να λέει τα εξής. Τι αλλάζεις. Γιατί πιστεύεις ότι θα βοηθήσει. Ποιον δείκτη περιμένεις να βελτιωθεί. Και κατά πόσο.
Η αόριστη υπόθεση οδηγεί σε αόριστα αποτελέσματα. Η συγκεκριμένη υπόθεση μπορεί να δοκιμαστεί.
Βήμα δεύτερο: υπολόγισε το μέγεθος δείγματος πριν ξεκινήσεις
Τα μαθηματικά μετράνε
Πόσους επισκέπτες χρειάζεσαι για να δεις πραγματική διαφορά.
Ο κανόνας. Χρειάζεσαι τουλάχιστον πεντακόσιες μετατροπές ανά παραλλαγή. Άρα χίλιες συνολικά, αν δοκιμάζεις δύο εκδοχές.
Υπολόγισε τη διάρκεια της δοκιμής σου
Αν έχεις ποσοστό μετατροπής δύο τοις εκατό και δύο χιλιάδες επισκέπτες τον μήνα, παίρνεις σαράντα μετατροπές τον μήνα. Για να φτάσεις τις πεντακόσιες χρειάζονται δώδεκα μήνες. Η δοκιμή δεν θα τελειώσει εγκαίρως.
Αν έχεις ποσοστό μετατροπής δέκα τοις εκατό και πέντε χιλιάδες επισκέπτες τον μήνα, παίρνεις πεντακόσιες μετατροπές τον μήνα. Για να φτάσεις τις χίλιες χρειάζονται δύο μήνες. Η δοκιμή τελειώνει γρήγορα.
Να ξέρεις από την αρχή το χρονοδιάγραμμα
Οι ιστοσελίδες με χαμηλό ποσοστό μετατροπής χρειάζονται μεγαλύτερες δοκιμές. Οι ιστοσελίδες με υψηλό ποσοστό τελειώνουν πιο γρήγορα.
Χρησιμοποίησε έναν υπολογιστή μεγέθους δείγματος. Βάλε το ποσοστό μετατροπής και την επισκεψιμότητά σου. Ο υπολογιστής σου λέει πόσο θα κρατήσει η δοκιμή.
Αν η δοκιμή κρατά περισσότερο από τρεις μήνες, σκέψου το. Αξίζει η αλλαγή να περιμένεις τρεις μήνες. Ή να δοκιμάσουμε κάτι άλλο που τελειώνει πιο γρήγορα.
Βήμα τρίτο: διάλεξε την κατανομή της επισκεψιμότητας
Το πενήντα πενήντα είναι το πρότυπο
Δώσε πενήντα τοις εκατό στην αρχική εκδοχή. Πενήντα τοις εκατό στην παραλλαγή.
Η επιφυλακτική κατανομή καθυστερεί τα αποτελέσματα
Κάποιοι κατανέμουν ενενήντα δέκα. Ενενήντα τοις εκατό στην τωρινή καλή εκδοχή, δέκα τοις εκατό στη νέα που δεν είναι σίγουροι γι' αυτήν. Είναι επιφυλακτικό, αλλά καθυστερεί τη δοκιμή.
Το πενήντα πενήντα είναι το πρότυπο. Τα πιο γρήγορα αποτελέσματα.
Βήμα τέταρτο: όρισε τη διάρκεια της δοκιμής πριν την τρέξεις
Δεσμεύσου στο χρονοδιάγραμμα
Μία εβδομάδα το ελάχιστο. Δύο εβδομάδες το συνηθισμένο. Ένας μήνας για ιστοσελίδες με πολύ μεγάλη επισκεψιμότητα.
Μην αποφασίζεις τη διάρκεια όσο τρέχει η δοκιμή. Αποφάσισε πριν. Γράψε την. Δεσμεύσου σε αυτήν.
Το πρόωρο κρυφοκοίταγμα χαλά τις δοκιμές
Το πρόωρο κρυφοκοίταγμα χαλά τις δοκιμές. Κοιτάς τα αποτελέσματα μετά από μία εβδομάδα. Φαίνεται ότι κερδίζει η παραλλαγή. Σταματάς τη δοκιμή. Την υλοποιείς. Αργότερα καταλαβαίνεις ότι τα αποτελέσματα δεν ήταν αληθινά. Υλοποίησες κάτι που δεν δούλευε στην πραγματικότητα.
Τρέξε ολόκληρη τη διάρκεια.
Βήμα πέμπτο: κάνε την αλλαγή στην παραλλαγή
Μόνο μία αλλαγή
Μόνο μία αλλαγή. Όχι πολλές αλλαγές.
Αν δοκιμάζεις την απλοποίηση του checkout, απλοποίησε τη φόρμα. Μην αλλάξεις ταυτόχρονα χρώμα, κείμενο και διάταξη. Μία μεταβλητή τη φορά.
Κάν' την εμφανή
Η αλλαγή πρέπει να είναι εμφανής. Οι επισκέπτες πρέπει να προσέξουν τη διαφορά. Αν η αλλαγή είναι τόσο διακριτική που δεν τη βλέπουν, η δοκιμή δεν θα δουλέψει.
Βήμα έκτο: στήσε τη δοκιμή στο εργαλείο
Διάλεξε την πλατφόρμα σου
Χρησιμοποίησε μια πλατφόρμα δοκιμών. . . .
Εγκατάσταση και ρύθμιση
Σύνδεσέ την με την ιστοσελίδα. Εγκατάστησε τον κώδικα καταγραφής. Συνήθως είναι μία γραμμή κώδικα ή η εγκατάσταση ενός πρόσθετου.
Δημιούργησε εκδοχές και δείκτες
Δημιούργησε την αρχική εκδοχή. Είναι η τωρινή εκδοχή.
Δημιούργησε την παραλλαγή. Υλοποίησε την αλλαγή σου.
Όρισε τη διαίρεση της επισκεψιμότητας. Πενήντα τοις εκατό στην καθεμία.
Όρισε τη διάρκεια. Δύο εβδομάδες ή όσο καθόρισες.
Όρισε τον δείκτη επιτυχίας. Τι μετράς. Ολοκλήρωση checkout. Υποβολή φόρμας. Κύλιση σελίδας.
Βήμα έβδομο: άσε την να τρέξει χωρίς κρυφοκοιτάγματα
Αντιστάσου στον πειρασμό
Είναι δύσκολο. Αντιστάσου στην παρόρμηση να ελέγχεις τα αποτελέσματα.
Τα αποτελέσματα μετά από λίγες μέρες δεν σημαίνουν τίποτα. Η τυχαία διακύμανση είναι τεράστια με μικρό δείγμα. Θα δεις αποτελέσματα που θα εξαφανιστούν αργότερα.
Βάλε υπενθύμιση στο ημερολόγιο
Έλεγξε τα αποτελέσματα ακριβώς την ημερομηνία λήξης. Όχι νωρίτερα.
Βάλε υπενθύμιση στο ημερολόγιο για την ημερομηνία λήξης της δοκιμής. Έλεγξε τότε.
Βήμα όγδοο: ανάλυσε σωστά τα αποτελέσματα
Ψάξε για στατιστική σημαντικότητα
Η δοκιμή τελειώνει. Κοιτάς τα αποτελέσματα. Η παραλλαγή μετέτρεψε έντεκα τοις εκατό. Η αρχική δέκα τοις εκατό. Η παραλλαγή είναι καλύτερη. Σωστά.
Ήταν όμως στατιστικά σημαντικό. Είναι αληθινό ή τύχη.
Κοίτα το διάστημα εμπιστοσύνης ή την τιμή p. Πρέπει να είναι πάνω από ενενήντα πέντε τοις εκατό εμπιστοσύνη ή κάτω από μηδέν κόμμα μηδέν πέντε στην τιμή p.
Τι σημαίνει στατιστική σημαντικότητα
Αν η στατιστική σημαντικότητα λέει ναι, το αποτέλεσμα είναι αληθινό. Υλοποίησε την παραλλαγή.
Αν η στατιστική σημαντικότητα λέει όχι, το αποτέλεσμα είναι ασαφές. Μπορεί να είναι τύχη. Μπορεί να είναι αληθινό αλλά να χρειαζόταν περισσότερο χρόνο. Τρέξε τη δοκιμή περισσότερο ή δοκίμασε διαφορετική αλλαγή.
Βήμα ένατο: υλοποίησε και κατέγραψε
Αν κερδίσει η παραλλαγή
Αν κερδίσει η παραλλαγή, υλοποίησέ τη μόνιμα.
Κατέγραψε τι έμαθες. Γιατί νόμιζες ότι θα δουλέψει. Τι συνέβη. Τι θα δοκιμάσεις μετά.
Φτιάξε ένα playbook. Με τον καιρό εμφανίζονται μοτίβα. Μαθαίνεις τι δουλεύει για το κοινό σου.
Αν κερδίσει η αρχική εκδοχή
Αν κερδίσει η αρχική εκδοχή, επανέφερε την αλλαγή.
Κατέγραψε γιατί κέρδισε η αρχική. Ίσως η υπόθεσή σου ήταν λάθος. Ίσως η αλλαγή δεν ήταν αρκετά αισθητή. Ίσως το κοινό σου δεν συμπάθησε την αλλαγή.
Μια δοκιμή που χάνει είναι κι αυτή μάθηση.
Συχνά λάθη στην πρώτη δοκιμή
Πολύ σύντομη δοκιμή
Μετά από μία εβδομάδα ανυπομονείς. Σταματάς. Τα αποτελέσματα δεν είναι ακόμη αληθινά.
Δοκιμή πολλών αλλαγών
Άλλαξες τη φόρμα, το κουμπί και το κείμενο. Κερδίζει η παραλλαγή, αλλά ήταν η φόρμα ή το κουμπί. Τώρα δεν ξέρεις.
Καμία απαίτηση σημαντικότητας
Η παραλλαγή είναι ένα τοις εκατό καλύτερη. Μπορεί να είναι τύχη. Την υλοποιείς. Αργότερα δεν αντέχει.
Δοκιμή σε όλους
Είσαι νευρικός με την αλλαγή. Δοκιμάζεις με ενενήντα τοις εκατό στην τωρινή και δέκα στη νέα. Η δοκιμή κρατά για πάντα.
Καμία δέσμευση για υλοποίηση
Η δοκιμή τελειώνει. Κερδίζει η παραλλαγή. Λες θα την υλοποιήσουμε αργότερα. Δεν το κάνεις ποτέ. Η δοκιμή δεν έδωσε καμία αξία.
Τι ξεχωρίζει τους νικητές από τους υπόλοιπους
Όχι πιο έξυπνες δοκιμές
Όχι πιο έξυπνες δοκιμές. Συνεπείς δοκιμές.
Το νικηφόρο μοτίβο
Οι εταιρείες που κερδίζουν τρέχουν μια δοκιμή. Έρχονται τα αποτελέσματα. Υλοποιούν αμέσως. Τρέχουν την επόμενη δοκιμή.
Δεσμεύονται σε ένα πρόγραμμα δοκιμών. Όχι μεμονωμένες δοκιμές. Συνεχείς δοκιμές. Μήνα με τον μήνα.
Χτίζουν εσωτερική γνώση. Μετά από πενήντα δοκιμές ξέρουν το κοινό τους. Ξέρουν τι δουλεύει. Ξέρουν τι δεν δουλεύει. Κινούνται πιο γρήγορα από τους ανταγωνιστές.
Σύνθετη ανάπτυξη
Δοκίμασε μία φορά, δεν αλλάζει τίποτα. Δοκίμασε πενήντα φορές, αλλάζουν όλα.
Συχνές ερωτήσεις
Τι κάνω αν ανακαλύψω ότι η δοκιμή χάλασε στη μέση. Για παράδειγμα, σταμάτησε να δουλεύει η καταγραφή. Να ξαναρχίσω;
Ναι. Μια χαλασμένη δοκιμή είναι άχρηστη. Ξεκίνα από την αρχή. Αν η καταγραφή είναι χαλασμένη, δεν έχεις πραγματικά δεδομένα. Γι' αυτό ελέγχεις τη δοκιμή κατά διαστήματα (όχι εμμονικά, αλλά τουλάχιστον μία φορά). Πιάσε νωρίς τη βλάβη. Με τον δημιουργό ιστοσελίδων του WEMASY, μπορείς να το στήσεις απευθείας στην ιστοσελίδα σου.
Μπορώ να αλλάξω την υπόθεση της δοκιμής ενώ τρέχει, αν προκύψει νέα πληροφορία;
Όχι. Γράψε την υπόθεση πριν ξεκινήσει η δοκιμή. Μείνε σε αυτήν. Αν η υπόθεση φαίνεται λάθος στη μέση, σημείωσέ το. Αλλά τελείωσε τη δοκιμή με την αρχική υπόθεση. Τρέξε αργότερα νέα δοκιμή με νέα υπόθεση.
Αν η παραλλαγή είναι ξεκάθαρα χειρότερη, μπορώ να σταματήσω νωρίς τη δοκιμή;
Μόνο αν χαλάει κάτι. Αν η παραλλαγή προκαλεί σφάλματα, σταμάτα. Αλλιώς όχι. Ακόμη κι αν χάνει με μεγάλη διαφορά, τρέξε ολόκληρη τη διάρκεια. Μάθε γιατί έχασε. Χρησιμοποίησε αυτή τη μάθηση.
Τι κάνω αν η στατιστική σημαντικότητα λέει όχι, αλλά πιστεύω ότι το αποτέλεσμα είναι αληθινό;
Τρέξε ξανά τη δοκιμή. Την ίδια αλλαγή. Αλλά με μεγαλύτερη διάρκεια ή περισσότερη επισκεψιμότητα. Αν το αποτέλεσμα είναι αληθινό, θα εμφανιστεί ξανά. Αν όχι, η διαίσθηση ήταν λάθος και τα μαθηματικά σωστά.
Πώς ξέρω ποια εκδοχή είναι η αρχική και ποια η παραλλαγή στα αποτελέσματα;
Το εργαλείο δοκιμών θα τις ονομάσει. Βεβαιώσου ότι ξέρεις ποια είναι ποια πριν ξεκινήσεις. Τράβηξε ένα στιγμιότυπο οθόνης. Η αρχική είναι η εκδοχή A. Η παραλλαγή είναι η εκδοχή B. Όταν έρθουν τα αποτελέσματα, κοίτα τις σημειώσεις σου.
Πρέπει να πω στον προϊστάμενό μου ότι τρέχω δοκιμές ή απλώς να δείξω τα αποτελέσματα;
Πες της. Θα καταλάβει ότι οι δοκιμές θέλουν χρόνο. Βάλε προσδοκίες. Η δοκιμή θέλει δύο εβδομάδες. Αν κερδίσει η παραλλαγή, θα την υλοποιήσουμε. Αν όχι, θα δοκιμάσουμε κάτι άλλο. Η διαφάνεια αποτρέπει την έκπληξη όταν δεν υλοποιήσεις μια αλλαγή που περίμενε.