Η διαφορά ανάμεσα σε έργο δοκιμών και κουλτούρα δοκιμών
Έργο δοκιμών
Τρέχεις μερικές δοκιμές. Βλέπεις τι δουλεύει. Προχωράς παρακάτω. Οι δοκιμές είναι ένα εργαλείο που το χρησιμοποιείς όταν χρειάζεται. Μετά σταματάς.
Κουλτούρα δοκιμών
Τρέχεις δοκιμές συνεχώς. Οι νικητές της μιας δοκιμής καθοδηγούν την επόμενη. Η γνώση συσσωρεύεται. Χρόνο με το χρόνο, οι δοκιμές αποδίδουν σαν σύνθετος τόκος.
Κάθε αλλαγή δοκιμάζεται. Κάθε απόφαση βασίζεται σε δεδομένα. Οι δοκιμές είναι ο τρόπος που παίρνεις αποφάσεις, όχι ένα έργο που τρέχεις πότε πότε.
Οι εταιρείες με κουλτούρα δοκιμών νικούν τους ανταγωνιστές που δεν έχουν. Όχι με μεγάλη διαφορά σε κάθε δοκιμή. Αλλά μέσα σε χρόνια, αυτό γίνεται τεράστιο πλεονέκτημα.
Πώς κερδίζεις τη στήριξη της διοίκησης
Το πρόβλημα
Τα περισσότερα προγράμματα δοκιμών αποτυγχάνουν επειδή η διοίκηση δεν καταλαβαίνει τις δοκιμές ή δεν δεσμεύεται σε αυτές.
Τι ακούει η διοίκηση
Όταν προτείνεις πρόγραμμα δοκιμών, η διοίκηση ακούει: αυτό θα πάρει χρόνο και θα κοστίσει χρήματα.
Τι χρειάζεται να ακούσει η διοίκηση
Δείξε τα χρήματα. Τρέξε μία δοκιμή. Απόδειξε ότι δουλεύει. Υπολόγισε την επίδραση στα έσοδα. Αυτή η δοκιμή βελτίωσε τη μετατροπή κατά δύο τοις εκατό. Αυτό φέρνει πενήντα χιλιάδες δολάρια επιπλέον ετήσια έσοδα. Το εργαλείο δοκιμών κοστίζει δώδεκα χιλιάδες. Καθαρό όφελος τριάντα οκτώ χιλιάδες.
Τώρα η διοίκηση βλέπει τις δοκιμές ως επένδυση, όχι ως κόστος.
Φτιάχνοντας τον χάρτη πορείας των δοκιμών
Μην τρέχεις τυχαίες δοκιμές
Σχεδίασε έναν χάρτη πορείας δοκιμών. Ο χάρτης εντοπίζει τις περιοχές με μεγάλη επίδραση. Φόρμες. Τίτλους. Προσφορές. Ταμείο πληρωμής. Κάθε περιοχή παίρνει προτεραιότητα στις δοκιμές.
Σειρά ανά επίδραση
Ο χάρτης βάζει τις δοκιμές σε σειρά. Δοκίμασε πρώτα ό,τι έχει μεγάλη επίδραση. Δεύτερα ό,τι έχει μέτρια. Αργότερα ό,τι έχει μικρή.
Δέσμευση της ομάδας
Ο χάρτης δεσμεύει τις ομάδες στις δοκιμές. Οι σχεδιαστές ξέρουν ότι δοκιμάζουν σχέδια κουμπιών. Η ομάδα προϊόντος ξέρει ότι δοκιμάζει την προσφορά. Όλοι ξέρουν τι έρχεται.
Φτιάξε τριμηνιαίο χάρτη πορείας. Ενημέρωσέ τον κάθε μήνα με βάση τα αποτελέσματα. Ο τριμηνιαίος προγραμματισμός κρατά την ομάδα συγκεντρωμένη.
Ανάθεση ευθύνης και λογοδοσίας
Το πρόβλημα
Οι δοκιμές αποτυγχάνουν όταν κανείς δεν τις έχει στην ευθύνη του. Το μάρκετινγκ λέει ότι ευθύνεται το προϊόν. Το προϊόν λέει ότι ευθύνεται η μηχανική. Οι δοκιμές δεν γίνονται ποτέ.
Η λύση
Όρισε έναν υπεύθυνο δοκιμών. Μπορεί να είναι ο υπεύθυνος ανάπτυξης (growth manager). Μπορεί να είναι ο υπεύθυνος προϊόντος. Ένα άτομο λογοδοτεί για το πρόγραμμα δοκιμών.
Ο υπεύθυνος δοκιμών ορίζει τον χάρτη πορείας. Τρέχει τις δοκιμές. Καταγράφει τα αποτελέσματα. Μοιράζεται τη γνώση. Συντονίζει τις ομάδες. Χωρίς υπεύθυνο, οι δοκιμές κολλάνε.
Εκπαίδευση των ομάδων στη στατιστική σκέψη
Το πρόβλημα
Οι περισσότεροι άνθρωποι δεν έχουν εκπαιδευτεί στη στατιστική. Κοιτάζουν τους αριθμούς και κρίνουν διαισθητικά.
Η παραλλαγή είναι 9%. Ο μάρτυρας (control) είναι 8,8%. Φαίνεται ότι κέρδισε η παραλλαγή. Όποιος δεν είναι στατιστικός νομίζει ότι η παραλλαγή είναι καλύτερη.
Ο στατιστικός ελέγχει το επίπεδο εμπιστοσύνης. 82%. Κάτω από το όριο του 95%. Δεν είναι σημαντικό. Η διαφορά μπορεί να είναι τύχη.
Η λύση
Η εκπαίδευση των ομάδων στα βασικά της στατιστικής αποτρέπει λάθος αποφάσεις. Θέματα εκπαίδευσης: τι είναι η στατιστική σημαντικότητα. Γιατί μετράει το 95%. Πώς διαβάζεται ένα διάστημα εμπιστοσύνης. Τι σημαίνει το μέγεθος δείγματος.
Ένα καλό πρόγραμμα δοκιμών εκπαιδεύει την ομάδα στη στατιστική.
Κοινή γνώση και τεκμηρίωση
Γιατί μετράει η τεκμηρίωση
Κάθε δοκιμή διδάσκει κάτι. Η γνώση χάνεται αν δεν καταγραφεί.
Πώς τεκμηριώνεις
Φτιάξε ένα αρχείο δοκιμών. Κάθε δοκιμή παίρνει μια σελίδα. Υπόθεση. Αποτελέσματα. Συμπέρασμα.
Μετά από πενήντα δοκιμές έχεις πενήντα σελίδες γνώσης. Ένα νέο μέλος της ομάδας διαβάζει πενήντα σελίδες και καταλαβαίνει τι δουλεύει για το κοινό σου.
Καλή τεκμηρίωση: υπόθεση, αποτελέσματα, συμπέρασμα, τι να δοκιμάσεις μετά.
Κακή τεκμηρίωση: η πρώτη δοκιμή κέρδισε, η δεύτερη έχασε. Κανένα συμπέρασμα.
Οι δοκιμές ως μέρος της διαδικασίας
Οι προαιρετικές δοκιμές αποτυγχάνουν
Αν οι δοκιμές είναι προαιρετικές, σταματούν όταν υπάρχει φόρτος. Οι ομάδες τις βάζουν χαμηλά στις προτεραιότητες μπροστά σε επείγοντα έργα.
Οι υποχρεωτικές δοκιμές αντέχουν
Κάνε τις δοκιμές υποχρεωτικές. Κάθε αλλαγή περνά από τη διαδικασία δοκιμών. Αλλαγή χωρίς δοκιμή δεν εγκρίνεται.
Αυτό απαιτεί αλλαγή στη διαδικασία. Εξασφαλίζει όμως ότι οι δοκιμές γίνονται με συνέπεια.
Παράδειγμα διαδικασίας
Ένα: Πρότεινε την αλλαγή με μια υπόθεση. Δύο: Πάρε έγκριση για να δοκιμάσεις. Τρία: Τρέξε τη δοκιμή για δύο εβδομάδες. Τέσσερα: Ο υπεύθυνος δοκιμών εγκρίνει τα αποτελέσματα. Πέντε: Αν είναι σημαντικά, εφάρμοσε την αλλαγή. Έξι: Κατάγραψε τη γνώση. Επτά: Σχεδίασε την επόμενη δοκιμή.
Γιορτάζοντας και κοινοποιώντας τις νίκες
Το πρόβλημα
Το πρόγραμμα δοκιμών πεθαίνει αν οι νίκες μένουν στη σιωπή.
Η λύση
Γιόρτασε τις νίκες. Μοιράσου τα αποτελέσματα. Δείξε την επίδραση. Μηνιαίο email: "Το πρόγραμμα δοκιμών μας βελτίωσε τη μετατροπή κατά επτά τοις εκατό αυτό το τρίμηνο. Εδώ είναι πέντε δοκιμές που έκαναν τη διαφορά. Ευχαριστούμε τις ομάδες που τις υλοποίησαν."
Ο εορτασμός δημιουργεί δυναμική. Δημιουργεί κουλτούρα. Δημιουργεί πίστη ότι οι δοκιμές δουλεύουν.
Η πολιτική των δοκιμών
Η σύγκρουση
Κάποιος προτείνει μια αλλαγή. Η δοκιμή δείχνει ότι η αλλαγή δεν είναι καλή ιδέα. Αυτός που την πρότεινε απογοητεύεται. Οι δοκιμές δημιουργούν σύγκρουση όταν τα αποτελέσματα διαφωνούν με τις υποθέσεις.
Η λύση
Παρουσίασε τις δοκιμές ως εργαλείο μάθησης. Όχι ως τρόπο να αποδείξεις ότι κάποιοι έκαναν λάθος. Παρουσίασέ τες ως "ας δοκιμάσουμε και ας μάθουμε μαζί".
Όταν η δοκιμή δείχνει ότι κάποιος έκανε λάθος, πες "μάθαμε κάτι". Δες το ως νίκη, όχι ως ήττα. Οι άνθρωποι αμύνονται αν οι δοκιμές φαίνονται απειλή. Στηρίζουν τις δοκιμές αν τις βλέπουν ως μάθηση.
Διαχείριση του ρυθμού των δοκιμών
Επιθετική προσέγγιση
Τρέχεις δέκα δοκιμές τον μήνα. Ολοκληρώνεις κάθε δοκιμή σε μία εβδομάδα. Γρήγορη μάθηση. Μεγαλύτερη πιθανότητα για ψευδώς θετικά. Μεγαλύτερο ποσοστό σφαλμάτων.
Συντηρητική προσέγγιση
Τρέχεις τρεις δοκιμές τον μήνα. Ολοκληρώνεις κάθε δοκιμή σε δύο με τρεις εβδομάδες. Πιο αργή μάθηση. Μικρότερο ποσοστό σφαλμάτων. Πιο ασφαλές.
Ισορροπημένη προσέγγιση
Οι περισσότερες εταιρείες πρέπει να ισορροπούν. Πέντε με έξι δοκιμές τον μήνα. Διάρκεια δύο εβδομάδων. Λογικό ποσοστό σφαλμάτων. Λογική ταχύτητα μάθησης. Μην θυσιάζεις την ποιότητα για την ταχύτητα. Μία δοκιμή υψηλής ποιότητας νικά δέκα χαμηλής ποιότητας.
Κατανοώντας τα φθίνοντα οφέλη
Το μοτίβο
Οι πρώτες είκοσι δοκιμές κάνουν τη διαφορά. Κάθε δοκιμή βελτιώνει κάτι. Ο χάρτης πορείας είναι γεμάτος ευκαιρίες με μεγάλη επίδραση.
Οι δοκιμές από την εικοστή ως την τεσσαρακοστή κάνουν μικρότερη διαφορά. Μαθαίνεις ακόμη, αλλά οι βελτιώσεις είναι μικρότερες. Λιγότερες προφανείς ευκαιρίες.
Από την τεσσαρακοστή δοκιμή και μετά: οι ευκαιρίες είναι μικρές. Οι βελτιώσεις είναι μικροσκοπικές. Αυτό είναι φυσιολογικό.
Η λύση
Μην ερμηνεύεις τα φθίνοντα οφέλη ως αποτυχία των δοκιμών. Ερμήνευσέ τα ως ωριμότητα. Στη φάση των φθινόντων οφελών, άλλαξε εστίαση. Αντί για ευρείες δοκιμές, τρέξε δοκιμές σε νέες περιοχές. Νέα προϊόντα. Νέα τμήματα κοινού. Νέες αγορές.
Βιωσιμότητα του προγράμματος δοκιμών μακροπρόθεσμα
Ο κίνδυνος
Το πρόγραμμα δοκιμών τρέχει δυνατά για έξι μήνες. Μετά επιβραδύνεται. Οι άνθρωποι αποκτούν φόρτο. Οι δοκιμές χάνουν προτεραιότητα. Το πρόγραμμα σβήνει.
Πώς το κρατάς ζωντανό
Ένα βιώσιμο πρόγραμμα απαιτεί συνεχή δέσμευση. Απαιτεί πόρους. Απαιτεί υπευθυνότητα. Προϋπολόγισε εργαλεία δοκιμών. Προϋπολόγισε ένα άτομο για τις δοκιμές. Βάλε τις δοκιμές στους ετήσιους στόχους.
Αν οι δοκιμές είναι ετήσια προτεραιότητα, γίνονται. Αν είναι απλώς ευχάριστο έξτρα, σταματούν.
Συχνές ερωτήσεις
Πώς πείθω τα σκεπτικιστικά μέλη της ομάδας ότι οι δοκιμές δουλεύουν;
Δείξε τους μία δοκιμή. Τρέξε μια απλή δοκιμή σε ένα στοιχείο με πολλή επισκεψιμότητα. Πάρε αποτελέσματα. Δείξε τη βελτίωση που κέρδισε. Δείξε την επίδραση στα έσοδα. Μία επιτυχημένη δοκιμή πείθει τους σκεπτικιστές. Τα αποτελέσματα μιλούν πιο δυνατά από τα λόγια. Παράδειγμα: τρέξε δοκιμή χρώματος κουμπιού. Δείξε τα αποτελέσματα: το μπλε κουμπί 9% μετατροπή, το κόκκινο κουμπί 8,5% μετατροπή. Βελτίωση 8%. Υπολόγισε την επίδραση: αν η ιστοσελίδα έχει δέκα χιλιάδες επισκέπτες τον μήνα και το δύο τοις εκατό μετατρέπεται, αυτό είναι διακόσιες μετατροπές τον μήνα. Βελτίωση 8% σημαίνει δεκαέξι επιπλέον μετατροπές τον μήνα. Αν η μέση αξία παραγγελίας είναι εκατό δολάρια, αυτό είναι χίλια εξακόσια δολάρια επιπλέον έσοδα τον μήνα. Δεκαεννέα χιλιάδες δολάρια τον χρόνο. Δείξε το στον σκεπτικιστή συνάδελφο. Ο σκεπτικισμός εξαφανίζεται όταν μπαίνουν στη μέση χρήματα. Με τον δημιουργό ιστοσελίδων του WEMASY μπορείς να το στήσεις απευθείας στην ιστοσελίδα σου.
Αν έχουμε φόρτο με έργα, να αναβάλουμε τις δοκιμές;
Όχι. Οι δοκιμές πρέπει να είναι μέρος της παράδοσης του έργου. Κάθε αλλαγή έργου δοκιμάζεται πριν εφαρμοστεί. Οι δοκιμές δεν προσθέτουν χρόνο αν είναι ενσωματωμένες στη διαδικασία. Αποτρέπουν την εφαρμογή πραγμάτων που δεν δουλεύουν. Παράδειγμα: βγάζεις νέα ροή ταμείου πληρωμής. Χωρίς δοκιμή: εφαρμόζεις, ανεβάζεις, ανακαλύπτεις ότι ενενήντα τοις εκατό των επισκεπτών μπερδεύονται με τη νέα ροή, την αναιρείς, τη διορθώνεις, την ανεβάζεις ξανά. Τρεις εβδομάδες συνολικά. Με δοκιμή: δοκιμάζεις τη νέα ροή για μία εβδομάδα πριν την κυκλοφορία, ανακαλύπτεις τα προβλήματα, τα διορθώνεις, κυκλοφορείς μια ροή με σιγουριά. Δύο εβδομάδες συνολικά. Οι δοκιμές εξοικονομούν χρόνο γιατί αποτρέπουν κακές κυκλοφορίες. Βάλε τις δοκιμές στο χρονοδιάγραμμα από την αρχή, όχι ως δεύτερη σκέψη.
Πόσο συχνά πρέπει να ξαναβλέπουμε παλιά αποτελέσματα δοκιμών;
Ξαναδές τα όταν αλλάζουν οι συνθήκες. Νέα εποχή. Νέος ανταγωνιστής. Μεγάλη αλλαγή στην επιχείρηση. Κατά τα άλλα, κάθε αποτέλεσμα δοκιμής ισχύει για την περίοδό του. Δεν χρειάζεται να δοκιμάζεις ξανά συνεχώς. Παράδειγμα: δοκίμασες μια προσφορά τον Ιανουάριο. Η εγγύηση επιστροφής χρημάτων νίκησε την έκπτωση δέκα τοις εκατό. Εφάρμοσες την εγγύηση επιστροφής χρημάτων. Έρχεται ο Ιούλιος και ένας ανταγωνιστής κυκλοφορεί εγγύηση επιστροφής χρημάτων. Το πλεονέκτημά σου εξαφανίζεται. Πρέπει να ξαναδοκιμάσεις την προσφορά; Ίσως. Η κίνηση του ανταγωνιστή άλλαξε την αγορά. Ο νικητής σου μπορεί να μην ισχύει πια. Εποχικές επανεξετάσεις: δοκίμασε προσφορές την εποχή της Black Friday. Τα αποτελέσματα μπορεί να είναι διαφορετικά τον Ιούλιο, όταν η αγοραστική συμπεριφορά είναι άλλη. Ξαναδοκίμασε τις προσφορές τον Ιούλιο. Τα αποτελέσματα καθοδηγούν τη στρατηγική του Ιουλίου.
Να δοκιμάζουμε για τον μέσο επισκέπτη ή για ένα συγκεκριμένο τμήμα κοινού;
Ξεκίνα με τον μέσο επισκέπτη. Πάρε μια βάση. Μετά πήγαινε σε συγκεκριμένο τμήμα. Αν βελτιστοποιείς μόνο για ένα τμήμα, η συνολική απόδοση υποφέρει. Παράδειγμα: δοκιμάζεις βελτιστοποίηση μόνο στο κινητό επειδή η επισκεψιμότητα από κινητό είναι η μεγαλύτερη. Η βάση για υπολογιστή είναι 10%. Η βάση για κινητό είναι 7%. Βελτιστοποιείς για κινητό και το κινητό ανεβαίνει κατά 8%. Όμως η βάση του υπολογιστή πέφτει στο 9%, γιατί οι αλλαγές δεν δουλεύουν στον υπολογιστή. Κέρδισες στο κινητό αλλά έβλαψες τον υπολογιστή. Συνολικά έχασες έδαφος. Δοκίμασε πρώτα ευρέως για να καταλάβεις τη γενική επίδραση. Μετά δοκίμασε τμήματα κοινού για να βελτιστοποιήσεις ανά τμήμα.
Πώς κρατάμε τη δυναμική αν οι δοκιμές χάνουν συνέχεια;
Οι δοκιμές που χάνουν σου δείχνουν τι δεν δουλεύει. Πολύτιμα δεδομένα. Οι νικητές θα έρθουν. Συνέχισε να δοκιμάζεις. Χτίσε πάνω σε ό,τι έμαθες από τις απώλειες. Παράδειγμα: δοκιμάζεις πέντε τίτλους. Οι τρεις χάνουν από τον τρέχοντα τίτλο. Οι δύο κερδίζουν. Οι νίκες σου λένε τι δουλεύει. Οι ήττες σου λένε σε τι δεν ανταποκρίνεται το κοινό. Τώρα ξέρεις ότι το μήνυμα "επείγον" χάνει (στους ανθρώπους δεν αρέσει η πίεση). Ξέρεις ότι το μήνυμα με "συγκεκριμένο όφελος" κερδίζει (στους ανθρώπους αρέσει η σαφήνεια). Η επόμενη δοκιμή χτίζεται πάνω σε αυτό. Δοκίμασε ακόμη πιο συγκεκριμένα οφέλη. Οι δοκιμές αθροίζονται. Οι δοκιμές που χάνουν δεν είναι αποτυχίες. Είναι σημεία δεδομένων.
Αν οι δοκιμές δείξουν ότι όλη μας η προσέγγιση είναι λάθος, τι κάνουμε;
Γιόρτασε. Έμαθες κάτι πολύτιμο. Τώρα άλλαξε κατεύθυνση. Καλύτερα να το μάθεις από τις δοκιμές παρά από σιωπηλή απώλεια εσόδων. Παράδειγμα: νομίζεις ότι το κοινό σου θέλει premium προϊόν. Η δοκιμή δείχνει ότι το κοινό προτιμά την οικονομική επιλογή. Η premium τοποθέτησή σου ήταν λάθος. Στιγμή για γιορτή: μόλις έμαθες κάτι που θα σου κόστιζε χρήματα για χρόνια αν δεν είχες δοκιμάσει. Τώρα προσάρμοσε τη στρατηγική. Άλλαξε το μήνυμα σε οικονομικό. Δοκίμασε τη νέα τοποθέτηση. Καλύτερα να το ανακαλύψεις με απώλεια εσόδων πενήντα χιλιάδων δολαρίων παρά με απώλεια πέντε εκατομμυρίων δολαρίων.