Νομίζεις ότι το κουμπί πρόσκλησης για δράση πρέπει να είναι μεγαλύτερο. Ο συνάδελφός σου νομίζει ότι πρέπει να είναι κόκκινο. Ο σχεδιαστής σου νομίζει ότι το κείμενο είναι πολύ μεγάλο. Όλοι έχετε απόψεις. Οι απόψεις όμως δεν αυξάνουν τις μετατροπές. Οι δοκιμές τις αυξάνουν. Η δοκιμή A/B σου επιτρέπει να απαντάς σε αυτά τα ερωτήματα με δεδομένα αντί για διαφωνία. Φτιάξε την εκδοχή Α με το τρέχον κουμπί. Φτιάξε την εκδοχή Β με το μεγαλύτερο κουμπί. Τρέξε και τις δύο. Μέτρησε ποια μετατρέπει καλύτερα. Μία κερδίζει. Εφαρμόζεις τον νικητή. Χωρίς διαφωνία. Χωρίς εικασίες. Μόνο αποτελέσματα. Η δοκιμή A/B είναι ισχυρή αλλά περιορισμένη. Δοκιμάζεις μία αλλαγή τη φορά. Τι γίνεται αν θέλεις να δοκιμάσεις ταυτόχρονα μέγεθος, χρώμα και κείμενο κουμπιού; Οι πολυμεταβλητές δοκιμές σου το επιτρέπουν. Δοκιμάζεις οκτώ συνδυασμούς ταυτόχρονα αντί για τρεις ξεχωριστές δοκιμές A/B. Μαθαίνεις πιο γρήγορα. Βελτιστοποιείς περισσότερο. Εδώ θα δεις τις δοκιμές A/B και τις πολυμεταβλητές δοκιμές και πότε να χρησιμοποιείς καθεμία.
Τι είναι η δοκιμή A/B;
Η δοκιμή A/B είναι η απλούστερη μορφή δοκιμής. Φτιάχνεις δύο εκδοχές μιας σελίδας ή ενός στοιχείου. Η εκδοχή Α είναι ο μάρτυρας (control). Η εκδοχή Β είναι η δοκιμή σου. Στέλνεις τυχαία τους επισκέπτες σε κάθε εκδοχή. Μετράς ποια μετατρέπει καλύτερα. Κερδίζει αυτή με το υψηλότερο ποσοστό μετατροπής. Η δοκιμή A/B λέγεται και split testing, επειδή χωρίζεις την επισκεψιμότητα ανάμεσα σε δύο εκδοχές. Η δοκιμή A/B περιορίζεται σε μία αλλαγή τη φορά. Δοκιμάζεις το χρώμα του κουμπιού σε μία δοκιμή. Το μέγεθος σε άλλη. Το κείμενο σε άλλη. Είναι όμως ισχυρή επειδή τα αποτελέσματα είναι σαφή. Η εκδοχή Β ή κερδίζει ή όχι.
Η διαδικασία της δοκιμής A/B
Ξεκίνα με μια υπόθεση. Η υπόθεσή μου είναι ότι ένα μεγαλύτερο κουμπί μετατρέπει καλύτερα από το τρέχον. Σχεδίασε τη δοκιμή. Φτιάξε την εκδοχή Β με μεγαλύτερο κουμπί. Στήσε τη δοκιμή στην πλατφόρμα δοκιμών σου. Όρισε τον δείκτη επιτυχίας. Επιτυχία είναι το υψηλότερο ποσοστό μετατροπής. Τρέξε τη δοκιμή. Στείλε επισκεψιμότητα και στις δύο εκδοχές. Συγκέντρωσε δεδομένα. Τρέξε τη δοκιμή μέχρι να έχεις στατιστική σημαντικότητα. Συνήθως εκατό μετατροπές σε κάθε εκδοχή. Ανάλυσε τα αποτελέσματα. Είναι η εκδοχή Β στατιστικά σημαντικά καλύτερη; Αν ναι, εφάρμοσέ την. Αν όχι, κράτα το πρωτότυπο.
Η στατιστική σημαντικότητα μετράει
Χρειάζεσαι αρκετά δεδομένα για να έχουν νόημα τα αποτελέσματα. Αν τρέξεις μια δοκιμή για μία ημέρα με δέκα συνολικές μετατροπές, τα αποτελέσματα δεν έχουν νόημα. Η τυχαία διακύμανση είναι πολύ μεγάλη. Αν τρέξεις μια δοκιμή με χίλιες μετατροπές, τα αποτελέσματα έχουν νόημα. Η τυχαία διακύμανση είναι χαμηλή. Οι περισσότερες πλατφόρμες δοκιμών σου λένε πότε έχεις στατιστική σημαντικότητα. Μη σταματάς μια δοκιμή νωρίς μόνο επειδή βλέπεις νικητή. Περίμενε τη στατιστική σημαντικότητα.
Τι είναι η πολυμεταβλητή δοκιμή;
Η πολυμεταβλητή δοκιμή (MVT) δοκιμάζει πολλές αλλαγές ταυτόχρονα. Αντί να δοκιμάσεις ξεχωριστά το χρώμα και το μέγεθος του κουμπιού, δοκιμάζεις όλους τους συνδυασμούς μαζί. Οι συνδυασμοί μπορεί να είναι: κόκκινο μεγάλο, κόκκινο μικρό, μπλε μεγάλο, μπλε μικρό. Δοκιμάζεις τέσσερις παραλλαγές ταυτόχρονα. Η επισκεψιμότητα χωρίζεται σε τέσσερα. Μαθαίνεις ποιος συνδυασμός μετατρέπει καλύτερα. Η MVT είναι πιο αποδοτική από ξεχωριστές δοκιμές A/B όταν έχεις αρκετή επισκεψιμότητα.
A/B ή MVT: πότε να χρησιμοποιείς καθεμία
Χρησιμοποίησε δοκιμή A/B όταν έχεις χαμηλή επισκεψιμότητα. Με χαμηλή επισκεψιμότητα, πρέπει να συγκεντρώσεις το δείγμα σε λιγότερες παραλλαγές για να φτάσεις σε στατιστική σημαντικότητα. Χρησιμοποίησε δοκιμή A/B όταν θέλεις σαφή, απομονωμένα αποτελέσματα. Θέλεις να ξέρεις αν το κόκκινο μετατρέπει καλύτερα από το μπλε, τίποτα άλλο. Χρησιμοποίησε MVT όταν έχεις υψηλή επισκεψιμότητα. Μπορείς να αντέξεις να χωρίσεις την επισκεψιμότητα σε πολλές παραλλαγές. Χρησιμοποίησε MVT όταν υποψιάζεσαι ότι τα στοιχεία αλληλεπιδρούν. Το χρώμα του κουμπιού μπορεί να αλληλεπιδρά με το μέγεθος. Η δοκιμή συνδυασμών δείχνει αυτές τις αλληλεπιδράσεις.
Δοκιμές πέρα από το προφανές
Οι περισσότεροι δοκιμάζουν προφανή πράγματα. Χρώμα κουμπιού. Μέγεθος κουμπιού. Μήκος φόρμας. Αυτές οι δοκιμές μετράνε. Δοκίμασε όμως και λιγότερο προφανή πράγματα. Τη συγκεκριμένη διατύπωση του τίτλου. Τη θέση της κοινωνικής απόδειξης. Την ταχύτητα φόρτωσης. Τα σήματα εμπιστοσύνης. Την αντίθεση χρωμάτων. Τον λευκό χώρο. Την τυπογραφία. Οι μικρές αλλαγές πολλαπλασιάζονται. Βρες μικρές βελτιώσεις σε πολλά στοιχεία και αθροίζονται.
Διαδοχικές και ταυτόχρονες δοκιμές
Η διαδοχική δοκιμή τρέχει μία δοκιμή, εφαρμόζει τον νικητή και τρέχει την επόμενη. Είναι πιο αργή αλλά σαφής. Κάθε δοκιμή χτίζεται πάνω στην προηγούμενη νίκη. Η ταυτόχρονη δοκιμή τρέχει πολλές δοκιμές την ίδια στιγμή. Είναι πιο γρήγορη αλλά πιο σύνθετη. Μαθαίνεις πιο γρήγορα αλλά έχεις περισσότερες δοκιμές να διαχειριστείς.
Συχνές ερωτήσεις
Πόση επισκεψιμότητα χρειάζομαι για να τρέξω δοκιμή A/B;
Χρειάζεσαι αρκετή επισκεψιμότητα για να φτάσεις σε στατιστική σημαντικότητα. Οι περισσότερες δοκιμές θέλουν εκατό μετατροπές ανά παραλλαγή. Αν το ποσοστό μετατροπής σου είναι ένα τοις εκατό, χρειάζεσαι δέκα χιλιάδες επισκέπτες ανά παραλλαγή. Αν είναι δέκα τοις εκατό, χρειάζεσαι χίλιους επισκέπτες. Η επισκεψιμότητα που χρειάζεσαι εξαρτάται από το ποσοστό μετατροπής σου. Τα χαμηλότερα ποσοστά μετατροπής θέλουν περισσότερη επισκεψιμότητα. Με τον δημιουργό ιστοσελίδων του WEMASY μπορείς να το στήσεις απευθείας στην ιστοσελίδα σου.
Μπορώ να τρέχω πολλές δοκιμές A/B ταυτόχρονα;
Ναι, αν έχεις αρκετή επισκεψιμότητα. Η δοκιμή επισκεψιμότητας στη σελίδα Α και στη σελίδα Β ταυτόχρονα είναι εντάξει. Δεν επηρεάζουν η μία την άλλη. Η δοκιμή της παραλλαγής ένα και της παραλλαγής δύο στην ίδια σελίδα ταυτόχρονα μπορεί να επηρεάσει τα αποτελέσματα. Ο ίδιος επισκέπτης δεν πρέπει να βλέπει και τις δύο παραλλαγές. Χρησιμοποίησε την πλατφόρμα δοκιμών σου για να το αποτρέψεις.
Τι γίνεται αν η δοκιμή δείχνει καμία διαφορά ανάμεσα στις παραλλαγές;
Η απουσία διαφοράς είναι κι αυτή δεδομένο. Σου λέει ότι η αλλαγή που δοκίμασες δεν επηρεάζει σημαντικά τη μετατροπή. Μπορείς να κρατήσεις το πρωτότυπο ή να εφαρμόσεις την εκδοχή Β αν είναι φθηνότερη ή πιο εύκολη. Πήγαινε στην επόμενη υπόθεση. Δεν έχουν νικητή όλες οι δοκιμές.
Να δοκιμάζω τα στοιχεία ξεχωριστά ή μαζί;
Ξεκίνα δοκιμάζοντας τα στοιχεία ξεχωριστά. Η απομόνωση των αλλαγών κάνει τα αποτελέσματα σαφή. Αφού βελτιστοποιήσεις τα μεμονωμένα στοιχεία, δοκίμασε συνδυασμούς. Μπορεί να ανακαλύψεις ότι το στοιχείο Α και το στοιχείο Β μαζί δουλεύουν καλύτερα από το Α μόνο του ή το Β μόνο του.
Πόσο συχνά πρέπει να τρέχω δοκιμές;
Συνεχώς. Η βελτιστοποίηση μετατροπών είναι διαρκής. Μην τρέξεις δέκα δοκιμές και μετά να σταματήσεις. Τρέξε μία δοκιμή μετά την άλλη. Κάθε δοκιμή σε διδάσκει κάτι. Μετά από εκατό δοκιμές, το ποσοστό μετατροπής σου μπορεί να είναι σημαντικά υψηλότερο. Αυτό παίρνει χρόνο αλλά πολλαπλασιάζεται.
Ποια είναι μια ρεαλιστική βελτίωση μετατροπής από δοκιμές;
Μια καλή δοκιμή A/B μπορεί να βελτιώσει τη μετατροπή κατά πέντε έως δέκα τοις εκατό. Μια εξαιρετική δοκιμή μπορεί να τη βελτιώσει κατά είκοσι τοις εκατό. Αυτές οι βελτιώσεις είναι πραγματικές και σημαντικές όταν πολλαπλασιάζονται. Τρέξε πενήντα νικητήριες δοκιμές με μέσες βελτιώσεις πέντε τοις εκατό και τα κέρδη πολλαπλασιάζονται: το ποσοστό μετατροπής σου καταλήγει περίπου έντεκα φορές υψηλότερο, αύξηση άνω των χιλίων τοις εκατό. Δεν κερδίζει κάθε δοκιμή, οπότε τα πραγματικά αποτελέσματα είναι μικρότερα.