Έχεις έναν τίτλο στη σελίδα προϊόντος. Νομίζεις ότι ένας διαφορετικός τίτλος μπορεί να μετατρέπει καλύτερα. Θα μπορούσες να μαντέψεις. Ή θα μπορούσες να δείξεις στους μισούς επισκέπτες τον παλιό τίτλο και στους άλλους μισούς τον νέο, να μετρήσεις το ποσοστό μετατροπής για καθέναν και να αφήσεις τα δεδομένα να αποφασίσουν. Αυτό είναι τα στατιστικά δοκιμών A/B.
Οι δοκιμές A/B χρησιμοποιούν δεδομένα για να συγκρίνουν παραλλαγές και να βρουν τον νικητή. Αυτό το άρθρο καλύπτει πώς δουλεύουν οι δοκιμές A/B, τι σημαίνει στατιστική σημαντικότητα, γιατί μετράει το μέγεθος του δείγματος, τα συνηθισμένα λάθη και πώς να διαλέγεις παραλλαγές που αξίζει να δοκιμάσεις.
Η δοκιμή A/B (λέγεται και split testing) συγκρίνει δύο εκδοχές κάποιου πράγματος για να δει ποια αποδίδει καλύτερα. Εκδοχή Α (ομάδα ελέγχου): ο τωρινός σου τίτλος. Εκδοχή Β (παραλλαγή): ένας διαφορετικός τίτλος. Μοιράζεις την επισκεψιμότητά σου 50/50, μετράς ποιος τίτλος μετατρέπει περισσότερο και ανακηρύσσεις νικητή.
Η δοκιμή A/B απαντά: αυτή η αλλαγή είναι πραγματικά καλύτερη ή η διαφορά είναι απλώς τύχη; Χωρίς δοκιμές, στηρίζεσαι στο ένστικτο. Με δοκιμές, στηρίζεσαι σε δεδομένα.
Τι είναι η δοκιμή A/B και τι απαντά
Η δοκιμή A/B συγκρίνει δύο εκδοχές και μετρά ποια αποδίδει καλύτερα σε μια συγκεκριμένη μετρική. Ποσοστό κλικ. Ποσοστό μετατροπής. Χρόνος στη σελίδα. Έσοδα ανά επισκέπτη. Τρέχεις τη δοκιμή μέχρι να έχεις αρκετά δεδομένα για να αποφασίσεις.
Μια δοκιμή A/B απαντά: η διαφορά ανάμεσα σε αυτές τις εκδοχές είναι πραγματική ή τυχαία; Αξίζει να κάνω αυτή την αλλαγή ή να δοκιμάσω κάτι άλλο; Η απάντηση βγαίνει από δεδομένα, όχι από γνώμη.
Πώς δουλεύει η στατιστική σημαντικότητα
Δοκιμάζεις δύο τίτλους. Ο τίτλος Α μετατρέπει 10 τοις εκατό (100 στους 1.000). Ο τίτλος Β μετατρέπει 10,5 τοις εκατό (105 στους 1.000). Ο τίτλος Β είναι καλύτερος. Η διαφορά όμως είναι πραγματική ή απλώς τυχαία διακύμανση;
Η στατιστική σημαντικότητα απαντά: αν δεν υπήρχε καμία διαφορά ανάμεσα σε αυτούς τους τίτλους, πόσο πιθανό είναι να δεις τόσο μεγάλη διαφορά απλώς από τύχη; Αν η πιθανότητα είναι πολύ χαμηλή (κάτω από 5 τοις εκατό), η διαφορά είναι στατιστικά σημαντική. Μπορείς να εμπιστευτείς ότι είναι πραγματική.
Αν η πιθανότητα είναι υψηλή (πάνω από 5 τοις εκατό), η διαφορά μπορεί να είναι τυχαία. Δεν πρέπει να δράσεις με βάση αυτήν.
Οι περισσότερες δοκιμές απαιτούν 95 τοις εκατό βεβαιότητα, δηλαδή να υπάρχει μόνο 5 τοις εκατό πιθανότητα η διαφορά να είναι τυχαία. Κάποιες δοκιμές απαιτούν 99 τοις εκατό βεβαιότητα (μόνο 1 τοις εκατό πιθανότητα τυχαιότητας).
Γιατί μετράει το μέγεθος του δείγματος στις δοκιμές
Δοκιμάζεις τον τίτλο Β σε 20 ανθρώπους και παίρνεις ποσοστό μετατροπής 20 τοις εκατό (4 μετατροπές). Ο τίτλος Α πήρε 10 τοις εκατό (2 μετατροπές). Ο τίτλος Β είναι καλύτερος, σωστά; Ίσως. Ή ίσως είναι τυχαία τύχη με τόσο μικρό δείγμα.
Δοκίμασε τους ίδιους τίτλους σε 10.000 ανθρώπους. Ο τίτλος Α παίρνει 1.000 μετατροπές στους 10.000 (10 τοις εκατό). Ο τίτλος Β παίρνει 950 μετατροπές στους 10.000 (9,5 τοις εκατό). Τώρα ο τίτλος Α είναι καλύτερος. Με μεγαλύτερο δείγμα η τυχαιότητα εξομαλύνεται και βγαίνουν τα πραγματικά μοτίβα.
Τα μεγαλύτερα δείγματα σου δίνουν περισσότερη βεβαιότητα για το αποτέλεσμα. Τα μικρότερα έχουν θόρυβο και δεν είναι αξιόπιστα.
Συνηθισμένα λάθη στις δοκιμές A/B
Να σταματάς τη δοκιμή πολύ νωρίς: Βλέπεις μια παραλλαγή να κερδίζει μετά από δύο μέρες. Ανακηρύσσεις νίκη και την ενεργοποιείς. Μετά από δύο εβδομάδες όμως το μοτίβο αντιστρέφεται και κερδίζει το πρωτότυπο. Τα πρώιμα δεδομένα ήταν τυχαία διακύμανση. Άφησε τη δοκιμή να τρέξει αρκετά (τουλάχιστον δύο εβδομάδες, ιδανικά τέσσερις).
Να τρέχεις πολλές δοκιμές ταυτόχρονα: Δοκιμάζεις τίτλο, χρώμα κουμπιού, μήκος φόρμας όλα μαζί. Μια παραλλαγή κερδίζει αλλά δεν ξέρεις ποιο στοιχείο το προκάλεσε. Δοκίμαζε ένα πράγμα τη φορά.
Να δοκιμάζεις ασήμαντες αλλαγές: Δοκιμάζεις χρώμα κουμπιού (μπλε και ελαφρώς πιο σκούρο μπλε). Η δοκιμή χρειάζεται 100.000 επισκέπτες για να δείξει στατιστικά σημαντική διαφορά. Δοκίμασε αλλαγές που μετράνε (τίτλο με διαφορετική πρόταση αξίας, όχι μπλε με ελαφρώς λιγότερο μπλε).
Να αγνοείς την εποχικότητα: Τρέχεις δοκιμή από τον Νοέμβριο ως τον Ιανουάριο. Η παραλλαγή σου κερδίζει. Ο Ιανουάριος όμως είναι αργή εποχή. Όταν την τρέξεις όλο τον χρόνο, χάνει. Τρέχε πάντα τις δοκιμές σε πολλές εποχές.
Να μπερδεύεις τη συσχέτιση με την αιτιότητα: Η εκδοχή Β κερδίζει. Υποθέτεις ότι η αλλαγή προκάλεσε τη νίκη. Την ίδια ώρα όμως ξεκίνησες και μια καμπάνια μάρκετινγκ. Η καμπάνια, όχι η παραλλαγή, προκάλεσε τη νίκη. Έλεγξε τους εξωτερικούς παράγοντες.
Πώς να διαλέξεις τι να δοκιμάσεις
Δοκίμασε αλλαγές με υψηλό πιθανό αντίκτυπο. Οι μικρές αλλαγές μπορεί να μην κάνουν διαφορά ακόμα κι αν κερδίσουν. Μια αλλαγή χρώματος κουμπιού μπορεί να αυξήσει τη μετατροπή κατά 0,5 τοις εκατό. Μια αλλαγή τίτλου μπορεί να την αυξήσει κατά 5 τοις εκατό. Δοκίμασε πρώτα τις μεγαλύτερες αλλαγές.
Δοκίμασε αλλαγές που ταιριάζουν με την υπόθεσή σου. Αν η υπόθεσή σου είναι «η μπερδεμένη φόρμα ολοκλήρωσης αγοράς προκαλεί απώλειες», δοκίμασε πιο απλή φόρμα. Μη δοκιμάζεις τυχαία χρώματα και θέσεις κουμπιών.
Δοκίμαζε αλλαγές μία τη φορά. Αν αλλάξεις ταυτόχρονα τίτλο, κείμενο κουμπιού και πεδία φόρμας, δεν μπορείς να πεις ποιο προκάλεσε τη βελτίωση.
Πώς να διαβάσεις τα αποτελέσματα μιας δοκιμής A/B
Το αποτέλεσμα δείχνει: Η εκδοχή Α είχε ποσοστό μετατροπής 10 τοις εκατό. Η εκδοχή Β είχε ποσοστό μετατροπής 11 τοις εκατό. Η Β είναι 10 τοις εκατό καλύτερη (σχετική βελτίωση). Το επίπεδο βεβαιότητας είναι 95 τοις εκατό, με p-value 0,03.
Τι σημαίνει αυτό: Η εκδοχή Β είναι καλύτερη. Είμαστε 95 τοις εκατό σίγουροι ότι η διαφορά είναι πραγματική και όχι τυχαία.
Αν το επίπεδο βεβαιότητας είναι 85 τοις εκατό (p-value 0,15), το αποτέλεσμα δεν είναι στατιστικά σημαντικό. Δεν πρέπει να ανακηρύξεις νικητή. Χρειάζονται περισσότερα δεδομένα.
Πότε να συνεχίσεις τις δοκιμές και πότε να σταματήσεις
Συνέχισε τις δοκιμές αν: το αποτέλεσμα δεν είναι στατιστικά σημαντικό και δεν έχεις φτάσει τον στόχο μεγέθους δείγματος ή αν έμαθες κάτι απροσδόκητο και θέλεις να σκάψεις βαθύτερα.
Σταμάτα τις δοκιμές αν: έφτασες στατιστική σημαντικότητα και μπορείς να ανακηρύξεις νικητή ή αν έτρεξες τη δοκιμή για τέσσερις εβδομάδες ή περισσότερο και τα αποτελέσματα δεν πλησιάζουν τη σημαντικότητα. Σε εκείνο το σημείο οι παραλλαγές είναι μάλλον εξίσου καλές.
Συχνές ερωτήσεις
Πόσους επισκέπτες χρειάζομαι για μια έγκυρη δοκιμή A/B;
Εξαρτάται από το βασικό σου ποσοστό μετατροπής και από το πόσο μεγάλη αλλαγή θέλεις να εντοπίσεις. Για μια μικρή ιστοσελίδα με 100 επισκέπτες την ημέρα, μπορεί να χρειαστείς δύο εβδομάδες για να φτάσεις στατιστική σημαντικότητα. Για μια μεγάλη ιστοσελίδα με 10.000 επισκέπτες την ημέρα, μπορεί να τη φτάσεις σε δύο μέρες. Χρησιμοποίησε υπολογιστή μεγέθους δείγματος (τα περισσότερα εργαλεία δοκιμών A/B έχουν ενσωματωμένο). Με τον δημιουργό ιστοσελίδων του WEMASY, μπορείς να το στήσεις απευθείας στην ιστοσελίδα σου.
Τι σημαίνει p-value 0,05;
Σημαίνει ότι υπάρχει 5 τοις εκατό πιθανότητα η διαφορά που βλέπεις να είναι τυχαία. Επίπεδο βεβαιότητας 95 τοις εκατό. Οι περισσότεροι χρησιμοποιούν το 0,05 ως όριο: αν το p-value είναι κάτω από 0,05, το αποτέλεσμα είναι στατιστικά σημαντικό.
Μπορώ να βλέπω αποτελέσματα κατά τη διάρκεια της δοκιμής και να σταματήσω νωρίς αν κερδίζει μια παραλλαγή;
Όχι. Αυτό λέγεται peeking και οδηγεί σε λάθος συμπεράσματα. Αν σταματήσεις νωρίς όταν προηγείται μια παραλλαγή, μπορεί να χάσεις τον πραγματικό νικητή. Άφησε πάντα τη δοκιμή να τρέξει για τη διάρκεια που σχεδίασες.
Τι γίνεται αν η δοκιμή μου έχει πολύ μεγάλη βελτίωση αλλά χαμηλή στατιστική σημαντικότητα;
Συνήθως σημαίνει ότι το δείγμα σου είναι πολύ μικρό. Έχεις ένα υποσχόμενο σήμα αλλά όχι αρκετά δεδομένα για να το επιβεβαιώσεις. Τρέξε τη δοκιμή περισσότερο ή φέρε περισσότερη επισκεψιμότητα.
Να δοκιμάζω ένα στοιχείο ή πολλά ταυτόχρονα;
Δοκίμαζε ένα στοιχείο τη φορά (οι πολυμεταβλητές δοκιμές είναι σύνθετες και συνήθως δεν αξίζουν, εκτός αν έχεις πολύ υψηλή επισκεψιμότητα). Η δοκιμή ενός πράγματος σου λέει τι προκάλεσε την αλλαγή.
Πόσες δοκιμές A/B να τρέχω ταυτόχρονα;
Γενικά μία τη φορά, ειδικά αν είσαι νέος στις δοκιμές. Όταν αποκτήσεις εμπειρία και έχεις υψηλή επισκεψιμότητα, μπορείς να τρέχεις πολλές δοκιμές σε διαφορετικές σελίδες ταυτόχρονα. Μην τρέχεις δύο δοκιμές στην ίδια σελίδα την ίδια ώρα.