Η απόδοση σού λέει ποιο κανάλι παίρνει τα εύσημα για μια μετατροπή. Φέρνει όμως το κανάλι πραγματικά τη μετατροπή ή θα γινόταν έτσι κι αλλιώς; Οι δοκιμές incrementality (αυξητικής αξίας) απαντούν σε αυτό με πειράματα: εκθέτεις μερικούς χρήστες στο κανάλι (ομάδα δοκιμής), δεν εκθέτεις άλλους (ομάδα ελέγχου) και μετράς τη διαφορά στα ποσοστά μετατροπής. Η διαφορά είναι η πραγματική αυξητική επίδραση. Αυτό το κεφάλαιο εξηγεί τις δοκιμές incrementality και πότε να τις χρησιμοποιείς.
Απόδοση και incrementality
Απόδοση: από τα άτομα που μετατράπηκαν, ποιο κανάλι τα άγγιξε τελευταίο; Απλό στη μέτρηση, αλλά δεν αποδεικνύει αιτιότητα.
Incrementality: αν αφαιρέσουμε εντελώς αυτό το κανάλι, πόσα έσοδα θα χάσουμε; Αυτό αποδεικνύει αιτιότητα και μετράει την πραγματική επίδραση.
Παράδειγμα: 100 άτομα μετατράπηκαν. Με τελευταίο κλικ, το Google Ads παίρνει τα εύσημα για 60. Η δοκιμή incrementality όμως δείχνει: αν δεν τρέχαμε Google Ads, τα 50 από αυτά τα 60 θα είχαν μετατραπεί έτσι κι αλλιώς (μέσω άλλων καναλιών). Η πραγματική incrementality του Google Ads = 10 μετατροπές, όχι 60.
Τύποι δοκιμών incrementality
Δοκιμές με βάση τη γεωγραφία
Τρέξε διαφημίσεις σε κάποιες περιοχές (δοκιμή), όχι σε άλλες (έλεγχος). Σύγκρινε τα ποσοστά μετατροπής. Παράδειγμα: τρέξε Google Ads στο Σαν Φρανσίσκο (δοκιμή), όχι στο Μπέρκλεϊ (έλεγχος). Αν το Σαν Φρανσίσκο έχει υψηλότερο ποσοστό μετατροπής, οι διαφημίσεις προσθέτουν αξία.
Πλεονέκτημα: απλό, γρήγορο. Μειονέκτημα: οι διαφορές ανάμεσα στις περιοχές μπορεί να μπερδεύουν τα αποτελέσματα (το Σαν Φρανσίσκο είναι πιο εύπορο και ανεβάζει το ποσοστό μετατροπής).
Ομάδες holdout
Τρέξε διαφημίσεις σε όλους εκτός από ένα τυχαίο 10% (έλεγχος). Σύγκρινε τα ποσοστά μετατροπής: χρήστες που είδαν τις διαφημίσεις έναντι χρηστών holdout. Η διαφορά είναι η incrementality.
Πλεονέκτημα: ακριβές, ελέγχει τις παραμέτρους που μπερδεύουν. Μειονέκτημα: απαιτεί μεγάλο προϋπολογισμό (δεν στοχεύουμε το 10% του κοινού μας για να μετρήσουμε την επίδραση).
Δοκιμές με βάση τον χρόνο
Τρέξε διαφημίσεις σε κάποιες χρονικές περιόδους (δοκιμή), όχι σε άλλες (έλεγχος). Παράδειγμα: τρέξε πληρωμένη αναζήτηση Δευτέρα-Πέμπτη, όχι Παρασκευή-Κυριακή. Σύγκρινε τα ποσοστά μετατροπής. Αν η Δευτέρα-Πέμπτη είναι υψηλότερη, οι διαφημίσεις προσθέτουν αξία.
Πλεονέκτημα: απλό. Μειονέκτημα: μπερδεύεται με την ημέρα της εβδομάδας (τα Σαββατοκύριακα η μετατροπή είναι φυσιολογικά χαμηλότερη).
Πώς τρέχεις μια δοκιμή incrementality
Βήμα 1: Όρισε υπόθεση. «Το Google Ads φέρνει επιπλέον μετατροπές πέρα από τη βάση.»
Βήμα 2: Διάλεξε τύπο δοκιμής. Οι ομάδες holdout είναι οι πιο ακριβείς· χρησιμοποίησέ τες αν το επιτρέπει ο προϋπολογισμός.
Βήμα 3: Υπολόγισε το μέγεθος της δοκιμής. Χρειάζεσαι αρκετό δείγμα για να εντοπίσεις τη διαφορά. Αν η βασική μετατροπή = 5% και θέλεις να εντοπίσεις άνοδο 2%, χρειάζεσαι ~10.000 άτομα ανά ομάδα. Ρώτησε έναν στατιστικολόγο ή χρησιμοποίησε υπολογιστή στατιστικής ισχύος.
Βήμα 4: Τρέξε τη δοκιμή για 2-4 εβδομάδες. Οι μεγαλύτερες δοκιμές μειώνουν τη διακύμανση από τις ημερήσιες διακυμάνσεις.
Βήμα 5: Ανάλυσε τα αποτελέσματα. Είναι η διαφορά στατιστικά σημαντική; (p < 0.05). Αν ναι, απέδειξες την incrementality.
Προκλήσεις στις δοκιμές incrementality
Κόστος: οι ομάδες holdout σημαίνουν ότι χάνεις έσοδα επίτηδες (δεν στοχεύουμε το 10% του κοινού μας). Αξίζει μόνο για κανάλια με μεγάλες δαπάνες, όπου η πληροφορία έχει αξία.
Κανιβαλισμός: αν ο χρήστης δεν δει τη διαφήμισή σου, μπορεί να χρησιμοποιήσει οργανική αναζήτηση ή απευθείας επίσκεψη. Η incrementality το καταγράφει (περιλαμβάνεται στη συμπεριφορά της ομάδας ελέγχου).
Μακροπρόθεσμα αποτελέσματα: οι διαφημίσεις μπορεί να έχουν επίδραση στην επωνυμία που φαίνεται μέρες ή εβδομάδες μετά. Οι περισσότερες δοκιμές είναι βραχυπρόθεσμες και χάνουν τις μακροπρόθεσμες επιδράσεις.
Πώς αποφασίζω αν θα τρέξω δοκιμή incrementality;
Η incrementality είναι ακριβή (το holdout κοστίζει χρήματα). Τρέξε δοκιμές για: κανάλια με μεγάλες δαπάνες (Google Ads, Facebook Ads), όπου η απόδοση είναι διφορούμενη, όπου παίρνεις μεγάλες αποφάσεις προϋπολογισμού. Μην δοκιμάζεις: μικρά κανάλια, όπου η απόδοση είναι σαφής. Προϋπολογισμός: $10k-50k+ ανά δοκιμή. Κράτα τες για τις ερωτήσεις με τη μεγαλύτερη επίδραση.
Τι μέγεθος δείγματος χρειάζομαι για μια δοκιμή incrementality;
Εξαρτάται από το βασικό ποσοστό μετατροπής και την άνοδο που θέλεις να εντοπίσεις. Εμπειρικός κανόνας: χρειάζεσαι 5.000-10.000 άτομα ανά ομάδα (έλεγχος και δοκιμή). Αν η βάση είναι 5% και θέλεις να εντοπίσεις άνοδο 2% (νέο ποσοστό 7%), χρειάζεσαι ~10.000 ανά ομάδα. Χρησιμοποίησε υπολογιστή στατιστικής ισχύος (ψάξε «statistical power calculator») για τον ακριβή αριθμό στη δική σου περίπτωση.
Πόσο πρέπει να τρέχει μια δοκιμή incrementality;
Τουλάχιστον 2-4 εβδομάδες (για να βγει ο μέσος όρος των ημερήσιων διακυμάνσεων). Καλύτερα 4-8 εβδομάδες (πιάνει τα εβδομαδιαία μοτίβα). Μεγαλύτερες δοκιμές = μεγαλύτερο κόστος αλλά πιο αξιόπιστα αποτελέσματα. Αν ο κύκλος πωλήσεών σου είναι 30 ημέρες, τρέξε τη δοκιμή για 30+ ημέρες ώστε να καλύψεις τον πλήρη κύκλο.
Μπορώ να χρησιμοποιήσω δοκιμές incrementality για να μετρήσω αλληλεπιδράσεις καναλιών (πώς ένα κανάλι βοηθά ένα άλλο);
Ναι, αλλά είναι πιο σύνθετο. Σχεδιασμός δοκιμής: (1) έλεγχος (κανένα κανάλι), (2) δοκιμή Α (μόνο κανάλι Α), (3) δοκιμή Β (μόνο κανάλι Β), (4) δοκιμή Α+Β (και τα δύο κανάλια). Σύγκρινε τα αποτελέσματα. Αν Α+Β > Α + Β, υπάρχει συνέργεια. Αυτό απαιτεί μεγαλύτερα δείγματα και πιο σύνθετη ανάλυση.
Ποια είναι η διαφορά ανάμεσα σε ομάδα holdout και ομάδα ελέγχου σε μια δοκιμή;
Holdout: ένα μέρος της βάσης πελατών σου που δεν βλέπει το κανάλι (επίτηδες). Ομάδα ελέγχου: σε ένα πείραμα, η ομάδα που δεν δέχεται τη δοκιμαζόμενη ενέργεια (για σύγκριση). Η ίδια ιδέα, διαφορετική ορολογία. Το holdout είναι συνεχές (μόνιμη ομάδα holdout), ενώ ο έλεγχος αφορά τη διάρκεια μιας συγκεκριμένης δοκιμής.
Πώς παρουσιάζω τα αποτελέσματα μιας δοκιμής incrementality στη διοίκηση;
Δείξε: βασική μετατροπή (5%), μετατροπή δοκιμής (6%), άνοδο (1 ποσοστιαία μονάδα, σχετική αύξηση 20%). Δείξε το διάστημα εμπιστοσύνης: η άνοδος είναι 0,5-1,5 ποσοστιαίες μονάδες (είμαστε σίγουροι για αυτό το εύρος). Επίπτωση στον προϋπολογισμό: αν η incrementality είναι 20% χαμηλότερη από όσο έδειχνε η απόδοση, υπολόγισε ξανά το ROI. Έτσι δικαιολογείς το κόστος της δοκιμής με καλύτερες αποφάσεις.