Το ποσοστό μετατροπής σου πέφτει 15% την Τρίτη. Δεν το προσέχεις μέχρι την Πέμπτη, που ανοίγεις το dashboard. Δύο μέρες χαμένα έσοδα και ακόμα δεν ξέρεις γιατί. Ένα σύστημα ανίχνευσης ανωμαλιών θα σε είχε ειδοποιήσει την Τετάρτη το πρωί: «Η μετατροπή έπεσε 15% χθες, επηρεάζεται η πληρωμή από κινητό». Τώρα ψάχνεις αμέσως. Βρίσκεις ότι μια αλλαγή στον ιστότοπο χάλασε τις πληρωμές από κινητό. Το διορθώνεις το ίδιο απόγευμα. Η ανίχνευση ανωμαλιών κάνει τη διαφορά ανάμεσα στο να βρεις τα προβλήματα μέρες αργότερα και στο να τα βρεις ώρες αργότερα.
Η ανίχνευση ανωμαλιών είναι ένα σύστημα που παρακολουθεί συνεχώς τους δείκτες σου και σε ειδοποιεί όταν συμβαίνει κάτι ασυνήθιστο. Δεν περιμένει να ανοίξεις το dashboard. Ξέρει τη βάση σου (πώς μοιάζει το «φυσιολογικό»), συγκρίνει κάθε μέρα με αυτή τη βάση και επισημαίνει τις αποκλίσεις. Μια αιχμή επισκεψιμότητας, μια πτώση μετατροπών, μια μείωση της εμπλοκής: όλα πιάνονται αυτόματα και βγαίνουν στην επιφάνεια πριν γίνουν καταστροφή.
Τι κάνει στην πράξη η ανίχνευση ανωμαλιών;
Πάρε οποιονδήποτε δείκτη και θα βρεις το ίδιο μοτίβο: κυμαίνεται φυσικά. Το ποσοστό μετατροπής δεν είναι ποτέ ακριβώς το ίδιο κάθε μέρα. Η επισκεψιμότητα αλλάζει ανά ημέρα της εβδομάδας. Το κινητό μετατρέπει διαφορετικά από τον υπολογιστή. Αν βάλεις ειδοποίηση στο «μετατροπή κάτω από 2,5%», θα έχεις ψευδείς συναγερμούς, γιατί κάποιες μέρες η μετατροπή πέφτει φυσιολογικά στο 2,4%. Η ανίχνευση ανωμαλιών το λύνει μαθαίνοντας πώς μοιάζει η φυσιολογική διακύμανση και ειδοποιώντας μόνο όταν κάτι ξεφεύγει από αυτό το φυσικό εύρος.
Το σύστημα μαθαίνει τη βάση σου από ιστορικά δεδομένα. Απαντά: για αυτόν τον δείκτη, αυτή την ημέρα της εβδομάδας, με αυτόν τον όγκο επισκεψιμότητας, ποιο είναι το αναμενόμενο εύρος; Οι μετατροπές της Τετάρτης συνήθως κυμαίνονται ανάμεσα σε 2,1% και 2,9%. Η μετατροπή από κινητό συνήθως είναι ανάμεσα σε 1,8% και 2,4%. Η επισκεψιμότητα από email συνήθως μετατρέπει ανάμεσα σε 4% και 6%. Το σύστημα χτίζει ένα μοντέλο φυσιολογικής συμπεριφοράς για κάθε συνδυασμό συνθηκών.
Όταν έρχεται ένα νέο στοιχείο, το σύστημα το συγκρίνει με το αναμενόμενο εύρος. Η σημερινή μετατροπή είναι μέσα στο φυσιολογικό εύρος της Τετάρτης; Ναι, είναι 2,5%, τελείως φυσιολογική. Η αυριανή μετατροπή είναι μέσα στο φυσιολογικό εύρος της Πέμπτης; Όχι, είναι 1,2%, αυτό είναι ανωμαλία. Ειδοποίησε την ομάδα. Η ομάδα ψάχνει και βρίσκει ότι χάλασε η πληρωμή από κινητό. Χωρίς ανίχνευση ανωμαλιών, θα το ανακαλύψουν την Παρασκευή το απόγευμα. Με αυτήν, το ξέρουν την Τετάρτη το πρωί.
Διαφορετικοί τύποι ανωμαλιών ενεργοποιούν διαφορετικές ειδοποιήσεις. Μια ξαφνική αιχμή (επισκεψιμότητα 200% πάνω από το φυσιολογικό) επισημαίνεται. Μια ξαφνική πτώση (μετατροπή 50% κάτω από το φυσιολογικό) επισημαίνεται. Μια σταδιακή μείωση (μετατροπή που πέφτει αργά μέσα σε μια εβδομάδα) επισημαίνεται. Ένα επαναλαμβανόμενο μοτίβο που ξαφνικά σπάει (το κινητό μετατρέπει πάντα 20% καλύτερα από τον υπολογιστή, αλλά αυτή την εβδομάδα είναι ίσα) επισημαίνεται. Το σύστημα προσέχει όλα αυτά.
Γιατί μετράει τόσο πολύ να πιάνεις τα προβλήματα νωρίς;
Δες πώς ανακαλύπτουν τα προβλήματα οι περισσότερες επιχειρήσεις και θα δεις το μοτίβο: ανακάλυψη εκ των υστέρων. Ένας πελάτης στέλνει email και παραπονιέται ότι η πληρωμή δεν δουλεύει. Ελέγχεις το dashboard και το επιβεβαιώνεις. Ή προσέχεις την Πέμπτη ότι η Δευτέρα ήταν περίεργη και προσπαθείς να καταλάβεις τι έγινε. Αυτό σημαίνει ώρες ή μέρες χαμένης ευκαιρίας.
Σε μεγάλη κλίμακα, το κόστος της καθυστέρησης πολλαπλασιάζεται. Ένα e-shop με $1 εκατομμύριο ημερήσια έσοδα που χάνει 15% μετατροπής λόγω σφάλματος χάνει $150.000 την ημέρα. Δύο μέρες καθυστέρηση κοστίζουν $300.000. Αν η ανίχνευση ανωμαλιών το πιάσει 6 ώρες νωρίτερα, γλιτώνεις $37.500. Μια υπηρεσία SaaS με 5.000 χρήστες που βλέπει 2% επιπλέον αποχωρήσεις χάνει 100 χρήστες. Δύο εβδομάδες καθυστέρηση σημαίνουν 1.400 χαμένους χρήστες. Αν το πιάσεις αμέσως, χάνεις 100. Η διαφορά είναι χιλιάδες δολάρια σε ετήσια επαναλαμβανόμενα έσοδα (ARR).
Η ταχύτητα επηρεάζει και τη φήμη. Μια ομάδα εξυπηρέτησης πελατών θέλει να μαθαίνει για τα προβλήματα πριν τα αναφέρουν οι πελάτες. Με ανίχνευση ανωμαλιών, μπορείς να στείλεις email στους πελάτες: «Εντοπίσαμε ένα πρόβλημα στον λογαριασμό σου την Τετάρτη το πρωί και το λύσαμε μέχρι το απόγευμα». Χωρίς αυτήν, οι πελάτες παραπονιούνται την Παρασκευή, εσύ λες «θα το κοιτάξουμε» και αυτοί έχουν ήδη πάει σε ανταγωνιστή. Η ψυχολογία του «το εντοπίσαμε εμείς» απέναντι στο «το αναφέρατε εσείς» αλλάζει την εικόνα που έχει ο πελάτης.
Η ταχύτητα επιτρέπει πειραματισμό. Αν βάλεις μια αλλαγή και βλέπεις την επίδρασή της μέσα σε ώρες, μπορείς να βελτιώνεσαι πιο γρήγορα. Χωρίς ανίχνευση ανωμαλιών, τρέχεις ένα πείραμα μια εβδομάδα, ελέγχεις τα αποτελέσματα και μετά βελτιώνεις. Με αυτήν, βλέπεις αν μια αλλαγή βοήθησε ή έβλαψε μέσα σε 24 ώρες. Αυτή η ταχύτητα πολλαπλασιάζεται μέσα σε έναν χρόνο.
Ποιες ανωμαλίες αξίζει πραγματικά να πιάνεις;
Δεν αξίζει να πιάνεις κάθε ανωμαλία. Κάποιες διακυμάνσεις είναι αναμενόμενες. Κάποιες όμως μετράνε για επιχειρηματικές αποφάσεις. Το κλειδί είναι να στήσεις ανίχνευση ανωμαλιών για δείκτες που, αν αλλάξουν απροσδόκητα, απαιτούν άμεση δράση.
Οι ανωμαλίες που επηρεάζουν τα έσοδα έχουν προτεραιότητα. Πτώση του ποσοστού μετατροπής, μείωση της μέσης αξίας παραγγελίας, αιχμή εγκατάλειψης στο ταμείο: αυτά επηρεάζουν άμεσα τα έσοδα. Βάλε ειδοποίηση για όλα. Αν η μετατροπή πέσει 10%, θέλεις να το μάθεις αμέσως και όχι μετά το Σαββατοκύριακο.
Οι ανωμαλίες στην εμπλοκή των χρηστών μετράνε γιατί προβλέπουν προβλήματα. Μείωση της διάρκειας συνεδρίας, μείωση της χρήσης λειτουργιών, λιγότερες συνδέσεις: είναι πρώιμες προειδοποιήσεις αποχώρησης. Μια πτώση της εμπλοκής αυτή την εβδομάδα προβλέπει πτώση της διατήρησης τον επόμενο μήνα. Πιάσ' την τώρα και έχεις χρόνο να παρέμβεις.
Οι ανωμαλίες στην επισκεψιμότητα μετράνε γιατί αποκαλύπτουν προβλήματα στην απήχηση ή στην απόκτηση επισκεπτών. Αν η οργανική επισκεψιμότητα ανεβαίνει απότομα, το SEO σου δουλεύει (καλό). Αν πέφτει, κάτι χάλασε στην αναζήτηση (κακό). Αν η πληρωμένη επισκεψιμότητα μειώνεται, οι διαφημιστικές σου καμπάνιες αποδίδουν λιγότερο (κακό). Βάλε ειδοποίηση όταν οι πηγές επισκεψιμότητας αλλάζουν απροσδόκητα.
Οι ανωμαλίες ποιότητας μετράνε γιατί είναι σιωπηλοί δολοφόνοι. Αν το ποσοστό αποχώρησης ανεβαίνει, ο ιστότοπός σου γίνεται λιγότερο σχετικός. Αν οι σελίδες ανά συνεδρία μειώνονται, οι χρήστες βρίσκουν πιο γρήγορα αυτό που χρειάζονται (καλό) ή δεν βρίσκουν αυτό που θέλουν (κακό). Αν τα σφάλματα συνεδρίας εκτοξεύονται, ο ιστότοπος χαλάει. Όλα αυτά είναι αόρατα αν δεν προσέχεις στενά.
Πώς στήνεις ανίχνευση ανωμαλιών χωρίς ψευδείς συναγερμούς;
Ρώτα οποιαδήποτε ομάδα στατιστικών για τους ψευδείς συναγερμούς και θα ακούσεις το ίδιο παράπονο: κόπωση από ειδοποιήσεις. Αν κάθε μικρή διακύμανση στέλνει ειδοποίηση, η ομάδα σταματά να τις διαβάζει. Αναισθητοποιείται. Τα πραγματικά προβλήματα χάνονται μέσα στον θόρυβο. Το κλειδί για καλή ανίχνευση ανωμαλιών είναι να βάλεις όρια που πιάνουν τα πραγματικά προβλήματα και αγνοούν τη φυσική διακύμανση.
Ξεκίνα από τους δείκτες που μετράνε περισσότερο για την επιχείρησή σου. Δεν χρειάζεται κάθε δείκτης ανίχνευση ανωμαλιών. Εστίασε στους δείκτες εσόδων (μετατροπή, αξία παραγγελίας, αποχωρήσεις), στους δείκτες υγείας των χρηστών (εμπλοκή, διατήρηση, χρήση λειτουργιών) και στους δείκτες υγείας του συστήματος (σφάλματα, καθυστέρηση, διαθεσιμότητα). Αυτοί απαιτούν άμεση δράση αν αλλάξουν.
Ρύθμισε την ευαισθησία ανάλογα με την αστάθεια. Κάποιοι δείκτες είναι φυσικά ασταθείς. Η επισκεψιμότητα πηγαίνει πάνω κάτω από μέρα σε μέρα. Βάλε τα όρια ανωμαλίας αρκετά πλατιά ώστε να απορροφούν αυτή τη φυσική διακύμανση. Για το ποσοστό μετατροπής, μια απόκλιση 20% μπορεί να είναι φυσιολογική: επισήμανε μόνο αν η απόκλιση φτάσει 30% ή περισσότερο. Για τα έσοδα, μια απόκλιση 5% μπορεί να είναι φυσιολογική. Για την εμπλοκή, μια απόκλιση 15% μπορεί να είναι φυσιολογική. Τα όρια εξαρτώνται από τα ιστορικά σου δεδομένα.
Πρόσθεσε συμφραζόμενα. Η ημέρα της εβδομάδας μετράει. Το Σάββατο συνήθως έχει άλλα μοτίβα από την Τετάρτη. Οι αργίες έχουν άλλα μοτίβα από τις συνηθισμένες μέρες. Η ανίχνευση ανωμαλιών πρέπει να το λαμβάνει υπόψη. Το «μετατροπή κάτω από 1,5% την Κυριακή» μπορεί να είναι φυσιολογικό. Το «μετατροπή κάτω από 1,5% την Τετάρτη» είναι ανωμαλία. Τα καλά συστήματα μαθαίνουν αυτά τα μοτίβα αυτόματα.
Ξεκίνα συντηρητικά και σφίξε με τον καιρό. Αν δεν είσαι σίγουρος για τα όρια, βάλ' τα πλατιά. Καλύτερα να χάσεις κάποιες ανωμαλίες παρά να πλημμυρίσεις την ομάδα με ψευδείς συναγερμούς. Όσο χτίζεις εμπιστοσύνη στο σύστημα και η ομάδα συνηθίζει να διαβάζει τις ειδοποιήσεις, σφίξε τα όρια και πιάσε μικρότερες ανωμαλίες.
Ποια είναι τα όρια της ανίχνευσης ανωμαλιών;
Η ανίχνευση ανωμαλιών βρίσκει αποκλίσεις από το φυσιολογικό. Το «φυσιολογικό» όμως είναι ό,τι λένε τα ιστορικά σου δεδομένα ότι είναι φυσιολογικό. Αν τα δεδομένα σου είναι λάθος ή μεροληπτικά, το σύστημα θα χάσει πραγματικά προβλήματα ή θα επισημάνει ψευδείς θετικές. Αν είχες ένα σφάλμα για τρεις μήνες που φούσκωνε τεχνητά το ποσοστό μετατροπής, το σύστημα έμαθε αυτό το φουσκωμένο ποσοστό ως «φυσιολογικό». Όταν διορθώσεις το σφάλμα, η μετατροπή πέφτει στο πραγματικό φυσιολογικό επίπεδο και το σύστημα την επισημαίνει ως ανωμαλία.
Η ανίχνευση ανωμαλιών δεν εξηγεί την αιτία. Σου λέει ότι κάτι άλλαξε. Δεν σου λέει γιατί. Αν η μετατροπή έπεσε, πρέπει ακόμα να ψάξεις. Είναι τεχνικό πρόβλημα; Αλλαγή στην αγορά; Κίνηση ανταγωνιστή; Ανταγωνισμός από νέο παίκτη; Η ανίχνευση ανωμαλιών βγάζει το πρόβλημα στην επιφάνεια. Η διάγνωση είναι ακόμα ανθρώπινη δουλειά.
Η ανίχνευση ανωμαλιών δεν δουλεύει καλά σε πολύ μικρή κλίμακα. Αν έχεις 100 επισκέπτες την ημέρα, η τυχαία διακύμανση είναι τεράστια. Κάθε μέρα φαίνεται ανώμαλη σε σχέση με τις άλλες. Η ανίχνευση ανωμαλιών δουλεύει καλύτερα σε μεγαλύτερη κλίμακα, όπου τα μοτίβα είναι σταθερά. Μια υπηρεσία SaaS με 50.000 μηνιαίους χρήστες έχει καθαρά, σταθερά μοτίβα. Μια με 500 μηνιαίους χρήστες έχει πολύ θόρυβο.
Οι σταδιακές αλλαγές μπορούν να κρυφτούν από την ανίχνευση ανωμαλιών. Αν η μετατροπή πέφτει αργά (0,5% κάθε εβδομάδα), το σύστημα μπορεί να μην την επισημάνει, γιατί κάθε εβδομάδα αποκλίνει ελάχιστα από την προηγούμενη. Μπορεί να μην το προσέξεις μέχρι να έχεις πέσει 10% συνολικά. Για να πιάσεις τη σταδιακή επιδείνωση, χρειάζεσαι ανάλυση τάσεων επιπλέον της ανίχνευσης ανωμαλιών σε μία χρονική στιγμή.
Ποια είναι η διαφορά ανάμεσα στην ανίχνευση ανωμαλιών και στις ειδοποιήσεις;
Οι ειδοποιήσεις είναι κανόνες που ορίζεις εσύ με το χέρι (μετατροπή κάτω από 2%, έσοδα κάτω από Χ). Η ανίχνευση ανωμαλιών είναι αυτόματη εκμάθηση βάσης (οτιδήποτε αποκλίνει 3 τυπικές αποκλίσεις από το φυσιολογικό). Οι ειδοποιήσεις απαιτούν να ξέρεις τι είναι φυσιολογικό και πότε να ανησυχήσεις. Η ανίχνευση ανωμαλιών μαθαίνει τι είναι φυσιολογικό από τα δεδομένα σου. Η ανίχνευση ανωμαλιών είναι καλύτερη για να πιάνεις απροσδόκητα προβλήματα. Οι ειδοποιήσεις είναι καλύτερες για παρακολούθηση γνωστών ορίων.
Έχουν όλες οι πλατφόρμες στατιστικών ανίχνευση ανωμαλιών;
Όχι. Το Google Analytics έχει κάποιες βασικές ειδοποιήσεις ανωμαλιών. Οι πλατφόρμες στατιστικών προϊόντος έχουν ανίχνευση ανωμαλιών. Τα εργαλεία BI μπορούν να ρυθμιστούν για αυτήν. Δεν την περιλαμβάνουν όμως όλες οι πλατφόρμες. Πριν διαλέξεις εργαλείο στατιστικών, έλεγξε αν περιλαμβάνεται ανίχνευση ανωμαλιών, πόσο ευαίσθητα είναι τα όρια και αν μπορείς να την προσαρμόσεις.
Πόσους ψευδείς συναγερμούς να περιμένω;
Αν είναι σωστά ρυθμισμένο, το ποσοστό ψευδών συναγερμών πρέπει να είναι κάτω από 5% των ειδοποιήσεων. Οι περισσότερες πρέπει να είναι νόμιμες αποκλίσεις που αξίζει να διερευνηθούν. Αν παίρνεις 20+ ψευδείς συναγερμούς την ημέρα, τα όρια είναι πολύ ευαίσθητα. Αν δεν παίρνεις καμία ειδοποίηση τον μήνα, τα όρια είναι πολύ πλατιά. Ρύθμισε τα όρια παρακολουθώντας ποιες ειδοποιήσεις οδήγησαν σε πραγματικά ευρήματα και ποιες ήταν θόρυβος.
Μπορεί η ανίχνευση ανωμαλιών να πιάσει απάτη;
Εν μέρει. Αν η απάτη προκαλεί ασυνήθιστα μοτίβα (αιχμή στο ποσοστό επιστροφών χρημάτων, γεωγραφικές ανωμαλίες, ασυνήθιστοι τρόποι πληρωμής), η ανίχνευση ανωμαλιών μπορεί να την επισημάνει. Η ανίχνευση απάτης όμως απαιτεί εξειδικευμένους κανόνες (η ίδια πιστωτική κάρτα που χρησιμοποιείται πολλές φορές, έλεγχοι ταχύτητας, ασυμφωνίες γεωγραφικής θέσης). Χρησιμοποίησε την ανίχνευση ανωμαλιών για γενικό εντοπισμό μοτίβων. Χρησιμοποίησε ανίχνευση απάτης για μοτίβα που αφορούν συγκεκριμένα την απάτη.
Πόσα ιστορικά δεδομένα χρειάζομαι πριν δουλέψει η ανίχνευση ανωμαλιών;
Τα περισσότερα συστήματα χρειάζονται 2-4 εβδομάδες δεδομένων βάσης για να αρχίσουν να μαθαίνουν μοτίβα. Ένας μήνας είναι καλύτερος. Μετά από ένα τρίμηνο δεδομένων, το μοντέλο είναι αρκετά ακριβές. Μετά από έναν χρόνο, είναι πολύ ακριβές (καταλαβαίνει εποχικά μοτίβα). Αν βάλεις ανίχνευση ανωμαλιών σε ολοκαίνουργιο ιστότοπο, περίμενε υψηλά ποσοστά ψευδών συναγερμών τον πρώτο μήνα, όσο το σύστημα μαθαίνει τη βάση σου.
Πρέπει να δράσω σε κάθε ειδοποίηση ανωμαλίας;
Όχι απαραίτητα. Κάποιες ανωμαλίες είναι αναμενόμενες (μεγάλη δημοσιότητα, νέος ανταγωνιστής, εποχικό φαινόμενο, μεγάλη καμπάνια μάρκετινγκ). Όταν παίρνεις ειδοποίηση, ρώτα πρώτα: άλλαξε κάτι εξωτερικό; Αν ναι, η ανωμαλία είναι αναμενόμενη και όχι πρόβλημα. Αν όχι, ψάξε. Με τον καιρό θα μάθεις ποιες ειδοποιήσεις είναι σήμα (πραγματικά προβλήματα) και ποιες θόρυβος.