Ο υπεύθυνος προϊόντος κυκλοφορεί μια λειτουργία. Η λειτουργία υποτίθεται ότι λύνει ένα πρόβλημα των πελατών και βελτιώνει τη διατήρηση.
Δύο εβδομάδες μετά την κυκλοφορία: μειώνει η λειτουργία την αποχώρηση; Τη χρησιμοποιούν περισσότεροι πελάτες; Περνούν οι πελάτες περισσότερο χρόνο σε αυτήν;
Χωρίς πίνακα ελέγχου προϊόντος, ο υπεύθυνος προϊόντος περιμένει έξι εβδομάδες τη μηνιαία αναφορά για να δει την επίδραση της λειτουργίας. Μέχρι τότε, τα σχόλια των πελατών έχουν κρυώσει. Δεν μπορεί να βελτιώσει.
Με πίνακα ελέγχου προϊόντος, ο υπεύθυνος προϊόντος βλέπει μετά από δύο εβδομάδες: η υιοθέτηση της λειτουργίας είναι πέντε τοις εκατό (ο στόχος ήταν είκοσι τοις εκατό την εβδομάδα δύο). Το πρόβλημα φαίνεται αμέσως. Ο υπεύθυνος προϊόντος ψάχνει. Βρίσκει ότι η λειτουργία είναι δύσκολο να ανακαλυφθεί. Προσθέτει μήνυμα υποδοχής. Η υιοθέτηση πάει στο δεκαπέντε τοις εκατό μέχρι την εβδομάδα τέσσερα.
Πίνακες ελέγχου προϊόντος: υιοθέτηση λειτουργιών και αλληλεπίδραση
Ποσοστό υιοθέτησης λειτουργίας
Η λειτουργία κυκλοφόρησε πριν από δύο εβδομάδες. Δικαιούχοι χρήστες: δέκα χιλιάδες. Χρήστες που τη χρησιμοποίησαν: πεντακόσιοι. Ποσοστό υιοθέτησης: πέντε τοις εκατό. Ο στόχος ήταν είκοσι τοις εκατό μέχρι την εβδομάδα τέσσερα. Αυτή τη στιγμή είμαστε πίσω. Χρειάζεται διερεύνηση.
Αλληλεπίδραση με τη λειτουργία
Από τους πεντακόσιους χρήστες που δοκίμασαν τη λειτουργία, πόσοι τη χρησιμοποιούν καθημερινά; Διακόσιοι. Πόσοι τη χρησιμοποιούν εβδομαδιαία; Τριακόσιοι. Πόσοι την έχουν εγκαταλείψει; Διακόσιοι. Ποσοστό αλληλεπίδρασης: σαράντα τοις εκατό καθημερινά, εξήντα τοις εκατό εβδομαδιαία, σαράντα τοις εκατό εγκατέλειψαν. Η εγκατάλειψη είναι πολύ υψηλή. Η λειτουργία δεν κολλάει.
Χρόνος που περνούν στη λειτουργία
Η μέση συνεδρία στη λειτουργία είναι δύο λεπτά. Πριν τη λειτουργία, ο μέσος χρόνος συνεδρίας στην ιστοσελίδα ήταν δέκα λεπτά. Η λειτουργία τραβά τους χρήστες από άλλες λειτουργίες. Είναι σκόπιμο; Αντικατέστησε η λειτουργία μια παλιότερη ή είναι προσθήκη;
Επίδραση στη διατήρηση
Πελάτες που υιοθέτησαν τη λειτουργία: οκτώ τοις εκατό μηνιαία αποχώρηση. Πελάτες που δεν υιοθέτησαν τη λειτουργία: δώδεκα τοις εκατό μηνιαία αποχώρηση. Η λειτουργία δουλεύει. Βελτίωση αποχώρησης κατά τέσσερις ποσοστιαίες μονάδες. Για βάση χιλίων πελατών, αυτό είναι σαράντα λιγότεροι πελάτες τον μήνα. Σαράντα επί πενήντα (μέση αξία πελάτη) είναι δύο χιλιάδες έσοδα που σώζονται τον μήνα.
Πίνακες ελέγχου λειτουργιών: υγεία και απόδοση συστήματος
Διαθεσιμότητα συστήματος
Η ιστοσελίδα ήταν ενεργή το 99.95 τοις εκατό του χρόνου την περασμένη εβδομάδα. Ο στόχος είναι 99.99 τοις εκατό. Είμαστε κάτω από τον στόχο. Δύο διακοπές: μία δέκα λεπτών, μία δεκαπέντε λεπτών. Μαζί είκοσι πέντε λεπτά διακοπής. Τι προκάλεσε τις διακοπές; Μπορούν να αποφευχθούν;
Χρόνος απόκρισης
Ο μέσος χρόνος απόκρισης του API είναι διακόσια χιλιοστά του δευτερολέπτου. Ο χρόνος απόκρισης P95 είναι πεντακόσια χιλιοστά του δευτερολέπτου (το 95 τοις εκατό των αιτημάτων είναι ταχύτερα, το πέντε τοις εκατό πιο αργά). Ο P99 είναι ένα δευτερόλεπτο. Οι αργοί χρόνοι απόκρισης συμβαίνουν σπάνια. Είναι αποδεκτοί;
Ποσοστό σφαλμάτων
Ένα τοις εκατό των αιτημάτων API επέστρεψε σφάλμα. Από μηδέν κόμμα πέντε τοις εκατό την περασμένη εβδομάδα. Το ποσοστό σφαλμάτων διπλασιάστηκε. Τι άλλαξε; Ένα ερώτημα στη βάση δεδομένων είναι πιο αργό. Οι χρόνοι απόκρισης αυξήθηκαν. Οι πελάτες λήγουν χρονικά και ξαναδοκιμάζουν. Χρειάζεται διερεύνηση.
Ομάδα συνδέσεων βάσης δεδομένων
Η ομάδα έχει εκατό συνδέσεις. Αυτή τη στιγμή είναι εκατό ανοιχτές (πλήρης χρήση). Δεν υπάρχουν άλλες διαθέσιμες συνδέσεις. Αν έρθει ένα ακόμα αίτημα, μπαίνει σε ουρά. Ο χρήστης περιμένει. Η ομάδα είναι στο όριό της. Πρέπει να αυξήσεις την ομάδα ή να μειώσεις τη χρήση.
Ποσοστό επιτυχίας της μνήμης cache
Η cache βρίσκει αποτέλεσμα το πενήντα τοις εκατό του χρόνου. Το πενήντα τοις εκατό της κίνησης δεν χρειάζεται ερώτημα στη βάση δεδομένων. Ποσοστό αστοχίας cache πενήντα τοις εκατό είναι αποδεκτό για τις περισσότερες ιστοσελίδες. Κάτω από σαράντα τοις εκατό η βάση δεδομένων υπερφορτώνεται. Πάνω από εβδομήντα τοις εκατό κάνεις υπερβολική χρήση cache.
Πραγματικό παράδειγμα: πίνακας ελέγχου προϊόντος και λειτουργιών SaaS
Δείκτες προϊόντος
Νέα λειτουργία πίνακα ελέγχου: κυκλοφόρησε τον πρώτο μήνα. Δικαιούχοι χρήστες: πέντε χιλιάδες (πελάτες με περισσότερα από δέκα σημεία δεδομένων). Χρήστες που δημιούργησαν πίνακα: χίλιοι. Ποσοστό υιοθέτησης: είκοσι τοις εκατό. Στον στόχο.
Από τους χίλιους που δημιούργησαν πίνακα: Ημερήσιοι ενεργοί: εξακόσιοι. Καλή αλληλεπίδραση. Εβδομαδιαίοι ενεργοί: εννιακόσιοι. Οι περισσότεροι τον χρησιμοποιούν τουλάχιστον εβδομαδιαία. Εγκατέλειψαν: εκατό. Δέκα τοις εκατό αποχώρηση.
Επίδραση στη διατήρηση: οι πελάτες με ενεργούς πίνακες έχουν δύο τοις εκατό μηνιαία αποχώρηση. Οι πελάτες χωρίς πίνακες έχουν τέσσερα τοις εκατό μηνιαία αποχώρηση. Ο πίνακας περιορίζει την αποχώρηση κατά δύο μονάδες. Για βάση χιλίων πελατών, αυτό είναι είκοσι πελάτες. Με εκατό δολάρια μηνιαία αξία ανά πελάτη, αυτό είναι δύο χιλιάδες έσοδα που σώζονται τον μήνα. Είκοσι τέσσερις χιλιάδες τον χρόνο.
Δείκτες λειτουργιών
Διαθεσιμότητα τον περασμένο μήνα: 99.92 τοις εκατό. Στόχος: 99.95 τοις εκατό. Χάσαμε τον στόχο.
Διακοπές: Ένα περιστατικό: δέκα λεπτά, επεξεργασία πληρωμών εκτός λειτουργίας. Αιτία: η μετάβαση της βάσης δεδομένων σε εφεδρικό σύστημα πήρε πολύ χρόνο. Ένα περιστατικό: δεκαπέντε λεπτά, αιχμή timeout στο API. Αιτία: κύμα κίνησης και αργό ερώτημα στη βάση δεδομένων.
Χρόνος απόκρισης: Μέσος: εκατόν πενήντα χιλιοστά του δευτερολέπτου. Καλός. P95: τριακόσια χιλιοστά του δευτερολέπτου. Αποδεκτός. P99: ένα δευτερόλεπτο. Είναι πολύ υψηλός. Ένα τοις εκατό των πελατών περιμένει ένα δευτερόλεπτο. Θέλει βελτιστοποίηση.
Ποσοστό σφαλμάτων: μηδέν κόμμα οκτώ τοις εκατό. Από μηδέν κόμμα τέσσερα τοις εκατό πριν από δύο εβδομάδες. Η διερεύνηση δείχνει: τα σφάλματα επεξεργασίας πληρωμών αυξήθηκαν επειδή ο πάροχος πληρωμών είχε διακοπή την περασμένη εβδομάδα (όχι δικό μας λάθος), τα σφάλματα του API αυξήθηκαν επειδή ανεβάσαμε αλλαγή κώδικα που χάλασε ένα endpoint (δικό μας λάθος).
Βάση δεδομένων: Μέσος χρόνος ερωτήματος: τριάντα χιλιοστά του δευτερολέπτου. Χρήση ομάδας συνδέσεων: ογδόντα τοις εκατό. Υγιής. Ποσοστό αργών ερωτημάτων: μηδέν κόμμα δύο τοις εκατό. Αποδεκτό.
Ποσοστό επιτυχίας cache: εξήντα πέντε τοις εκατό. Υγιές.
Σύνδεση των πινάκων προϊόντος και λειτουργιών
Η υιοθέτηση λειτουργιών εξαρτάται από την απόδοση του συστήματος. Αν το σύστημα είναι αργό, η υιοθέτηση υποφέρει. Η νέα λειτουργία πίνακα ελέγχου έχει χαμηλή υιοθέτηση. Έλεγξε τον πίνακα λειτουργιών. Ο χρόνος απόκρισης P99 είναι ένα δευτερόλεπτο. Οι χρήστες βλέπουν καθυστέρηση όταν ανοίγουν τον πίνακα. Πρόσθεσε στη διερεύνηση: προκαλεί η αργή απόδοση τη χαμηλή υιοθέτηση; Αν ναι, βελτιστοποίησε πρώτα την απόδοση του συστήματος. Μετά ξαναμέτρησε την υιοθέτηση.
Η απόδοση του συστήματος μετριέται για τη διαθεσιμότητα, όχι για την επίδραση στις λειτουργίες. Η επίδραση των λειτουργιών όμως εξαρτάται από τη διαθεσιμότητα. Σύνδεσε τους δύο πίνακες. Όταν χειροτερεύουν οι δείκτες λειτουργιών, χειροτερεύουν και οι δείκτες προϊόντος.
Συχνές ερωτήσεις
Πόσο συχνά πρέπει ο υπεύθυνος προϊόντος να ελέγχει την υιοθέτηση λειτουργιών;
Πρώτη εβδομάδα: καθημερινά. Η λειτουργία μόλις κυκλοφόρησε, η καμπύλη υιοθέτησης είναι πιο απότομη. Πρέπει να πιάσεις νωρίς τα προβλήματα. Εβδομάδες δύο έως τέσσερις: τρεις φορές την εβδομάδα. Η καμπύλη υιοθέτησης ισιώνει. Αρκούν εβδομαδιαίες ενημερώσεις. Μετά τον πρώτο μήνα: εβδομαδιαία. Η υιοθέτηση έχει σταθεροποιηθεί ή αυξάνεται σταθερά. Αρκεί εβδομαδιαίος έλεγχος. Εξαίρεση: αν η λειτουργία είναι κρίσιμη ή αν η αρχική υιοθέτηση είναι κάτω από τον στόχο, η καθημερινή παρακολούθηση συνεχίζεται μέχρι να λυθεί το πρόβλημα. Με τον δημιουργό ιστοσελίδων του WEMASY, μπορείς να το ρυθμίσεις απευθείας στην ιστοσελίδα σου.
Ποιο ποσοστό υιοθέτησης λειτουργίας είναι αποδεκτό ανά εβδομάδα;
Εβδομάδα ένα: πέντε έως δεκαπέντε τοις εκατό (οι άνθρωποι δοκιμάζουν). Εβδομάδα δύο: δέκα έως τριάντα τοις εκατό (η φήμη απλώνεται). Πρώτος μήνας: είκοσι έως πενήντα τοις εκατό (σταθερό ποσοστό). Διαφέρει από λειτουργία σε λειτουργία. Οι λειτουργίες παιχνιδιού μπορούν να φτάσουν ενενήντα τοις εκατό υιοθέτηση. Οι λειτουργίες συμμόρφωσης ίσως φτάσουν μόνο δέκα τοις εκατό. Ο στόχος πρέπει να βασίζεται στο τμήμα χρηστών και τη σημασία της λειτουργίας, όχι σε γενικό δείκτη αναφοράς. Πριν την κυκλοφορία, αποφάσισε: η λειτουργία είναι για όλους ή μόνο για ένα τμήμα; Αυτό καθορίζει τον στόχο.
Πώς ξεχωρίζουμε την υιοθέτηση από την αλληλεπίδραση;
Υιοθέτηση είναι η δοκιμή της λειτουργίας (τη χρησιμοποίησαν τουλάχιστον μία φορά). Αλληλεπίδραση είναι η επαναλαμβανόμενη χρήση (καθημερινά, εβδομαδιαία, μηνιαία). Μια λειτουργία μπορεί να έχει υψηλή υιοθέτηση και χαμηλή αλληλεπίδραση (όλοι δοκίμασαν, λίγοι έμειναν). Μια λειτουργία μπορεί να έχει χαμηλή υιοθέτηση και υψηλή αλληλεπίδραση (λίγοι δοκίμασαν, αλλά όσοι δοκίμασαν την αγάπησαν). Και οι δύο δείκτες μετράνε. Υψηλή υιοθέτηση συν υψηλή αλληλεπίδραση είναι επιτυχία. Χαμηλή αλληλεπίδραση σημαίνει ότι η λειτουργία δεν λύνει πραγματικό πρόβλημα. Χαμηλή υιοθέτηση σημαίνει πρόβλημα ανακάλυψης.
Πρέπει ο πίνακας ελέγχου προϊόντος να έχει σχόλια πελατών ή μόνο δείκτες;
Βάλε και τα δύο. Οι δείκτες λένε τι κάνουν οι πελάτες. Τα σχόλια λένε γιατί. Πεντακόσιοι χρήστες εγκατέλειψαν τη λειτουργία (δείκτης). Τα σχόλια λένε «η λειτουργία είναι δύσκολο να βρεθεί» ή «η λειτουργία δεν λύνει το πρόβλημά μου» (γιατί). Οι δείκτες χωρίς σχόλια είναι ελλιπείς. Πρόσθεσε ενότητα σχολίων με τους τρεις κύριους λόγους αποχώρησης ή εγκατάλειψης με βάση αιτήματα υποστήριξης και έρευνες. Υλοποίηση: πρόσθεσε πεδίο σχολίου στη λειτουργία. Εβδομαδιαία: διάβασε τα είκοσι κορυφαία σχόλια χρηστών και κατάταξέ τα σε θέματα. Ανάφερε τα θέματα στον πίνακα ελέγχου.
Πώς ορίζουμε στόχους για διαθεσιμότητα και χρόνο απόκρισης;
Βάσισε τους στόχους στην επίδραση στους πελάτες και στα πρότυπα του κλάδου. Για checkout e-commerce: διαθεσιμότητα 99.9 τοις εκατό, χρόνος απόκρισης κάτω από δύο δευτερόλεπτα. Για ιστοσελίδα μάρκετινγκ: διαθεσιμότητα 99 τοις εκατό, χρόνος απόκρισης κάτω από τρία δευτερόλεπτα. Για εσωτερικά εργαλεία: διαθεσιμότητα 95 τοις εκατό, χρόνος απόκρισης κάτω από πέντε δευτερόλεπτα. Όσο πιο κρίσιμη η υπηρεσία, τόσο πιο αυστηρός ο στόχος. Όταν ορίζεις στόχο, να ξέρεις ποιο επίπεδο επένδυσης απαιτείται. Η διαθεσιμότητα 99.99 τοις εκατό (τέσσερα εννιάρια) κοστίζει τρεις με τέσσερις φορές περισσότερο από τη διαθεσιμότητα 99 τοις εκατό (δύο εννιάρια). Φρόντισε ο στόχος να αξίζει το κόστος.
Πρέπει ο πίνακας ελέγχου λειτουργιών να στέλνει ειδοποιήσεις ή απλώς να δείχνει κατάσταση;
Και τα δύο. Ο πίνακας ελέγχου δείχνει την τρέχουσα κατάσταση. Οι ειδοποιήσεις ενεργοποιούνται όταν ξεπερνιούνται τα όρια. Αν το ποσοστό σφαλμάτων περάσει το ένα τοις εκατό για πέντε λεπτά, χτυπά ειδοποίηση. Η ειδοποίηση πάει στον εφημερεύοντα μηχανικό που ψάχνει. Ο πίνακας ελέγχου είναι για παρακολούθηση στις κανονικές ώρες. Η ειδοποίηση είναι για εκτός ωραρίου ή κρίσιμες καταστάσεις. Κανένα από τα δύο μόνο του δεν αρκεί. Πίνακας ελέγχου χωρίς ειδοποιήσεις σημαίνει ότι τα προβλήματα ανακαλύπτονται στις ώρες εργασίας. Ειδοποίηση χωρίς πίνακα ελέγχου σημαίνει ότι η ομάδα δεν βλέπει την αργή επιδείνωση μέχρι να χτυπήσει η ειδοποίηση. Χρησιμοποίησε και τα δύο μαζί.