Ποια έχουν σημασία; – Μέτρηση U

Oktober 1, 2022 0 Von admin

Δεν υπάρχει έλλειψη απόψεων σχετικά με την Καθαρή Βαθμολογία Υποστηρικτών.

Δεν υπάρχει τίποτα κακό με μια άποψη. Είναι απλώς καλύτερο όταν υπάρχουν δεδομένα που το υποστηρίζουν.

Δυστυχώς, όταν πρόκειται για απόψεις σχετικά με την Καθαρή Βαθμολογία Υποστηρικτών, ειδικά για το πώς εμφανίζεται η υποκείμενη ερώτηση, οι απόψεις συχνά βασίζονται σε ανέκδοτα και «βέλτιστες πρακτικές» εκτός πλαισίου.

Στο MeasuringU, θέλουμε να βοηθήσουμε άλλους να χρησιμοποιήσουν δεδομένα για να σχηματίσουν καλύτερες απόψεις. Κατά συνέπεια, πραγματοποιήσαμε 15 μελέτες και παρουσιάσαμε οκτώ άρθρα τα τελευταία χρόνια που εξέτασαν πολύ συγκεκριμένες παραλλαγές σχετικά με τον τρόπο διατύπωσης της ερώτησης Πιθανότητα σύστασης και τον τρόπο παρουσίασης των επιλογών απάντησης. Ακολουθεί μια περίληψη αυτών των ευρημάτων.

  1. Η προσθήκη χρώματος στην κλίμακα επηρεάζει τις απαντήσεις;

Για να χωρίσουν μεγαλύτερες κλίμακες πολλαπλών σημείων, ορισμένοι σχεδιαστές ερευνών χρησιμοποιούν χρώματα, όπως στο παρακάτω παράδειγμα. Τι επίδραση έχει αυτό στις απαντήσεις; Σε δύο μελέτες με 413 συμμετέχοντες, βρήκαμε εκπληκτικά μικρό αποτέλεσμα όταν χειριστήκαμε το χρώμα της κλίμακας απόκρισης έντεκα σημείων. Οι διαφορές στις βαθμολογίες όταν υπήρχαν τα χρώματα σε σύγκριση με μια άχρωμη έκδοση ήταν μεταξύ 1% και 2%. Οι μεγαλύτερες διαφορές παρατηρήθηκαν κατά τη συγκέντρωση μεταξύ ατόμων και επωνυμιών, αλλά ακόμη και τότε, οι διαφορές εξακολουθούσαν να είναι μέτριες, περίπου στο 3%.

  1. Τι αποτελέσματα έχει μια ουδέτερη ετικέτα;

Ποια είναι τα αποτελέσματα της ύπαρξης μιας ουδέτερης ετικέτας στο στοιχείο Πιθανότητας σύστασης (LTR) έντεκα σημείων που χρησιμοποιείται για τον υπολογισμό του NPS; Σε δύο μελέτες που εξέτασαν τα αποτελέσματα της επισήμανσης του ουδέτερου μέσου του στοιχείου LTR, βρήκαμε Η ύπαρξη ουδέτερης ετικέτας μερικές φορές προσελκύει απαντήσεις (αλλά όχι πάντα).

Για μια συνδυασμένη ομάδα πελατών και μη πελατών, η προσθήκη μιας ουδέτερης ετικέτας είχε μόνο μικρό αποτέλεσμα (0,43 ή 4% αύξηση στη μέση βαθμολογία). Το αποτέλεσμα ήταν μόνο 0,04 και δεν ήταν στατιστικά σημαντικό κατά τη μέτρηση μόνο πελατών. Όταν είχε αποτέλεσμα, η ετικέτα ουδέτερου σημείου φάνηκε να προσελκύει άλλες αποκρίσεις αρνητικών από το εύρος 0 έως 4 με μόνο για μη πελάτες. Σημειώστε ότι η κίνηση εντός των αποκρίσεων του επικριτή δεν θα είχε καμία επίδραση στο προκύπτον NPS.

Διανομή για απαντήσεις μόνο για τα προϊόντα λογισμικού που χρησιμοποιούνται πιο συχνά.

  1. Μπορείτε να χρησιμοποιήσετε μια κλίμακα πέντε ή δέκα σημείων αντί για μια κλίμακα έντεκα σημείων;

Ενώ το αρχικό στοιχείο Πιθανότητα να προτείνουμε που παρουσιάστηκε από τον Fred Reichheld το 2003 βασίστηκε σε μια κλίμακα έντεκα σημείων (0 έως 10), με τα χρόνια έχουμε δει οργανισμούς να χρησιμοποιούν επίσης επιλογές απόκρισης πέντε και δέκα σημείων. Πώς διαφέρει η αλλαγή των επιλογών απόκρισης σε πέντε ή δέκα βαθμούς από τη χρήση έντεκα σημείων;

Πραγματοποιήσαμε μια μελέτη με 520 συμμετέχοντες με έδρα τις ΗΠΑ σε εννέα επωνυμίες (αεροπορικές εταιρείες, παρόχους ψυχαγωγίας/μέσα ενημέρωσης και δορυφόρους), με περίπου 50 απαντήσεις ανά επωνυμία. Οι συμμετέχοντες απάντησαν σε τρεις παραλλαγές του στοιχείου Πιθανότητα να προτείνουμε (πέντε, δέκα και έντεκα σημεία) σε μια μελέτη εντός θεμάτων.

Διαπιστώσαμε ότι η αλλαγή των βαθμών της κλίμακας NPS επηρέασε λίγο τις βαθμολογίες (μεταξύ 2% και 4%). Η μέση απόλυτη διαφορά ανά επωνυμία ήταν 4 μονάδες στο NPS των 200 πόντων (-100 έως 100). Η μεγαλύτερη διαφορά ήταν 14 βαθμοί (Delta Airlines). Ως επί το πλείστον, ανεξάρτητα από την κλίμακα που χρησιμοποιήθηκε (πέντε, δέκα ή έντεκα), η Καθαρή Βαθμολογία Προωθητή ήταν σε παρόμοιο εύρος. Για παράδειγμα, το Netflix είχε σταθερά υψηλή βαθμολογία (τη δεκαετία του ’60), το Facebook είχε μέση βαθμολογία (20s έως 30s) και το Comcast είχε πολύ χαμηλή βαθμολογία (-50s έως -60s).

Επιγραφή Χωρίς ετικέτα Διαφορά (Ετικέτα – Χωρίς ετικέτα)
Netflix -51% -46% 6%
Ενωμένος -26% -26% 0%
Νοτιοδυτικός -64% -57% 7%
Facebook 10% 10% 0%
Δέλτα -73% -66% 7%
Microsoft -29% -28% 1%
Στόχος -69% -75% -6%
Ολόκληρα τρόφιμα -48% -54% -7%
7 έντεκα -66% -56% 10%

  1. Γιατί να μην χρησιμοποιήσετε απλώς μια κλίμακα τριών σημείων;

Επειδή το στοιχείο Πιθανότητας να προτείνουμε έντεκα βαθμών μετατρέπεται σε κλίμακα τριών βαθμών (υποστηρικτές, αρνητές και παθητικά), ορισμένοι αναρωτήθηκαν γιατί να μην χρησιμοποιήσουν απλώς μια κλίμακα τριών βαθμών; Βασιζόμενοι σε παλαιότερη έρευνα που δείχνει ότι οι κλίμακες τριών σημείων τείνουν να καταπνίγουν τους ερωτηθέντες επειδή προσφέρουν πολύ λίγες επιλογές απόκρισης (και δεν επιτρέπουν τον εντοπισμό ακραίων ανταποκρινόμενων), πραγματοποιήσαμε τρεις μελέτες για να μετρήσουμε τον αντίκτυπο ειδικά στο NPS.

Βρήκαμε ότι οι καθαρές βαθμολογίες υποστηρικτών που προέρχονται από κλίμακες τριών βαθμών διαφέρουν ουσιαστικά από αυτές που προέρχονται από κλίμακες έντεκα βαθμών. Η χρήση των συγκεντρωτικών δεδομένων για τη δημιουργία Καθαρών Βαθμολογιών Προωθητή σε πολλές επωνυμίες είχε ως αποτέλεσμα τόσο διαφορετικές όσο και πολύ υψηλότερες καθαρές βαθμολογίες. Σε δύο έρευνες, το NPS τριών σημείων και το NPS έντεκα σημείων διέφεραν κατά 17 βαθμούς στη Μελέτη 1, 26 βαθμούς στη Μελέτη 2 και 54 βαθμούς στη Μελέτη 3. Αυτό ήταν σημαντικά μεγαλύτερο από τις διαφορές που παρατηρήθηκαν μεταξύ πέντε και δέκα σημείων Ζυγός. Όταν ρωτήθηκαν, οι ερωτηθέντες βαθμολόγησαν την κλίμακα των τριών βαθμών ως πιο γρήγορη στην ολοκλήρωση, αλλά βαθμολόγησαν την κλίμακα των έντεκα βαθμών ως καλύτερη που τους επιτρέπει να εκφράσουν τα συναισθήματά τους επαρκώς. Ωστόσο, δεν βρήκαμε στατιστική διαφορά στον χρόνο που χρειάστηκαν οι συμμετέχοντες για να ανταποκριθούν τόσο στις κλίμακες τριών βαθμών όσο και σε κλίμακες έντεκα σημείων.

Η ανάλυσή μας δείχνει μεγάλη ασάφεια στις απλές ετικέτες «ναι», «όχι» και «ίσως». Το «Ναι» ενός ατόμου μπορεί να διαβαστεί καλύτερα ως «ΝΑΙ!» σε σύγκριση με το πιο χλιαρό «Ναι, υποθέτω» άλλου ατόμου. Αντίθετα, το 10 είναι μεγαλύτερο από το 9, το οποίο είναι μεγαλύτερο από το 8 και αυτές οι ποσότητες είναι παγκοσμίως κατανοητές ως μεγαλύτερες. Η παροχή έντεκα επιλογών απόκρισης σε αυτήν την κλίμακα αντικατοπτρίζει καλύτερα το υποκείμενο συνεχές στάσης που μετράται μόνο χονδρικά με τις κλίμακες τριών σημείων. Η κατανομή των απαντήσεων δείχνει, για παράδειγμα, ότι στην κλίμακα των έντεκα σημείων, περίπου τα μισά από τα ναι επέλεξαν 10 (ΝΑΙ!!!), το 75% επέλεξαν 9 ή 10 (ΝΑΙ!), αλλά το 25% επέλεξαν λιγότερο έντονες απαντήσεις (Ναι , Υποθέτω).

Η σύστασή μας είναι να μην χρησιμοποιείτε μια κλίμακα τριών σημείων κατά τη μέτρηση των προθέσεων συμπεριφοράς. Ενώ με τη μετατροπή της κλίμακας έντεκα σημείων σε τρία σημεία χάνονται πληροφορίες, η απώλεια δεν είναι μόνιμη, καθώς μπορείτε ακόμα να εξετάσετε την κατανομή των απαντήσεων και, εάν θέλετε, να παρακολουθήσετε τη μέση πιθανότητα να προτείνετε μαζί με το NPS. Ωστόσο, εάν ξεκινήσετε με μια ερώτηση τριών σημείων, εγκαταλείπετε κάθε ικανότητα να συλλάβετε την ένταση της απάντησης που απαιτείται για την ακριβή αντιστοίχιση με τις τυπικές Καθαρές Βαθμολογίες Υποστηρικτών.

  1. Διαφέρουν οι απαντήσεις αν ρωτήσετε «θα» έναντι «θα συνιστούσα»;

Υπάρχει μια λεπτή διαφορά στη σημασία μεταξύ του «θα» (που υποδηλώνει μια συγκεκριμένη μελλοντική ενέργεια) σε σύγκριση με το «θα» (που υποδηλώνει μια πιθανή μελλοντική ενέργεια, ή ακόμα και κάτι αυτό ήταν στο μέλλον αλλά δεν είναι πια). Επηρεάζει αυτή η ανεπαίσθητη αλλαγή στη διατύπωση την Πιθανότητα Σύστασης του προϊόντος και την Καθαρή Βαθμολογία Προωθητή;

Πραγματοποιήσαμε δύο μελέτες με 533 συμμετέχοντες για να διαπιστώσουμε εάν υπήρχε διαφορά. Διαπιστώσαμε ότι η χρήση „θα συνιστούσα“ αντί για „θα συνιστούσα“ είχε μια μικρή, στατιστικά σημαντική αύξηση 1,5% μόνο για μία επωνυμία (Στόχος) σε μία από τις μελέτες μας. Σε όλες τις επωνυμίες, η μέση μέση διαφορά ήταν λιγότερο από 1% υψηλότερη για τη συνθήκη «θα».

Είχαμε υποψιαστεί ότι η χρήση της λέξης «θα» μπορεί να υπονοεί μια πιο συγκεκριμένη μελλοντική ενέργεια για τους ερωτηθέντες και να μειώσει τις βαθμολογίες, όπως στο «Σίγουρα ΘΑ έκανα κάτι», σε σύγκριση με το λιγότερο σαφές «θα έκανα κάτι». Ως εκ τούτου, περιμέναμε ότι οι μέσες βαθμολογίες για το «θα» θα ήταν ελαφρώς χαμηλότερες (καθώς οι άνθρωποι ενδέχεται να αντισταθμίσουν τις προθέσεις τους). Ωστόσο, τα αποτελέσματα δείχνουν το αντίθετο, καθώς οι μέσοι όροι ήταν ονομαστικά υψηλότεροι για τις ομάδες «θέλησης» (και πάλι ελαφρώς και στατιστικά σημαντικές μόνο σε μία περίπτωση).

  1. Πώς επηρεάζει η κουλτούρα/χώρα την Πιθανότητα σύστασης απαντήσεων;

Σε αυτήν τη μελέτη, εξετάσαμε πώς μπορεί να διαφέρουν τα μοτίβα απόκρισης στο στοιχείο Πιθανότητα να προτείνουμε στις Ηνωμένες Πολιτείες, τη Γαλλία, τη Γερμανία και την Ιαπωνία. Ρωτήσαμε τους συμμετέχοντες πόσο πιθανό θα ήταν να προτείνουν την εταιρεία κινητής τηλεφωνίας τους και το εστιατόριο που επισκέφτηκαν πιο πρόσφατα (ελπίζοντας ότι ήταν παρόμοιες πολιτιστικές εμπειρίες). Βρήκαμε ότι οι μεγαλύτερες διαφορές ήταν ότι οι συμμετέχοντες στις ΗΠΑ είχαν διπλάσιες πιθανότητες από τους Ιάπωνες να επιλέξουν την πιο ακραία απάντηση. Αντίθετα, οι Ιάπωνες συμμετέχοντες είχαν περίπου διπλάσιες πιθανότητες να επιλέξουν την ουδέτερη επιλογή. Αυτά τα αποτελέσματα ήταν συνεπή με άλλες δημοσιευμένες έρευνες που βρήκαν ακραία αποστροφή απόκρισης από τους ασιατικούς πολιτισμούς σε σύγκριση με τους δυτικούς πολιτισμούς. Αυτό υποδηλώνει ότι οι πολιτισμικές/περιφερειακές διαφορές (τουλάχιστον μεταξύ ανατολικών και δυτικών χωρών) μπορεί να μπερδέψουν τυχόν συγκρίσεις μεταξύ των χωρών κατά τη χρήση του NPS (και γενικά των κλιμάκων αξιολόγησης).

  1. Η αλλαγή όταν εμφανίζεται το στοιχείο NPS επηρεάζει τα αποτελέσματα;

Υπάρχει μια καλά τεκμηριωμένη επίδραση παραγγελίας στις έρευνες. Δηλαδή τη σειρά με την οποία παρουσιάζονται ερωτήσεις ή στοιχεία σε μια έρευνα μπορώ επηρεάζουν τον τρόπο με τον οποίο ανταποκρίνονται οι άνθρωποι. Ωστόσο, τα εφέ παραγγελίας είναι δύσκολο να προβλεφθούν και να αναπαραχθούν.

Για την Καθαρή Βαθμολογία Υποστηρικτών, υπάρχει τουλάχιστον ένας αντιπρόσωποςort Αυτό δείχνει ότι αν θέσετε την ερώτηση „θα συνιστούσα“ νωρίς σε μια έρευνα, η βαθμολογία θα είναι υψηλότερη από ό,τι αν την ρωτήσετε αργότερα στην έρευνα, αλλά δεν δίνονται δεδομένα σχετικά με το μέγεθος του αποτελέσματος.

Πραγματοποιήσαμε δύο μελέτες με 3.175 συμμετέχοντες και χειριστήκαμε πότε εμφανίστηκε το στοιχείο Πιθανότητα να προτείνουμε (νωρίτερα ή αργότερα στην έρευνα). Βρήκαμε λίγα αποτελέσματα της τάξης στις μελέτες μας.

Τα μέσα LTR (και η κατανομή των βαθμολογιών) ήταν σχεδόν πανομοιότυπα είτε η ερώτηση είχε τεθεί νωρίτερα είτε αργότερα στην έρευνα και στις δύο μελέτες που αφορούσαν διαφορετικούς ιστότοπους και έναν συνδυασμό εταιρειών και προϊόντων. Βρήκαμε όντως ελαφρώς υψηλότερη ερμηνευτική ισχύ όταν το LTR τοποθετήθηκε πριν από τα άλλα επτά στοιχεία SUPR-Q, αλλά απαιτείται μελλοντική μελέτη για την αναπαραγωγή αυτών των ευρημάτων.

  1. Είναι το «Συνιστούσες» καλύτερο από το «Θα συνιστούσες»;

Το να ζητούν από τους ανθρώπους να προβλέψουν τη μελλοντική τους συμπεριφορά αποδοκιμάζεται από πολλούς ερευνητές, με βάση τις πεποιθήσεις ότι (1) οι άνθρωποι δεν είναι καλοί στην πρόβλεψη της μελλοντικής συμπεριφοράς και (2) οι άνθρωποι είναι καλύτεροι στο να αναφέρουν προηγούμενη συμπεριφορά, καθιστώντας τις αναφορές προηγούμενης συμπεριφοράς καλύτερους προγνωστικούς μελλοντική συμπεριφορά.

Σε μια μετα-ανάλυση 16 μελετών, Ouellette and Wood (1998) διαπίστωσε ότι η προηγούμενη συμπεριφορά συσχετίστηκε με τη μελλοντική συμπεριφορά, αλλά η συσχέτιση ήταν γενικά μέτρια (r = 0,39). Είναι ενδιαφέρον, ωστόσο, ότι διαπίστωσαν ότι οι προθέσεις συμπεριφοράς (πόσο πιθανό είναι να κάνετε κάτι) ήταν καλύτεροι προγνωστικοί παράγοντες της μελλοντικής συμπεριφοράς (r = 0,54). Πραγματοποιήσαμε επίσης δύο μελέτες για να εξετάσουμε πώς οι προηγούμενες συστάσεις διέφεραν από τις προθέσεις συστάσεων μέσω του στοιχείου LTR έντεκα σημείων. Βρήκαμε ότι και τα δύο μέτρα προσφέρουν συγκρίσιμα αποτελέσματα.

Σε όλες τις δύο μελέτες, περίπου το 92% των ερωτηθέντων που συνέστησαν ήταν επίσης πιο πιθανό να το προτείνουν ξανά (αν συμπεριλάβετε την κατηγορία των υποστηρικτών και των παθητικών). Ο κύριος λόγος που βρήκαμε γιατί τα άτομα που είχαν συστήσει δεν θα το κάνουν στο μέλλον είναι ότι αυτοί (ή το άτομο που συνέστησαν) είχαν μια απογοητευτική εμπειρία. Αυτό μπορεί να συμβεί από συμμετέχοντες που είχαν μια πιο πρόσφατη κακή εμπειρία ή επειδή το προϊόν ή η υπηρεσία άλλαξε (όπως συνέβη όταν το Netflix άλλαξε την τιμολόγησή του).

Το ποσοστό των ερωτηθέντων που είναι υποστηρικτές, παθητικοί και επικριτές για προϊόντα ή υπηρεσίες που ανέφεραν ότι συνιστούσαν στο παρελθόν (n = 2672).

Εάν μπορείτε, ρωτήστε και για το παρελθόν και για το μέλλον. Είναι πιθανό ότι τα άτομα που συνέστησαν και είναι εξαιρετικά πιθανό να προτείνουν ξανά είναι οι καλύτεροι προγνωστικοί παράγοντες για το ποιος θα προτείνει στο μέλλον. (Κάτι που διερευνούμε περισσότερο σε μια επερχόμενη μελέτη!)

Περίληψη

Για να εξετάσουμε τα αποτελέσματα των χειρισμών του στοιχείου Πιθανότητα να προτείνουμε (LTR), από το οποίο προέρχονται οι Καθαροί Βαθμολογίες Υποστηρικτών (NPS), χρησιμοποιήσαμε δεδομένα από 15 δικές μας μελέτες για να εξετάσουμε τα αποτελέσματα. Συνολικά, βρήκαμε αμελητέα αποτελέσματα για τους περισσότερους χειρισμούς, με εξαίρεση την κλίμακα τριών βαθμών και τις πολιτιστικές περιφερειακές διαφορές. Αυτό συνοψίζεται στον παρακάτω πίνακα.

* Αυτή η χειραγώγηση έχει σημασία.