Ένα άρθρο από την ομάδα του Stitch Fix προτείνει τη χρήση μιας προσέγγισης δοκιμών μη κατωτερότητας στο μάρκετινγκ και τις δοκιμές A/B προϊόντων. Αυτή η προσέγγιση ισχύει πραγματικά όταν δοκιμάζουμε μια νέα λύση που έχει οφέλη που δεν είναι μετρήσιμα με δοκιμές.
Το πιο απλό παράδειγμα είναι η οστική απώλεια. Για παράδειγμα, ας αυτοματοποιήσουμε τη διαδικασία ανάθεσης του πρώτου μαθήματος, αλλά δεν θέλουμε να πέσει πολύ η μετατροπή από άκρο σε άκρο. Ή δοκιμάζουμε αλλαγές που εστιάζονται σε ένα τμήμα χρηστών, ενώ βεβαιωνόμαστε ότι οι μετατροπές για άλλα τμήματα δεν μειώνονται πολύ (όταν δοκιμάζετε πολλές υποθέσεις, μην ξεχνάτε τις διορθώσεις).
Η επιλογή του σωστού ορίου μη κατωτερότητας προσθέτει πρόσθετες προκλήσεις στο στάδιο του σχεδιασμού της δοκιμής. Το ερώτημα πώς να επιλέξετε το Δ δεν καλύπτεται καλά στο άρθρο. Φαίνεται ότι αυτή η επιλογή δεν είναι απολύτως διαφανής ούτε στις κλινικές δοκιμές. Οι ιατρικές δημοσιεύσεις για τη μη κατωτερότητα αναφέρουν ότι μόνο οι μισές δημοσιεύσεις δικαιολογούν την επιλογή του ορίου και συχνά αυτές οι αιτιολογήσεις είναι διφορούμενες ή μη λεπτομερείς.
Σε κάθε περίπτωση, η προσέγγιση αυτή φαίνεται ενδιαφέρουσα, καθώς Με τη μείωση του απαιτούμενου μεγέθους δείγματος, μπορεί να αυξηθεί η ταχύτητα της δοκιμής και, ως εκ τούτου, η ταχύτητα λήψης αποφάσεων. — Daria Mukhina, αναλύτρια προϊόντων για την εφαρμογή Skyeng για κινητά.
Η ομάδα του Stitch Fix λατρεύει να δοκιμάζει διαφορετικά πράγματα. Σε όλη την τεχνολογική κοινότητα αρέσει βασικά να εκτελεί δοκιμές. Ποια έκδοση του ιστότοπου προσελκύει περισσότερους χρήστες - Α ή Β; Κερδίζει περισσότερα χρήματα η έκδοση Α του μοντέλου προτάσεων από την έκδοση Β; Σχεδόν πάντα, για να ελέγξουμε υποθέσεις, χρησιμοποιούμε την απλούστερη προσέγγιση από το βασικό μάθημα στατιστικής:
Αν και σπάνια χρησιμοποιούμε τον όρο, αυτή η μορφή δοκιμής ονομάζεται «δοκιμάζοντας την υπόθεση της ανωτερότητας». Με αυτήν την προσέγγιση, υποθέτουμε ότι δεν υπάρχει διαφορά μεταξύ των δύο επιλογών. Εμμένουμε σε αυτήν την ιδέα και την εγκαταλείπουμε μόνο εάν τα στοιχεία είναι αρκετά ισχυρά για να το δικαιολογήσουν—δηλαδή, δείχνουν ότι η μία επιλογή (Α ή Β) είναι καλύτερη από την άλλη.
Ο έλεγχος υποθέσεων υπεροχής είναι κατάλληλος για την επίλυση ποικίλων προβλημάτων. Κυκλοφορούμε την έκδοση B του μοντέλου προτάσεων μόνο εάν είναι σαφώς καλύτερη από την έκδοση A που χρησιμοποιείται ήδη. Αλλά σε ορισμένες περιπτώσεις, αυτή η προσέγγιση δεν λειτουργεί τόσο καλά. Ας δούμε μερικά παραδείγματα.
1) Χρησιμοποιούμε υπηρεσία τρίτου μέρους, που βοηθά στον εντοπισμό ψεύτικων τραπεζικών καρτών. Βρήκαμε μια άλλη υπηρεσία που κοστίζει σημαντικά λιγότερο. Εάν μια φθηνότερη υπηρεσία λειτουργεί τόσο καλά όσο αυτή που χρησιμοποιούμε αυτήν τη στιγμή, θα την επιλέξουμε. Δεν χρειάζεται να είναι καλύτερο από την υπηρεσία που χρησιμοποιείτε.
2) Θέλουμε να απορρίψουμε την πηγή δεδομένων A και αντικαταστήστε το με την πηγή δεδομένων B. Θα μπορούσαμε να καθυστερήσουμε την εγκατάλειψη του A εάν το B παράγει πολύ άσχημα αποτελέσματα, αλλά δεν είναι δυνατό να συνεχίσουμε να χρησιμοποιείτε το A.
3) Θα θέλαμε να περάσουμε από μια προσέγγιση μοντελοποίησηςΗ προσέγγιση Α προς Β, όχι επειδή περιμένουμε καλύτερα αποτελέσματα από τον Β, αλλά επειδή μας δίνει μεγαλύτερη λειτουργική ευελιξία. Δεν έχουμε λόγο να πιστεύουμε ότι το Β θα είναι χειρότερο, αλλά δεν θα κάνουμε μετάβαση αν είναι.
4) Κάναμε κάποιες ποιοτικές αλλαγές σχεδίαση ιστότοπου (Έκδοση Β) και πιστεύετε ότι αυτή η έκδοση είναι ανώτερη από την Έκδοση Α. Δεν αναμένουμε αλλαγές στις μετατροπές ή σε κανένα από τα KPI με τα οποία μετράμε συνήθως έναν ιστότοπο. Αλλά πιστεύουμε ότι υπάρχουν πλεονεκτήματα σε παραμέτρους που είτε είναι ανυπολόγιστα είτε οι τεχνολογίες μας δεν επαρκούν για μέτρηση.
Σε όλες αυτές τις περιπτώσεις, η έρευνα αριστείας δεν είναι η καλύτερη λύση. Αλλά οι περισσότεροι ειδικοί σε τέτοιες καταστάσεις το χρησιμοποιούν από προεπιλογή. Διεξάγουμε προσεκτικά το πείραμα για να προσδιορίσουμε σωστά το μέγεθος του αποτελέσματος. Εάν ήταν αλήθεια ότι οι εκδόσεις Α και Β λειτουργούν με πολύ παρόμοιους τρόπους, το πιθανότερο είναι ότι δεν θα μπορέσουμε να απορρίψουμε τη μηδενική υπόθεση. Συμπεραίνουμε ότι το Α και το Β γενικά λειτουργούν με τον ίδιο τρόπο; Οχι! Η αποτυχία απόρριψης της μηδενικής υπόθεσης και η αποδοχή της μηδενικής υπόθεσης δεν είναι το ίδιο πράγμα.
Οι υπολογισμοί μεγέθους δείγματος (που, φυσικά, έχετε πραγματοποιήσει) τείνουν να έχουν αυστηρότερα όρια στο σφάλμα τύπου Ι (την πιθανότητα λανθασμένης απόρριψης της μηδενικής υπόθεσης, που συχνά αναφέρεται ως άλφα) από το σφάλμα τύπου II (Πιθανότητα αποτυχίας απόρριψης του μηδενικού υπόθεση, δεδομένης της προϋπόθεσης ότι η μηδενική υπόθεση είναι ψευδής, που συχνά ονομάζεται βήτα). Μια τυπική τιμή για το άλφα είναι 0,05 ενώ μια τυπική τιμή για το βήτα είναι 0,20, που αντιστοιχεί σε μια στατιστική ισχύ 0,80. Αυτό σημαίνει ότι ενδέχεται να μην ανιχνεύσουμε την πραγματική επίδραση της τιμής που έχουμε υποδείξει στους υπολογισμούς ισχύος μας με πιθανότητα 20% και αυτό είναι ένα αρκετά σοβαρό κενό στις πληροφορίες. Ως παράδειγμα, ας εξετάσουμε τις ακόλουθες υποθέσεις:
H0: το σακίδιο μου ΔΕΝ είναι στο δωμάτιό μου (3)
H1: το σακίδιο μου είναι στο δωμάτιό μου (4)
Αν έψαξα στο δωμάτιό μου και βρήκα το σακίδιό μου, υπέροχο, μπορώ να απορρίψω τη μηδενική υπόθεση. Αλλά αν έψαξα γύρω από το δωμάτιο και δεν μπορούσα να βρω το σακίδιό μου (Εικόνα 1), τι συμπέρασμα πρέπει να βγάλω; Είμαι σίγουρος ότι δεν είναι εκεί; Έχω ψάξει αρκετά προσεκτικά; Τι θα γινόταν αν έψαχνα μόνο το 80% του δωματίου; Το να συμπεράνουμε ότι σίγουρα δεν υπάρχει σακίδιο πλάτης στο δωμάτιο θα ήταν μια βιαστική απόφαση. Δεν είναι περίεργο που δεν μπορούμε να "δεχθούμε τη μηδενική υπόθεση".
Η περιοχή που ψάξαμε
Δεν βρήκαμε το σακίδιο - πρέπει να δεχθούμε τη μηδενική υπόθεση;
Εικόνα 1. Η αναζήτηση στο 80% ενός δωματίου είναι περίπου το ίδιο με την αναζήτηση με ισχύ 80%. Εάν δεν βρήκατε ένα σακίδιο πλάτης αφού κοιτάξετε το 80% του δωματίου, μπορείτε να συμπεράνετε ότι δεν είναι εκεί;
Τι πρέπει λοιπόν να κάνει ένας επιστήμονας δεδομένων σε αυτήν την κατάσταση; Μπορείτε να αυξήσετε σημαντικά τη δύναμη της μελέτης, αλλά τότε θα χρειαστείτε ένα πολύ μεγαλύτερο μέγεθος δείγματος και το αποτέλεσμα θα εξακολουθεί να μην είναι ικανοποιητικό.
Ευτυχώς, τέτοια προβλήματα έχουν μελετηθεί από καιρό στον κόσμο της κλινικής έρευνας. Το φάρμακο Β είναι φθηνότερο από το φάρμακο Α. Το φάρμακο Β αναμένεται να προκαλέσει λιγότερες παρενέργειες από το φάρμακο Α. Το φάρμακο Β μεταφέρεται ευκολότερα επειδή δεν χρειάζεται να ψύχεται, αλλά το φάρμακο Α χρειάζεται. Ας ελέγξουμε την υπόθεση της μη κατωτερότητας. Αυτό σημαίνει ότι η έκδοση Β είναι εξίσου καλή με την έκδοση Α—τουλάχιστον εντός κάποιου προκαθορισμένου «όχι λιγότερο αποτελεσματικού» ορίου, Δ. Θα μιλήσουμε περισσότερα για το πώς να θέσετε αυτό το όριο λίγο αργότερα. Αλλά προς το παρόν, ας υποθέσουμε ότι αυτή είναι η ελάχιστη διαφορά που είναι πρακτικά σημαντική (στο πλαίσιο των κλινικών δοκιμών, αυτό συνήθως ονομάζεται κλινική σημασία).
Οι υποθέσεις για όχι λιγότερη αποτελεσματικότητα ανατρέπουν τα πάντα:
Τώρα, αντί να υποθέσουμε ότι δεν υπάρχει διαφορά, υποθέτουμε ότι η έκδοση Β είναι χειρότερη από την έκδοση Α και θα παραμείνουμε σε αυτήν την υπόθεση μέχρι να αποδείξουμε ότι αυτό δεν ισχύει. Σε αυτό ακριβώς το σημείο είναι λογικό να χρησιμοποιείται μονόπλευρος έλεγχος υποθέσεων! Στην πράξη, αυτό μπορεί να γίνει κατασκευάζοντας ένα διάστημα εμπιστοσύνης και προσδιορίζοντας εάν το διάστημα είναι όντως μεγαλύτερο από το Δ (Εικόνα 2).
Επιλογή Δ
Πώς να επιλέξετε το σωστό Δ; Η διαδικασία επιλογής Δ περιλαμβάνει στατιστική αιτιολόγηση και ουσιαστική αξιολόγηση. Στον κόσμο της κλινικής έρευνας, υπάρχουν κανονιστικές κατευθυντήριες γραμμές που προτείνουν ότι το δέλτα πρέπει να είναι η μικρότερη κλινικά σημαντική διαφορά - αυτή που θα έχει σημασία στην πράξη. Ακολουθεί ένα απόσπασμα από το ευρωπαϊκό εγχειρίδιο για να δοκιμάσετε τον εαυτό σας: «Εάν η διαφορά έχει επιλεγεί σωστά, ένα διάστημα εμπιστοσύνης που βρίσκεται εξ ολοκλήρου μεταξύ –∆ και 0… είναι ακόμα αρκετό για να δείξει όχι μικρότερη αποτελεσματικότητα. Εάν αυτό το αποτέλεσμα δεν φαίνεται αποδεκτό, σημαίνει ότι το Δ δεν επιλέχθηκε σωστά.»
Το δέλτα δεν πρέπει οπωσδήποτε να υπερβαίνει το μέγεθος της επίδρασης της Έκδοσης Α σε σχέση με τον πραγματικό έλεγχο (εικονικό φάρμακο/χωρίς θεραπεία), καθώς αυτό μας οδηγεί στο συμπέρασμα ότι η έκδοση Β είναι χειρότερη από την πραγματική μάρτυρα, ενώ ταυτόχρονα δείχνει «όχι λιγότερη αποτελεσματικότητα ". Ας υποθέσουμε ότι όταν παρουσιάστηκε η έκδοση Α, η έκδοση 0 ήταν στη θέση της ή το χαρακτηριστικό δεν υπήρχε καθόλου (βλ. Εικόνα 3).
Με βάση τα αποτελέσματα του ελέγχου της υπόθεσης της υπεροχής, αποκαλύφθηκε το μέγεθος του αποτελέσματος Ε (δηλαδή, πιθανώς μ^A−μ^0=E). Τώρα το Α είναι το νέο μας πρότυπο και θέλουμε να βεβαιωθούμε ότι το Β είναι τόσο καλό όσο το Α. Ένας άλλος τρόπος για να γράψουμε μB−μA≤−Δ (η μηδενική υπόθεση) είναι το μB≤μA−Δ. Αν υποθέσουμε ότι το να κάνεις είναι ίσο ή μεγαλύτερο από το Ε, τότε μB ≤ μA−E ≤ εικονικό φάρμακο. Τώρα βλέπουμε ότι η εκτίμησή μας για μΒ είναι τελείως μεγαλύτερη από το μA−E, κάτι που αναιρεί εντελώς τη μηδενική υπόθεση και μας επιτρέπει να συμπεράνουμε ότι το Β δεν είναι κατώτερο από το Α, αλλά ταυτόχρονα, το μΒ μπορεί να είναι ≤ μ εικονικό φάρμακο, το οποίο δεν είναι αυτό που χρειαζόμαστε. (Εικόνα 3).
Εικόνα 3. Επίδειξη των κινδύνων από την επιλογή ενός περιγράμματος όχι μικρότερης αποτελεσματικότητας. Εάν το όριο είναι πολύ υψηλό, μπορεί να συναχθεί το συμπέρασμα ότι το Β δεν είναι κατώτερο από το Α, αλλά ταυτόχρονα δεν διακρίνεται από το εικονικό φάρμακο. Δεν θα αλλάξουμε ένα φάρμακο που είναι σαφώς πιο αποτελεσματικό από το εικονικό φάρμακο (Α) για ένα φάρμακο που είναι εξίσου αποτελεσματικό με το εικονικό φάρμακο.
Επιλογή α
Ας περάσουμε στην επιλογή του α. Μπορείτε να χρησιμοποιήσετε την τυπική τιμή α = 0,05, αλλά αυτό δεν είναι απολύτως δίκαιο. Όπως, για παράδειγμα, όταν αγοράζετε κάτι στο Διαδίκτυο και χρησιμοποιείτε πολλούς εκπτωτικούς κωδικούς ταυτόχρονα, αν και δεν πρέπει να προστεθούν - ο προγραμματιστής απλώς έκανε ένα λάθος και το ξεφύγατε. Σύμφωνα με τους κανόνες, η τιμή του α πρέπει να είναι ίση με το ήμισυ της τιμής του α, η οποία χρησιμοποιείται για τον έλεγχο της υπόθεσης της υπεροχής, δηλαδή 0,05 / 2 = 0,025.
Το μέγεθος του δείγματος
Πώς να υπολογίσετε το μέγεθος του δείγματος; Εάν υποθέσετε ότι η πραγματική μέση διαφορά μεταξύ Α και Β είναι 0, τότε ο υπολογισμός του μεγέθους του δείγματος είναι ο ίδιος με τον έλεγχο της υπόθεσης υπεροχής, με τη διαφορά ότι αντικαθιστάτε το μέγεθος του αποτελέσματος με ένα όριο όχι μικρότερης απόδοσης, υπό τον όρο ότι χρήση α όχι λιγότερο αποδοτικό = 1/2 α υπεροχή (αnon-inferiority=1/2αsuperiority). Εάν έχετε λόγους να πιστεύετε ότι η επιλογή Β μπορεί να είναι ελαφρώς χειρότερη από την επιλογή Α, αλλά θέλετε να αποδείξετε ότι δεν είναι περισσότερο από Δ χειρότερη, τότε είστε τυχεροί! Στην πραγματικότητα, αυτό μειώνει το μέγεθος του δείγματός σας, επειδή είναι πιο εύκολο να αποδείξετε ότι το Β είναι χειρότερο από το Α, εάν πραγματικά πιστεύετε ότι είναι ελαφρώς χειρότερο, όχι ίσο.
Παράδειγμα Λύσης
Ας υποθέσουμε ότι θέλετε να κάνετε αναβάθμιση στην έκδοση Β, με την προϋπόθεση ότι δεν είναι χειρότερη από 0,1 βαθμούς από την έκδοση Α σε μια κλίμακα ικανοποίησης πελατών 5 βαθμών... Ας προσεγγίσουμε αυτό το πρόβλημα χρησιμοποιώντας την υπόθεση της υπεροχής.
Για να ελέγξουμε την υπόθεση της υπεροχής, θα υπολογίσουμε το μέγεθος του δείγματος ως εξής:
Δηλαδή, αν έχετε 2103 παρατηρήσεις σε μια ομάδα, μπορείτε να είστε 90% σίγουροι ότι θα βρείτε αποτέλεσμα 0,10 ή περισσότερο. Αλλά αν το 0,10 είναι πολύ υψηλό για εσάς, ίσως να μην αξίζει να δοκιμάσετε την υπόθεση της υπεροχής για αυτό. Μπορεί να θέλετε να είστε βέβαιοι ότι θα εκτελέσετε τη μελέτη για μικρότερο μέγεθος εφέ, όπως 0,05. Σε αυτή την περίπτωση, θα χρειαστείτε 8407 παρατηρήσεις, δηλαδή το δείγμα θα αυξηθεί σχεδόν 4 φορές. Τι γίνεται όμως αν παραμείνουμε στο αρχικό μας μέγεθος δείγματος αλλά αυξήσουμε την ισχύ στο 0,99, ώστε να μην αμφιβάλλουμε εάν έχουμε θετικό αποτέλεσμα; Σε αυτήν την περίπτωση, το n για μία ομάδα θα είναι 3676, το οποίο είναι ήδη καλύτερο, αλλά αυξάνει το μέγεθος του δείγματος κατά περισσότερο από 50%. Και ως αποτέλεσμα, απλώς δεν θα είμαστε σε θέση να αντικρούσουμε τη μηδενική υπόθεση και δεν θα λάβουμε απάντηση στην ερώτησή μας.
Τι θα συμβεί αν αντ 'αυτού ελέγξουμε την υπόθεση της όχι μικρότερης αποτελεσματικότητας;
Το μέγεθος του δείγματος θα υπολογιστεί χρησιμοποιώντας τον ίδιο τύπο εκτός από τον παρονομαστή.
Οι διαφορές από τον τύπο που χρησιμοποιείται για τον έλεγχο της υπόθεσης υπεροχής είναι οι εξής:
- Το Z1−a/2 αντικαθίσταται από το Z1−a, αλλά αν κάνετε τα πάντα σύμφωνα με τους κανόνες, αντικαθιστάτε το α = 0,05 με α = 0,025, δηλαδή είναι ο ίδιος αριθμός (1,96)
- εμφανίζεται στον παρονομαστή (μB−μA)
- Το θ (μέγεθος εφέ) αντικαθίσταται από το Δ (όριο όχι μικρότερης απόδοσης)
Αν υποθέσουμε ότι μB = μA, τότε (μB − μA) = 0 και ο υπολογισμός του μεγέθους του δείγματος για το περιθώριο μη κατωτερότητας είναι ακριβώς αυτό που θα παίρναμε κατά τον υπολογισμό της υπεροχής για ένα μέγεθος εφέ 0,1, θαυμάσιο! Μπορούμε να κάνουμε μια μελέτη της ίδιας κλίμακας με διαφορετικές υποθέσεις και διαφορετική προσέγγιση των συμπερασμάτων και θα πάρουμε την απάντηση στο ερώτημα που πραγματικά θέλουμε να απαντήσουμε.
Τώρα ας υποθέσουμε ότι δεν πιστεύουμε πραγματικά ότι μΒ = μΑ και
πιστεύουμε ότι το μΒ είναι λίγο χειρότερο, ίσως κατά 0,01 μονάδες. Αυτό αυξάνει τον παρονομαστή μας, μειώνοντας το μέγεθος του δείγματος ανά ομάδα σε 1737.
Τι συμβαίνει εάν η έκδοση Β είναι πραγματικά καλύτερη από την έκδοση Α; Απορρίπτουμε τη μηδενική υπόθεση ότι το Β είναι χειρότερο από το Α κατά περισσότερο από Δ και αποδεχόμαστε την εναλλακτική υπόθεση ότι το Β, εάν είναι χειρότερο, δεν είναι χειρότερο από το Δ και μπορεί να είναι καλύτερο. Δοκιμάστε να βγάλετε αυτό το συμπέρασμα σε μια διαλειτουργική παρουσίαση και δείτε τι συμβαίνει (σοβαρά, δοκιμάστε το). Σε μια κατάσταση όπου πρέπει να προσανατολιστείς στο μέλλον, κανείς δεν θέλει να συμβιβαστεί με το «χειρότερο από το Δ και ενδεχομένως καλύτερο».
Σε αυτή την περίπτωση, μπορούμε να διεξάγουμε μια μελέτη που ονομάζεται πολύ συνοπτικά «δοκιμάζοντας την υπόθεση ότι μια από τις επιλογές είναι ανώτερη ή κατώτερη από την άλλη». Χρησιμοποιεί δύο ομάδες υποθέσεων:
Το πρώτο σετ (όπως και κατά τον έλεγχο της υπόθεσης της όχι μικρότερης απόδοσης):
Το δεύτερο σετ (όπως και κατά τον έλεγχο της υπόθεσης υπεροχής):
Δοκιμάζουμε τη δεύτερη υπόθεση μόνο εάν η πρώτη απορριφθεί. Στη διαδοχική δοκιμή, διατηρούμε το συνολικό επίπεδο των σφαλμάτων Τύπου Ι (α). Στην πράξη, αυτό μπορεί να επιτευχθεί δημιουργώντας ένα διάστημα εμπιστοσύνης 95% για τη διαφορά μεταξύ των μέσων και ελέγχοντας εάν ολόκληρο το διάστημα είναι μεγαλύτερο από -Δ. Εάν το διάστημα δεν υπερβαίνει το -Δ, δεν μπορούμε να απορρίψουμε τη μηδενική τιμή και να σταματήσουμε. Εάν ολόκληρο το διάστημα είναι όντως μεγαλύτερο από −Δ, θα προχωρήσουμε και θα δούμε αν το διάστημα περιέχει 0.
Υπάρχει ένα άλλο είδος έρευνας που δεν έχουμε συζητήσει - μελέτες ισοδυναμίας.
Οι μελέτες αυτού του τύπου μπορούν να αντικατασταθούν από μελέτες για τον έλεγχο της υπόθεσης της όχι λιγότερο αποτελεσματικότητας και αντίστροφα, αλλά οι ίδιες έχουν μια σημαντική διαφορά. Ένα τεστ μη κατωτερότητας στοχεύει να δείξει ότι η επιλογή Β είναι τουλάχιστον εξίσου καλή με την Α. Και μια μελέτη ισοδυναμίας στοχεύει να δείξει ότι η επιλογή Β είναι τουλάχιστον εξίσου καλή με την Α και η επιλογή Α είναι εξίσου καλή με τη Β, που είναι πιο δύσκολη . Στην ουσία, προσπαθούμε να προσδιορίσουμε εάν ολόκληρο το διάστημα εμπιστοσύνης για τη διαφορά μεταξύ των μέσων βρίσκεται μεταξύ −∆ και Δ. Τέτοιες μελέτες απαιτούν μεγαλύτερα μεγέθη δειγμάτων και διεξάγονται λιγότερο συχνά. Έτσι, την επόμενη φορά που θα κάνετε μια μελέτη όπου το κύριο μέλημά σας είναι να βεβαιωθείτε ότι η νέα έκδοση είναι εξίσου καλή, μην συμβιβαστείτε με το "αποτυχία να διαψεύσετε τη μηδενική υπόθεση". Εάν θέλετε να ελέγξετε μια πραγματικά σημαντική υπόθεση, εξετάστε διαφορετικές επιλογές.
Πηγή: www.habr.com