Wann sollte man die Hypothese über die nicht geringere Effizienz überprüfen?

Der Artikel des Stitch Fix-Teams schlägt vor, einen Ansatz klinischer Studien mit nicht minderer Wirksamkeit (non-inferiority trials) in Marketing- und Produkt-A/B-Tests zu verwenden. Dieser Ansatz ist tatsächlich anwendbar, wenn wir eine neue Lösung testen, die Vorteile hat, die in Tests nicht messbar sind.

Das einfachste Beispiel ist die Senkung der Kosten. Zum Beispiel automatisieren wir den Prozess der Einplanung der ersten Unterrichtsstunde, wollen aber die Gesamtconversion nicht stark senken. Oder wir testen Änderungen, die auf ein bestimmtes Benutzersegment ausgerichtet sind, während wir darauf achten, dass die Conversions in anderen Segmenten nicht stark zurückgehen (bei der Testung mehrerer Hypothesen vergessen wir nicht die Anpassungen).

Die Wahl der richtigen Grenze der nicht minderwertigen Wirksamkeit bringt zusätzliche Schwierigkeiten in der Designphase des Tests mit sich. Die Frage, wie man Δ in dem Artikel wählt, ist nicht besonders gut behandelt. Es scheint, dass diese Wahl nicht ganz transparent ist, auch bei klinischen Studien. Überblick Medizinische Publikationen zu non-inferiority zeigen, dass nur in der Hälfte der Publikationen die Wahl der Grenze begründet wird und diese Begründungen oft unklar oder nicht detailliert sind.

In jedem Fall scheint dieser Ansatz interessant zu sein, da er durch die Reduzierung der erforderlichen Stichprobengröße die Testgeschwindigkeit erhöhen und somit auch die Geschwindigkeit der Entscheidungsfindung steigern kann. Daria Mukhina, Produktanalytikerin der mobilen App Skyeng.

Das Stitch Fix-Team testet gerne verschiedene Dinge. Die gesamte Technologiegemeinschaft führt im Grunde gerne Tests durch. Welche Version der Website zieht mehr Benutzer an – A oder B? Bringt Version A des Empfehlungssystems mehr Geld als Version B? Fast immer verwenden wir zur Überprüfung von Hypothesen den einfachsten Ansatz aus dem Grundkurs Statistik:

Obwohl wir diesen Begriff selten verwenden, wird diese Form des Testens als „Hypothesentest von Überlegenheit“ bezeichnet. Bei diesem Ansatz nehmen wir an, dass zwischen zwei Optionen kein Unterschied besteht. Wir halten an dieser Idee fest und geben sie nur auf, wenn die erhaltenen Daten dafür ausreichend überzeugend sind – also zeigen, dass eine der Optionen (A oder B) besser ist als die andere.

Die Überprüfung der Hypothese der Überlegenheit eignet sich zur Lösung vieler Probleme. Wir geben die B-Version des Empfehlungsmodells nur dann heraus, wenn sie offensichtlich besser ist als die bereits verwendete A-Version. In einigen Fällen funktioniert dieser Ansatz jedoch nicht so gut. Lassen Sie uns einige Beispiele betrachten.

1) Wir verwenden einen Drittanbieterdienst, der hilft, gefälschte Bankkarten zu identifizieren. Wir haben einen anderen Dienst gefunden, der deutlich günstiger ist. Wenn der günstigere Dienst genauso gut funktioniert wie der, den wir derzeit verwenden, wählen wir ihn aus. Er muss nicht unbedingt besser sein als der derzeit genutzte Dienst.

2) Wir möchten die Datenquelle A ablegen und durch Datenquelle B ersetzen. Wir könnten den Verzicht auf A aufschieben, wenn B sehr schlechte Ergebnisse liefert, aber weiterhin A zu verwenden, ist nicht möglich.

3) Wir möchten von der ModellierungsansatzA auf Ansatz B wechseln, nicht weil wir von B bessere Ergebnisse erwarten, sondern weil es uns größere operative Flexibilität bietet. Wir haben keinen Grund zu glauben, dass B schlechter sein wird, aber wir werden den Wechsel nicht vollziehen, wenn dem so ist.

4) Wir haben einige qualitative Änderungen am Design der Website (Version B) vorgenommen und sind der Meinung, dass diese Version die Version A übertrifft. Wir erwarten keine Änderungen in der Konversion oder bei anderen wichtigen Leistungskennzahlen, anhand derer wir die Website normalerweise bewerten. Aber wir glauben, dass es Vorteile in Aspekten gibt, die entweder nicht messbar sind oder bei denen unsere Technologien nicht ausreichen, um sie zu messen.

In all diesen Fällen ist die Forschung zur Überlegenheit keine optimale Lösung. Doch die meisten Fachleute verwenden sie in solchen Situationen standardmäßig. Wir führen das Experiment sorgfältig durch, um die Effektstärke korrekt zu bestimmen. Wenn es wahr wäre, dass die Versionen A und B sehr ähnlich funktionieren, besteht die Wahrscheinlichkeit, dass wir die Nullhypothese nicht ablehnen können. Können wir folgern, dass A und B insgesamt gleich gut funktionieren? Nein! Die Unfähigkeit, die Nullhypothese abzulehnen, und die Annahme der Nullhypothese sind nicht dasselbe.

Die Berechnungen des Stichprobenumfangs (die Sie, selbstverständlich, durchgeführt haben), erfolgen in der Regel mit strengeren Grenzen für Fehler erster Art (die Wahrscheinlichkeit eines fälschlichen Ablehnens der Nullhypothese, oft als Alpha bezeichnet) als für Fehler zweiter Art (die Wahrscheinlichkeit, die Nullhypothese nicht abzulehnen, wenn die Nullhypothese falsch ist, oft als Beta bezeichnet). Ein typischer Wert für Alpha beträgt 0,05, während ein typischer Wert für Beta 0,20 beträgt, was einer statistischen Power von 0,80 entspricht. Das bedeutet, dass wir mit einer Wahrscheinlichkeit von 20 % möglicherweise den tatsächlichen Effekt der Größe, die wir in unseren Power-Berechnungen angegeben haben, nicht entdecken und dies eine erhebliche Informationslücke darstellt. Lassen Sie uns als Beispiel folgende Hypothesen betrachten:

H0: mein Rucksack ist NICHT in meinem Zimmer (3)
H1: mein Rucksack ist in meinem Zimmer (4)

Wenn ich mein Zimmer durchsucht habe und meinen Rucksack gefunden habe – großartig, ich kann die Nullhypothese ablehnen. Aber wenn ich das Zimmer durchsucht habe und meinen Rucksack nicht finden konnte (Abb. 1), was für einen Schluss soll ich ziehen? Bin ich mir sicher, dass er dort nicht ist? Habe ich gründlich genug gesucht? Was, wenn ich nur 80 % des Zimmers durchsucht habe? Zu folgern, dass der Rucksack definitiv nicht im Zimmer ist, wäre eine überstürzte Entscheidung. Es ist nicht verwunderlich, dass wir die „Nullhypothese nicht annehmen können“.

Der Bereich, den wir durchsucht haben
Wir haben den Rucksack nicht gefunden – sollten wir die Nullhypothese annehmen?

Abb. 1. 80 % des Zimmers zu durchsuchen, ist ungefähr dasselbe wie eine Studie mit einer Power von 80 %. Wenn Sie den Rucksack nicht gefunden haben, nachdem Sie 80 % des Zimmers durchsucht haben, kann man dann folgern, dass er dort nicht ist?

Was sollte also ein Data Scientist in dieser Situation tun? Sie können die Power der Studie erheblich erhöhen, aber dann benötigen Sie eine viel größere Stichprobe, und das Ergebnis wird dennoch unbefriedigend sein.

Glücklicherweise werden solche Probleme seit langem in der Welt klinischer Studien erforscht. Das Medikament B ist günstiger als Medikament A; es wird erwartet, dass Medikament B weniger Nebenwirkungen verursacht als Medikament A; Medikament B lässt sich leichter transportieren, da es nicht gekühlt werden muss, während dies bei Medikament A erforderlich ist. Lassen Sie uns die Hypothese über die nicht geringere Wirksamkeit überprüfen. Dies ist notwendig, um zu zeigen, dass Version B ebenso gut ist wie Version A – mindestens innerhalb eines vordefinierten Schwellenwertes der „nicht geringeren Wirksamkeit“, Δ. Später werden wir ausführlicher darüber sprechen, wie dieser Schwellenwert festgelegt wird. Aber nehmen wir jetzt an, dass dies die minimale, praktisch relevante Differenz ist (im Kontext klinischer Studien wird dies normalerweise als klinische Relevanz bezeichnet).

Hypothesen zur nicht geringeren Wirksamkeit drehen alles auf den Kopf:

Jetzt schlagen wir anstelle der Annahme, dass es keinen Unterschied gibt, vor, dass Version B schlechter ist als Version A, und wir werden diese Annahme beibehalten, bis wir nachweisen, dass sie nicht zutrifft. Genau hier macht es Sinn, einen einseitigen Hypothesentest zu verwenden! In der Praxis kann dies durch den Bau eines Konfidenzintervalls geschehen, um festzustellen, ob das Intervall tatsächlich größer als Δ ist (Abbildung 2).

Auswahl von Δ

Wie wählt man Δ richtig aus? Der Auswahlprozess von Δ umfasst eine statistische Begründung und eine fachliche Bewertung. In der Welt der klinischen Forschung gibt es normative Empfehlungen, aus denen hervorgeht, dass Delta das kleinste klinisch signifikante Differenz darstellen sollte – eine, die in der Praxis relevant ist. Hier ist ein Zitat aus den europäischen Richtlinien, um sich selbst zu überprüfen: „Wenn der Unterschied richtig gewählt wurde, ist ein Konfidenzintervall, das vollständig zwischen -∆ und 0 liegt…, immer noch ausreichend, um nicht geringere Wirksamkeit zu demonstrieren. Wenn dieses Ergebnis nicht akzeptabel erscheint, bedeutet dies, dass ∆ nicht richtig ausgewählt wurde“.

Die Delta darf definitiv nicht größer sein als die Effektgröße von Version A im Vergleich zur echten Kontrolle (Placebo / keine Behandlung), da dies darauf hindeutet, dass Version B schlechter ist als die echte Kontrolle und gleichzeitig eine „nicht geringere Wirksamkeit“ zeigt. Angenommen, als Version A eingeführt wurde, gab es Version 0 oder die Funktion existierte überhaupt nicht (siehe Abbildung 3).

Laut den Ergebnissen des Tests der Überlegenheits-Hypothese wurde die Effektgröße E festgestellt (das heißt, vermutet μ^A−μ^0=E). Jetzt ist A unser neuer Standard, und wir möchten sicherstellen, dass B A nicht unterlegen ist. Eine andere Möglichkeit, μB−μA≤−Δ (Nullhypothese) zu schreiben, ist μB≤μA−Δ. Wenn wir annehmen, dass die Handlung gleich oder größer als E ist, dann ist μB ≤ μA−E ≤ Placebo. Jetzt sehen wir, dass unsere Schätzung für μB vollständig größer als μA−E ist, was somit die Nullhypothese vollständig widerlegt und zu dem Schluss führt, dass B A nicht unterlegen ist, aber gleichzeitig kann μB ≤ μ Placebo sein, und das ist nicht, was wir brauchen. (Abbildung 3).

Abbildung 3. Demonstration der Risiken der Wahl einer Grenze für nicht geringere Wirksamkeit. Wenn die Grenze zu hoch ist, kann man zu dem Schluss kommen, dass B A nicht unterlegen ist, aber gleichzeitig nicht von Placebo zu unterscheiden ist. Wir werden das Medikament, das eindeutig wirksamer ist als Placebo (A), nicht gegen ein Medikament austauschen, das die gleiche Wirksamkeit wie Placebo hat.

Wahl von α

Kommen wir zur Wahl von α. Man kann den Standardwert α = 0,05 verwenden, aber das ist nicht ganz fair. Zum Beispiel, wenn Sie online etwas kaufen und gleichzeitig mehrere Rabattcodes verwenden, obwohl diese nicht addiert werden dürfen — der Entwickler hat einfach einen Fehler gemacht, und Ihnen ist es nicht aufgefallen. Nach den Regeln sollte der Wert von α die Hälfte des Wertes von α betragen, der beim Test der Überlegenheits-Hypothese verwendet wird, d. h. 0,05 / 2 = 0,025.

Stichprobengröße

Wie schätzt man die Stichprobengröße? Wenn Sie glauben, dass der wahre Unterschied der Mittelwerte zwischen A und B gleich 0 ist, dann wird die Berechnung der Stichprobengröße die gleiche sein wie bei der Überprüfung der Überlegenheits-Hypothese, nur dass Sie die Effektgröße durch die Grenze für nicht geringere Wirksamkeit ersetzen, vorausgesetzt, Sie verwenden αnicht geringere Wirksamkeit = 1/2αüberlegenheit (αNon-Inferiorität=1/2αÜberlegenheit). Wenn Sie Grund zu der Annahme haben, dass Variante B etwas schlechter sein könnte als Variante A, aber nachweisen möchten, dass sie nicht mehr als um Δ schlechter ist, dann sind Sie im Vorteil! Tatsächlich verringert dies die Größe Ihrer Stichprobe, da es einfacher ist, zu zeigen, dass B schlechter ist als A, wenn Sie tatsächlich glauben, dass es etwas schlechter ist, anstatt gleichwertig.

Beispiel mit der Entscheidung

Angenommen, Sie möchten zu Version B wechseln, vorausgesetzt, dass sie nicht mehr als 0,1 Punkte auf einer 5-Punkte-Skala der Kundenzufriedenheit schlechter ist als Version A... Gehen wir diese Aufgabe an, indem wir die Überlegenheits-Hypothese verwenden.

Zur Überprüfung der Überlegenheits-Hypothese würden wir die Stichprobengröße wie folgt berechnen:

Das heißt, wenn Sie in Ihrer Gruppe 2103 Beobachtungen haben, können Sie sich zu 90 % sicher sein, dass Sie einen Effekt von 0,10 oder mehr feststellen. Wenn Ihnen jedoch der Wert von 0,10 zu groß erscheint, macht es möglicherweise keinen Sinn, die Überlegenheits-Hypothese dafür zu testen. Vielleicht entscheiden Sie sich für mehr Zuverlässigkeit, eine Studie für eine kleinere Effektgröße, wie 0,05, durchzuführen. In diesem Fall benötigen Sie 8407 Beobachtungen, was die Stichprobe fast vervierfacht. Aber was, wenn wir bei unserer ursprünglichen Stichprobengröße bleiben, die Power jedoch auf 0,99 erhöhen, so dass wir uns sicher sind, wenn wir ein positives Ergebnis erhalten? In diesem Fall würde n für eine Gruppe 3676 betragen, was schon besser ist, aber die Stichprobengröße um mehr als 50 % erhöht. Und letztendlich können wir trotzdem die Nullhypothese nicht ablehnen, sondern erhalten keine Antwort auf unsere Frage.

Was, wenn wir stattdessen die Hypothese der Nicht-Unterlegenheit testen?

Die Stichprobengröße wird nach derselben Formel berechnet, mit der Ausnahme des Nenners.
Die Unterschiede zu der Formel, die bei der Überprüfung der Überlegenheits-Hypothese verwendet wird, sind die folgenden:

— Z1−α/2 wird durch Z1−α ersetzt, aber wenn Sie alles nach Vorschrift machen, ersetzen Sie α = 0,05 durch α = 0,025, das heißt, es ist dasselbe Zahl (1,96)

— im Nenner erscheint (μB−μA)

— θ (Effektgröße) wird durch Δ (Grenze der Nicht-Unterlegenheit) ersetzt

Wenn wir annehmen, dass µB = µA, dann ist (µB − µA) = 0 und die Berechnung der Stichprobengröße für die Grenze nicht geringerer Wirksamkeit ist genau das, was wir erhalten würden, wenn wir die Überlegenheit für eine Effektgröße von 0,1 berechnen, hervorragend! Wir können eine Studie im selben Umfang mit verschiedenen Hypothesen und einem anderen Ansatz zu den Schlussfolgerungen durchführen, und wir werden die Antwort auf die Frage erhalten, die wir tatsächlich beantworten möchten.

Nun nehmen wir an, dass wir tatsächlich nicht glauben, dass µB = µA und
denken, dass µB etwas schlechter ist, möglicherweise um 0,01 Einheiten. Das erhöht unseren Nenner und reduziert die Stichprobengröße der Gruppe auf 1737.

Was passiert, wenn Version B tatsächlich besser ist als Version A? Wir widerlegen die Nullhypothese, dass B schlechter ist als A, um mehr als Δ und akzeptieren die alternative Hypothese, dass B, wenn es schlechter ist, nicht schlechter als Δ und möglicherweise besser ist. Versuchen Sie, diese Schlussfolgerung in die bereichsübergreifende Präsentation einzufügen und sehen Sie, was dabei herauskommt (im Ernst, versuchen Sie es). In einer Situation, in der es darum geht, sich perspektivisch zu orientieren, möchte niemand sich auf "nicht schlechter als Δ und möglicherweise besser" festlegen.

In diesem Fall können wir eine Studie durchführen, die sehr kurz als „Hypothesenprüfung, dass eine der Optionen die andere übertrifft oder unterliegt“ bezeichnet wird. Sie verwendet zwei Sets von Hypothesen:

Das erste Set (dasselbe wie bei der Überprüfung der Hypothese von nicht geringerer Wirksamkeit):

Das zweite Set (dasselbe wie bei der Überprüfung der Hypothese von Überlegenheit):

Wir prüfen die zweite Hypothese nur, wenn die erste abgelehnt wird. Bei sequenziellen Tests bewahren wir das Gesamtniveau der Fehler erster Art (α). In der Praxis kann dies erreicht werden, indem ein 95 % Vertrauensintervall für die Differenz zwischen den Mitteln erstellt und geprüft wird, ob das gesamte Intervall -Δ überschreitet. Wenn das Intervall -Δ nicht überschreitet, können wir den Nullwert nicht ablehnen und stoppen. Wenn das gesamte Intervall tatsächlich -Δ überschreitet, fahren wir fort und prüfen, ob das Intervall 0 enthält.

Es gibt noch einen anderen Typ von Studien, den wir nicht besprochen haben – Equivalenzstudien.

Forschungen dieser Art können durch Studien ersetzt werden, die die Hypothese auf die gleiche Wirksamkeit testen und umgekehrt, jedoch gibt es dabei einen wichtigen Unterschied. Eine Studie zur Überprüfung der Hypothese auf gleichwertige Wirksamkeit zielt darauf ab, zu zeigen, dass Option B mindestens so gut ist wie A. Eine Äquivalenzstudie zielt darauf ab, zu zeigen, dass Option B mindestens so gut ist wie A und dass Option A auch so gut ist wie B, was komplizierter ist. Im Wesentlichen versuchen wir, zu bestimmen, ob der gesamte Vertrauensintervall für die Differenz der Mittelwerte zwischen −Δ und Δ liegt. Solche Studien erfordern eine größere Stichprobengröße und werden seltener durchgeführt. Daher, wenn Sie das nächste Mal eine Studie durchführen, bei der Ihr Hauptziel darin besteht, sicherzustellen, dass die neue Version nicht schlechter ist, stimmen Sie nicht in die „Unfähigkeit ein, die Nullhypothese zu widerlegen“. Wenn Sie eine wirklich wichtige Hypothese testen möchten, ziehen Sie verschiedene Optionen in Betracht.

Quelle: habr.com