Der Artikel des Stitch Fix-Teams schlägt vor, den Ansatz klinischer Studien zur nicht Unterlegenheit (non-inferiority trials) in Marketing- und Produkt-A/B-Tests zu nutzen. Dieser Ansatz ist tatsächlich anwendbar, wenn wir eine neue Lösung testen, die Vorteile bietet, die in Tests nicht messbar sind.
Ein einfaches Beispiel ist die Kostenreduzierung. Zum Beispiel automatisieren wir den Prozess der Terminierung der ersten Stunde, möchten aber nicht die durchgängige Conversion stark beeinträchtigen. Oder wir testen Änderungen, die auf ein Nutzungssegment ausgerichtet sind, während wir darauf achten, dass die Conversions in anderen Segmenten nicht deutlich sinken (bei der Testung mehrerer Hypothesen sollten wir Anpassungen nicht vergessen).
Die Auswahl der richtigen Grenze für die nicht Unterlegenheit stellt zusätzliche Herausforderungen bei der Testgestaltung dar. Die Frage, wie Δ gewählt wird, wird im Artikel nicht sehr gut behandelt. Es scheint, dass diese Wahl nicht ganz klar ist und auch in klinischen Studien. Medizinische Publikationen zu non-inferiority berichten, dass nur in der Hälfte der Publikationen die Wahl der Grenze begründet wird, und diese Begründungen oft mehrdeutig oder unzureichend sind.
In jedem Fall erscheint dieser Ansatz interessant, da die Reduzierung der erforderlichen Stichprobengröße die Testgeschwindigkeit erhöhen und somit auch die Entscheidungsfindung beschleunigen kann. — Daria Mukhina, Produktanalytikerin der mobilen Anwendung Skyeng.
Das Team von Stitch Fix testet gerne verschiedene Dinge. Die gesamte Technologiegemeinschaft führt grundsätzlich Tests durch. Welche Version der Website zieht mehr Benutzer an – A oder B? Bringt Version A des Empfehlungsmodells mehr Geld ein als Version B? Fast immer verwenden wir zur Überprüfung von Hypothesen den einfachsten Ansatz aus dem Grundlagenkurs Statistik:
Obwohl wir diesen Begriff selten verwenden, wird diese Testform als „Überlegenheitsprüfung“ bezeichnet. Bei diesem Ansatz gehen wir davon aus, dass es zwischen den beiden Varianten keinen Unterschied gibt. Wir halten an dieser Annahme fest und fallen nur davon ab, wenn die erhaltenen Daten dafür ausreichend überzeugend sind – das heißt, sie zeigen, dass eine der Varianten (A oder B) besser ist als die andere.
Die Überprüfung der Hypothese der Überlegenheit eignet sich zur Lösung vieler Probleme. Wir bringen die B-Version des Empfehlungsmodells nur dann heraus, wenn sie offensichtlich besser ist als die bereits verwendete Version A. In einigen Fällen funktioniert dieser Ansatz jedoch nicht so gut. Betrachten wir einige Beispiele.
1) Wir nutzen einen externen Dienst, der dabei hilft, gefälschte Bankkarten zu identifizieren. Wir haben einen anderen Service gefunden, der deutlich günstiger ist. Wenn der günstigere Service genauso gut funktioniert wie der, den wir derzeit nutzen, werden wir ihn wählen. Er muss nicht unbedingt besser sein als der verwendete Service.
2) Wir möchten die Datenquelle A abschaffen und sie durch Datenquelle B ersetzen. Wir könnten den Abschied von A hinauszögern, wenn B sehr schlechte Ergebnisse liefert, aber es ist nicht möglich, weiter A zu nutzen.
3) Wir würden gerne von der ModellierungsansatzA zu Ansatz B wechseln, nicht weil wir bessere Ergebnisse von B erwarten, sondern weil es uns mehr operative Flexibilität bietet. Wir haben keinen Grund zu der Annahme, dass B schlechter sein wird, aber wir werden den Wechsel nicht vornehmen, wenn dem so ist.
4) Wir haben qualitativ hochwertige Änderungen am Design der Website (Version B) vorgenommen und sind der Meinung, dass diese Version Version A übertrifft. Wir erwarten keine Veränderungen bei der Conversion oder anderen wichtigen Leistungskennzahlen, anhand derer wir die Website normalerweise bewerten. Dennoch glauben wir, dass es Vorteile in Aspekten gibt, die entweder nicht messbar sind oder für die unsere Technologien nicht ausreichen. In all diesen Fällen ist das Streben nach Überlegenheit nicht die beste Lösung. Dennoch nutzen die meisten Fachleute in solchen Situationen dies standardmäßig. Wir führen das Experiment sorgfältig durch, um die Effektgröße genau zu bestimmen. Selbst wenn es zuträfe, dass Versionen A und B sehr ähnlich funktionieren, besteht die Möglichkeit, dass wir die Nullhypothese nicht ablehnen können. Können wir daraus schließen, dass A und B insgesamt gleich funktionieren? Nein! Die Unfähigkeit, die Nullhypothese abzulehnen, und die Annahme der Nullhypothese sind nicht dasselbe.
In all these cases, investigating superiority may not be the best solution. However, most professionals default to it in such situations. We carefully conduct experiments to accurately determine the magnitude of the effect. If it were true that versions A and B operate in a very similar way, we might not be able to reject the null hypothesis. Do we conclude that A and B function identically overall? No! The inability to reject the null hypothesis is not the same as accepting it.
Die Berechnungen des Stichprobenvolumens, die Sie natürlich durchgeführt haben, erfolgen in der Regel mit strengeren Grenzen für den Fehler erster Art (die Wahrscheinlichkeit einer fälschlichen Ablehnung der Nullhypothese, oft als Alpha bezeichnet) als für den Fehler zweiter Art (die Wahrscheinlichkeit, die Nullhypothese nicht abzulehnen, obwohl sie falsch ist, oft als Beta bezeichnet). Typischerweise beträgt der Wert für Alpha 0,05, während der Wert für Beta 0,20 beträgt, was einer statistischen Power von 0,80 entspricht. Das bedeutet, dass wir mit einer Wahrscheinlichkeit von 20 % kein tatsächliches Einfluss der Größe, die wir in unseren Power-Berechnungen angegeben haben, feststellen können, und das ist eine ziemlich erhebliche Informationslücke. Lassen Sie uns als Beispiel folgende Hypothesen betrachten:
H0: Mein Rucksack ist NICHT in meinem Zimmer (3)
H1: Mein Rucksack ist in meinem Zimmer (4)
Wenn ich mein Zimmer durchsucht habe und meinen Rucksack gefunden habe – großartig, dann kann ich die Nullhypothese ablehnen. Aber wenn ich das Zimmer durchsucht habe und meinen Rucksack nicht finden konnte (Abbildung 1), was sollte ich dann annehmen? Bin ich mir sicher, dass er nicht dort ist? Habe ich gründlich genug gesucht? Was, wenn ich nur 80 % des Zimmers durchsucht habe? Zu konstatieren, dass der Rucksack mit Sicherheit nicht im Zimmer ist, wäre eine voreilige Schlussfolgerung. Es ist nicht verwunderlich, dass wir die "Nullhypothese" nicht "annehmen" können.
Der Bereich, den wir durchsucht haben
Wir haben den Rucksack nicht gefunden – sollten wir die Nullhypothese annehmen?
Abbildung 1. 80 % des Zimmers zu durchsuchen ist ungefähr das Gleiche wie eine Studie mit einer Power von 80 %. Wenn Sie den Rucksack nicht finden, nachdem Sie 80 % des Zimmers durchsucht haben, kann man dann schließen, dass er nicht dort ist?
Was sollte also ein Datenexperte in dieser Situation tun? Sie können die Studie erheblich verstärken, aber dafür benötigen Sie eine viel größere Stichprobe, und das Ergebnis wird dennoch unbefriedigend sein.
Glücklicherweise sind solche Probleme bereits seit langem in der klinischen Forschung untersucht. Das Medikament B ist günstiger als Medikament A; außerdem wird erwartet, dass Medikament B weniger Nebenwirkungen hervorruft als Medikament A. Zudem lässt sich Medikament B leichter transportieren, da es nicht im Kühlschrank gelagert werden muss, während dies für Medikament A erforderlich ist. Lassen Sie uns die Hypothese über die nicht geringere Wirksamkeit überprüfen. Dies ist notwendig, um zu zeigen, dass Version B genauso gut ist wie Version A – zumindest innerhalb einer zuvor festgelegten Grenze der "nicht geringeren Wirksamkeit", Δ. Etwas später werden wir genauer darüber sprechen, wie man diese Grenze festlegt. Aber nehmen wir jetzt an, dass dies der minimale Unterschied ist, der praktisch signifikant ist (im Kontext klinischer Studien wird dies normalerweise als klinische Signifikanz bezeichnet).
Die Hypothesen über die nicht geringere Wirksamkeit stellen alles auf den Kopf:
Statt einfach anzunehmen, dass es keinen Unterschied gibt, gehen wir davon aus, dass Version B schlechter ist als Version A, und wir werden diese Annahme beibehalten, bis das Gegenteil bewiesen ist. Genau an diesem Punkt macht es Sinn, das Testing einer einseitigen Hypothese anzuwenden! In der Praxis kann dies erfolgen, indem ein Konfidenzintervall konstruiert wird, um festzustellen, ob der Intervall tatsächlich größer ist als Δ (Abbildung 2).
Auswahl von Δ
Wie wählt man Δ richtig aus? Der Prozess der Auswahl von Δ umfasst eine statistische Begründung und eine sachliche Bewertung. In der Welt der klinischen Forschung gibt es normative Empfehlungen, die besagen, dass Delta das kleinste klinisch relevante Differenz darstellen sollte – eine, die in der Praxis von Bedeutung ist. Hier ist ein Zitat aus den europäischen Richtlinien, um sich selbst zu überprüfen: „Wenn die Differenz richtig gewählt wurde, ist ein Konfidenzintervall, das vollständig zwischen –∆ und 0 liegt…, immer noch ausreichend, um eine nicht geringere Wirksamkeit nachzuweisen. Wenn dieses Ergebnis nicht akzeptabel erscheint, bedeutet dies, dass ∆ nicht ordnungsgemäß ausgewählt wurde.“
Die Delta-Variation sollte auf keinen Fall die Effektgröße der Version A im Verhältnis zur echten Kontrolle (Placebo / Keine Behandlung) überschreiten, da dies zu dem Schluss führen würde, dass Version B schlechter ist als die echte Kontrolle und gleichzeitig eine "nicht geringere Effizienz" aufweist. Angenommen, als Version A vorgestellt wurde, gab es entweder Version 0 oder die Funktion existierte überhaupt nicht (siehe Abbildung 3).
Die Überprüfung der Überlegenheits-Hypothese ergab die Effektgröße E (d.h. angeblich μ^A−μ^0=E). Jetzt ist A unser neuer Standard, und wir wollen sicherstellen, dass B nicht schlechter ist als A. Eine andere Möglichkeit, μB−μA≤−Δ (Nullhypothese) zu formulieren, ist μB≤μA−Δ. Wenn wir annehmen, dass dies gleich oder größer als E ist, folgt μB ≤ μA−E ≤ Platz. Jetzt sehen wir, dass unsere Schätzung für μB vollständig μA−E übersteigt, was die Nullhypothese vollständig widerlegt und den Schluss zulässt, dass B nicht schlechter ist als A, aber gleichzeitig μB ≤ μ Platz haben kann, was nicht das ist, was wir benötigen. (Abbildung 3).
Abbildung 3. Darstellung der Risiken der Wahl einer Grenze für die minimale Effektivität. Wenn die Grenze zu hoch ist, könnte man schlussfolgern, dass B A nicht unterlegen ist, aber gleichzeitig nicht von einem Placebo zu unterscheiden ist. Wir werden ein Medikament, das eindeutig effektiver als das Placebo (A) ist, nicht gegen ein Medikament eintauschen, das die gleiche Effektivität wie das Placebo hat.
Wahl von α
Kommen wir zur Wahl von α. Man kann den Standardwert α = 0,05 verwenden, aber das ist nicht ganz fair. Es ist wie beim Einkaufen im Internet, wo man mehrere Rabattcodes gleichzeitig benutzt, obwohl dies nicht zulässig ist — einfach, weil der Entwickler einen Fehler gemacht hat und Ihnen dies durchgeht. Nach den Regeln sollte der Wert von α die Hälfte des Wertes von α sein, der für den Test der Überlegenheits-Hypothese verwendet wird, also 0,05 / 2 = 0,025.
Stichprobengröße
Wie bewertet man die Stichprobengröße? Wenn Sie glauben, dass der wahre Unterschied der Mittelwerte zwischen A und B 0 beträgt, wird die Berechnung der Stichprobengröße die gleiche sein wie bei der Überprüfung der Überlegenheitshypothese, mit dem Unterschied, dass Sie die Effektgröße durch die Grenze für die minimale Effektivität ersetzen, vorausgesetzt, Sie verwenden nicht geringere Effektivität = 1/2Überlegenheit (nicht-Geringschätzung=1/2Überlegenheit). Wenn Sie Grund zu der Annahme haben, dass Variante B leicht schlechter sein könnte als Variante A, aber nachweisen möchten, dass sie nicht um mehr als Δ schlechter ist, dann haben Sie Glück! Tatsächlich verringert dies die Größe Ihrer Stichprobe, da es einfacher ist zu zeigen, dass B schlechter ist als A, wenn Sie tatsächlich glauben, dass es etwas schlechter ist und nicht gleichwertig.
Beispiel mit Entscheidungsfindung
Angenommen, Sie möchten zu Version B wechseln, unter der Voraussetzung, dass sie nicht mehr als 0,1 Punkte schlechter ist als Version A auf einer 5-Punkte-Skala der Kundenzufriedenheit... Lassen Sie uns diese Aufgabe angehen, indem wir die Überlegenheits-Hypothese verwenden.
Um die Überlegenheits-Hypothese zu testen, würden wir die Stichprobengröße folgendermaßen berechnen:
Das bedeutet, wenn Sie in Ihrer Gruppe 2.103 Beobachtungen haben, können Sie sich zu 90 % sicher sein, einen Effekt von 0,10 oder mehr zu entdecken. Wenn Ihnen jedoch der Wert 0,10 zu hoch ist, sollten Sie vielleicht keine Hypothese zur Überlegenheit testen. Möglicherweise entscheiden Sie sich aus Gründen der Zuverlässigkeit, eine Studie für einen kleineren Effekt, etwa 0,05, durchzuführen. In diesem Fall benötigen Sie 8.407 Beobachtungen, was bedeutet, dass sich die Stichprobe fast vervierfacht. Aber was, wenn wir bei unserer ursprünglichen Stichprobengröße bleiben, aber die Power auf 0,99 erhöhen, um sicherzustellen, dass wir keine Zweifel haben, wenn wir ein positives Ergebnis erhalten? In diesem Fall würde n für eine Gruppe 3.676 betragen, was schon besser ist, aber die Stichprobengröße um mehr als 50 % erhöht. Und letztlich werden wir trotzdem die Nullhypothese nicht widerlegen können, sondern erhalten keine Antwort auf unsere Frage.
Was, wenn wir stattdessen die Hypothese auf eine nicht geringere Effektivität testen?
Die Stichprobengröße wird nach derselben Formel berechnet, mit der Ausnahme des Nenners.
Die Unterschiede zur Formel, die bei der Prüfung der Hypothese zur Überlegenheit verwendet wird, sind wie folgt:
— Z1−α/2 wird durch Z1−α ersetzt. Wenn Sie jedoch alles nach den Regeln machen, ersetzen Sie α = 0,05 durch α = 0,025, was dasselbe Ergebnis (1,96) ergibt.
— Im Nenner erscheint (μB−μA).
— θ (Effektgröße) wird durch Δ (Schwellenwert der minimalen Effektivität) ersetzt.
Angenommen, wir gehen davon aus, dass µB = µA, dann ist (µB − µA) = 0, und die Berechnung der Stichprobengröße für den Schwellenwert der minimalen Effektivität entspricht genau dem, was wir bei der Berechnung der Überlegenheit für eine Effektgröße von 0,1 erhalten würden. Großartig! Wir können eine Studie im selben Umfang mit verschiedenen Hypothesen und einem anderen Ansatz zur Schlussfolgerung durchführen und die Antwort auf die Frage erhalten, die wir tatsächlich beantworten möchten.
Nehmen wir nun an, dass wir tatsächlich nicht glauben, dass µB = µA, und
denken, dass µB etwas schlechter ist, vielleicht um 0,01 Einheiten. Das erhöht unseren Nenner und verringert die Stichprobengröße der Gruppe auf 1737.
Was passiert, wenn Version B tatsächlich besser ist als Version A? Wir widerlegen die Nullhypothese, dass B schlechter ist als A, um mehr als Δ und nehmen die alternative Hypothese an, dass B, wenn es schlechter ist, nicht schlechter als Δ ist und möglicherweise besser sein könnte. Versuchen Sie, dieses Fazit in eine funktionsübergreifende Präsentation einzutragen und sehen Sie, was dabei herauskommt (ernsthaft, versuchen Sie es). In einer Situation, in der es darauf ankommt, die Perspektive zu betrachten, möchte niemand sich mit „nicht schlechter als Δ und möglicherweise besser“ zufriedengeben.
In diesem Fall können wir eine Untersuchung durchführen, die sehr kurz als „Hypothesenprüfung, ob eine Option die andere übertrifft oder unterliegt“ bezeichnet wird. Dabei werden zwei Hypothesensätze verwendet:
Der erste Satz (gleichermaßen wie bei der Prüfung der Hypothese über nicht geringere Effizienz):
Der zweite Satz (gleichermaßen wie bei der Prüfung der Hypothese über Überlegenheit):
Wir prüfen die zweite Hypothese nur, wenn die erste abgelehnt wurde. Bei der sequenziellen Testung halten wir das allgemeine Niveau der Fehler erster Art (α) konstant. In der Praxis kann dies erreicht werden, indem ein 95 %-Konfidenzintervall für den Unterschied zwischen den Mittelwerten erstellt wird und geprüft wird, ob das gesamte Intervall -Δ überschreitet. Wenn das Intervall -Δ nicht überschreitet, können wir den Nullwert nicht ablehnen und stoppen. Wenn das gesamte Intervall jedoch tatsächlich -Δ überschreitet, werden wir fortfahren und prüfen, ob das Intervall 0 enthält.
Es gibt einen weiteren Typ von Studien, den wir nicht besprochen haben – Äquivalenzstudien.
Studien dieser Art können durch Studien ersetzt werden, die die Hypothese der Nicht-Unterlegenheit überprüfen, und umgekehrt. Es gibt jedoch einen wichtigen Unterschied. Der Test zur Überprüfung der Hypothese der Nicht-Unterlegenheit zielt darauf ab zu zeigen, dass Option B mindestens so gut ist wie A. Eine Äquivalenzstudie hingegen hat das Ziel zu zeigen, dass Option B mindestens so gut ist wie A und dass Option A ebenso gut ist wie B, was komplizierter ist. Im Grunde versuchen wir festzustellen, ob der gesamte Vertrauensintervall für die Differenz der Mittelwerte zwischen −Δ und Δ liegt. Solche Studien erfordern eine größere Stichprobengröße und werden seltener durchgeführt. Daher, wenn Sie das nächste Mal eine Studie durchführen, bei der Ihr Hauptziel darin besteht, sicherzustellen, dass die neue Version nicht schlechter ist, akzeptieren Sie nicht die „Unfähigkeit, die Nullhypothese zu widerlegen“. Wenn Sie eine wirklich wichtige Hypothese testen möchten, ziehen Sie verschiedene Optionen in Betracht.
Quelle: habr.com
