<\/a><\/noindex>
Die \u00dcberpr\u00fcfung der Hypothese der \u00dcberlegenheit eignet sich zur L\u00f6sung vieler Probleme. Wir geben die B-Version des Empfehlungsmodells nur dann heraus, wenn sie offensichtlich besser ist als die bereits verwendete A-Version. In einigen F\u00e4llen funktioniert dieser Ansatz jedoch nicht so gut. Lassen Sie uns einige Beispiele betrachten.<\/p>\n
1) Wir verwenden einen Drittanbieterdienst<\/b>, der hilft, gef\u00e4lschte Bankkarten zu identifizieren. Wir haben einen anderen Dienst gefunden, der deutlich g\u00fcnstiger ist. Wenn der g\u00fcnstigere Dienst genauso gut funktioniert wie der, den wir derzeit verwenden, w\u00e4hlen wir ihn aus. Er muss nicht unbedingt besser sein als der derzeit genutzte Dienst. <\/p>\n
2) Wir m\u00f6chten die Datenquelle<\/b> A ablegen und durch Datenquelle B ersetzen. Wir k\u00f6nnten den Verzicht auf A aufschieben, wenn B sehr schlechte Ergebnisse liefert, aber weiterhin A zu verwenden, ist nicht m\u00f6glich. <\/p>\n
3) Wir m\u00f6chten von der Modellierungsansatz<\/b>A auf Ansatz B wechseln, nicht weil wir von B bessere Ergebnisse erwarten, sondern weil es uns gr\u00f6\u00dfere operative Flexibilit\u00e4t bietet. Wir haben keinen Grund zu glauben, dass B schlechter sein wird, aber wir werden den Wechsel nicht vollziehen, wenn dem so ist.<\/p>\n
4) Wir haben einige qualitative \u00c4nderungen<\/b> am Design der Website (Version B) vorgenommen und sind der Meinung, dass diese Version die Version A \u00fcbertrifft. Wir erwarten keine \u00c4nderungen in der Konversion oder bei anderen wichtigen Leistungskennzahlen, anhand derer wir die Website normalerweise bewerten. Aber wir glauben, dass es Vorteile in Aspekten gibt, die entweder nicht messbar sind oder bei denen unsere Technologien nicht ausreichen, um sie zu messen.<\/p>\n
In all diesen F\u00e4llen ist die Forschung zur \u00dcberlegenheit keine optimale L\u00f6sung. Doch die meisten Fachleute verwenden sie in solchen Situationen standardm\u00e4\u00dfig. Wir f\u00fchren das Experiment sorgf\u00e4ltig durch, um die Effektst\u00e4rke korrekt zu bestimmen. Wenn es wahr w\u00e4re, dass die Versionen A und B sehr \u00e4hnlich funktionieren, besteht die Wahrscheinlichkeit, dass wir die Nullhypothese nicht ablehnen k\u00f6nnen. K\u00f6nnen wir folgern, dass A und B insgesamt gleich gut funktionieren? Nein! Die Unf\u00e4higkeit, die Nullhypothese abzulehnen, und die Annahme der Nullhypothese sind nicht dasselbe.<\/p>\n
Die Berechnungen des Stichprobenumfangs (die Sie, selbstverst\u00e4ndlich, durchgef\u00fchrt haben), erfolgen in der Regel mit strengeren Grenzen f\u00fcr Fehler erster Art (die Wahrscheinlichkeit eines f\u00e4lschlichen Ablehnens der Nullhypothese, oft als Alpha bezeichnet) als f\u00fcr Fehler zweiter Art (die Wahrscheinlichkeit, die Nullhypothese nicht abzulehnen, wenn die Nullhypothese falsch ist, oft als Beta bezeichnet). Ein typischer Wert f\u00fcr Alpha betr\u00e4gt 0,05, w\u00e4hrend ein typischer Wert f\u00fcr Beta 0,20 betr\u00e4gt, was einer statistischen Power von 0,80 entspricht. Das bedeutet, dass wir mit einer Wahrscheinlichkeit von 20 % m\u00f6glicherweise den tats\u00e4chlichen Effekt der Gr\u00f6\u00dfe, die wir in unseren Power-Berechnungen angegeben haben, nicht entdecken und dies eine erhebliche Informationsl\u00fccke darstellt. Lassen Sie uns als Beispiel folgende Hypothesen betrachten:<\/p>\n
H0: mein Rucksack ist NICHT in meinem Zimmer (3)
Wenn ich mein Zimmer durchsucht habe und meinen Rucksack gefunden habe \u2013 gro\u00dfartig, ich kann die Nullhypothese ablehnen. Aber wenn ich das Zimmer durchsucht habe und meinen Rucksack nicht finden konnte (Abb. 1), was f\u00fcr einen Schluss soll ich ziehen? Bin ich mir sicher, dass er dort nicht ist? Habe ich gr\u00fcndlich genug gesucht? Was, wenn ich nur 80 % des Zimmers durchsucht habe? Zu folgern, dass der Rucksack definitiv nicht im Zimmer ist, w\u00e4re eine \u00fcberst\u00fcrzte Entscheidung. Es ist nicht verwunderlich, dass wir die \u201eNullhypothese nicht annehmen k\u00f6nnen\u201c.Der Bereich, den wir durchsucht haben
Abb. 1. 80 % des Zimmers zu durchsuchen, ist ungef\u00e4hr dasselbe wie eine Studie mit einer Power von 80 %. Wenn Sie den Rucksack nicht gefunden haben, nachdem Sie 80 % des Zimmers durchsucht haben, kann man dann folgern, dass er dort nicht ist?<\/i> <\/p>\n
Was sollte also ein Data Scientist in dieser Situation tun? Sie k\u00f6nnen die Power der Studie erheblich erh\u00f6hen, aber dann ben\u00f6tigen Sie eine viel gr\u00f6\u00dfere Stichprobe, und das Ergebnis wird dennoch unbefriedigend sein.<\/p>\n
Gl\u00fccklicherweise werden solche Probleme seit langem in der Welt klinischer Studien erforscht. Das Medikament B ist g\u00fcnstiger als Medikament A; es wird erwartet, dass Medikament B weniger Nebenwirkungen verursacht als Medikament A; Medikament B l\u00e4sst sich leichter transportieren, da es nicht gek\u00fchlt werden muss, w\u00e4hrend dies bei Medikament A erforderlich ist. Lassen Sie uns die Hypothese \u00fcber die nicht geringere Wirksamkeit \u00fcberpr\u00fcfen. Dies ist notwendig, um zu zeigen, dass Version B ebenso gut ist wie Version A \u2013 mindestens innerhalb eines vordefinierten Schwellenwertes der \u201enicht geringeren Wirksamkeit\u201c, \u0394. Sp\u00e4ter werden wir ausf\u00fchrlicher dar\u00fcber sprechen, wie dieser Schwellenwert festgelegt wird. Aber nehmen wir jetzt an, dass dies die minimale, praktisch relevante Differenz ist (im Kontext klinischer Studien wird dies normalerweise als klinische Relevanz bezeichnet).<\/p>\n
Hypothesen zur nicht geringeren Wirksamkeit drehen alles auf den Kopf:<\/p>\n
Auswahl von \u0394<\/h3>\n \nWie w\u00e4hlt man \u0394 richtig aus? Der Auswahlprozess von \u0394 umfasst eine statistische Begr\u00fcndung und eine fachliche Bewertung. In der Welt der klinischen Forschung gibt es normative Empfehlungen, aus denen hervorgeht, dass Delta das kleinste klinisch signifikante Differenz darstellen sollte \u2013 eine, die in der Praxis relevant ist. Hier ist ein Zitat aus den europ\u00e4ischen Richtlinien, um sich selbst zu \u00fcberpr\u00fcfen: \u201eWenn der Unterschied richtig gew\u00e4hlt wurde, ist ein Konfidenzintervall, das vollst\u00e4ndig zwischen -\u2206 und 0 liegt\u2026, immer noch ausreichend, um nicht geringere Wirksamkeit zu demonstrieren. Wenn dieses Ergebnis nicht akzeptabel erscheint, bedeutet dies, dass \u2206 nicht richtig ausgew\u00e4hlt wurde\u201c.<\/p>\n
Die Delta darf definitiv nicht gr\u00f6\u00dfer sein als die Effektgr\u00f6\u00dfe von Version A im Vergleich zur echten Kontrolle (Placebo \/ keine Behandlung), da dies darauf hindeutet, dass Version B schlechter ist als die echte Kontrolle und gleichzeitig eine \u201enicht geringere Wirksamkeit\u201c zeigt. Angenommen, als Version A eingef\u00fchrt wurde, gab es Version 0 oder die Funktion existierte \u00fcberhaupt nicht (siehe Abbildung 3). <\/p>\n
Laut den Ergebnissen des Tests der \u00dcberlegenheits-Hypothese wurde die Effektgr\u00f6\u00dfe E festgestellt (das hei\u00dft, vermutet \u03bc^A\u2212\u03bc^0=E). Jetzt ist A unser neuer Standard, und wir m\u00f6chten sicherstellen, dass B A nicht unterlegen ist. Eine andere M\u00f6glichkeit, \u03bcB\u2212\u03bcA\u2264\u2212\u0394 (Nullhypothese) zu schreiben, ist \u03bcB\u2264\u03bcA\u2212\u0394. Wenn wir annehmen, dass die Handlung gleich oder gr\u00f6\u00dfer als E ist, dann ist \u03bcB \u2264 \u03bcA\u2212E \u2264 Placebo. Jetzt sehen wir, dass unsere Sch\u00e4tzung f\u00fcr \u03bcB vollst\u00e4ndig gr\u00f6\u00dfer als \u03bcA\u2212E ist, was somit die Nullhypothese vollst\u00e4ndig widerlegt und zu dem Schluss f\u00fchrt, dass B A nicht unterlegen ist, aber gleichzeitig kann \u03bcB \u2264 \u03bc Placebo sein, und das ist nicht, was wir brauchen. (Abbildung 3).<\/p>\n
Abbildung 3. Demonstration der Risiken der Wahl einer Grenze f\u00fcr nicht geringere Wirksamkeit. Wenn die Grenze zu hoch ist, kann man zu dem Schluss kommen, dass B A nicht unterlegen ist, aber gleichzeitig nicht von Placebo zu unterscheiden ist. Wir werden das Medikament, das eindeutig wirksamer ist als Placebo (A), nicht gegen ein Medikament austauschen, das die gleiche Wirksamkeit wie Placebo hat. <\/i><\/p>\nWahl von \u03b1 <\/h3>\n
\nKommen wir zur Wahl von \u03b1. Man kann den Standardwert \u03b1 = 0,05 verwenden, aber das ist nicht ganz fair. Zum Beispiel, wenn Sie online etwas kaufen und gleichzeitig mehrere Rabattcodes verwenden, obwohl diese nicht addiert werden d\u00fcrfen \u2014 der Entwickler hat einfach einen Fehler gemacht, und Ihnen ist es nicht aufgefallen. Nach den Regeln sollte der Wert von \u03b1 die H\u00e4lfte des Wertes von \u03b1 betragen, der beim Test der \u00dcberlegenheits-Hypothese verwendet wird, d. h. 0,05 \/ 2 = 0,025.<\/p>\n
Stichprobengr\u00f6\u00dfe <\/h3>\n \nWie sch\u00e4tzt man die Stichprobengr\u00f6\u00dfe? Wenn Sie glauben, dass der wahre Unterschied der Mittelwerte zwischen A und B gleich 0 ist, dann wird die Berechnung der Stichprobengr\u00f6\u00dfe die gleiche sein wie bei der \u00dcberpr\u00fcfung der \u00dcberlegenheits-Hypothese, nur dass Sie die Effektgr\u00f6\u00dfe durch die Grenze f\u00fcr nicht geringere Wirksamkeit ersetzen, vorausgesetzt, Sie verwenden \u03b1nicht geringere Wirksamkeit = 1\/2\u03b1\u00fcberlegenheit <\/b>(\u03b1Non-Inferiorit\u00e4t=1\/2\u03b1\u00dcberlegenheit). Wenn Sie Grund zu der Annahme haben, dass Variante B etwas schlechter sein k\u00f6nnte als Variante A, aber nachweisen m\u00f6chten, dass sie nicht mehr als um \u0394 schlechter ist, dann sind Sie im Vorteil! Tats\u00e4chlich verringert dies die Gr\u00f6\u00dfe Ihrer Stichprobe, da es einfacher ist, zu zeigen, dass B schlechter ist als A, wenn Sie tats\u00e4chlich glauben, dass es etwas schlechter ist, anstatt gleichwertig.<\/p>\nBeispiel mit der Entscheidung <\/h3>\n
\nAngenommen, Sie m\u00f6chten zu Version B wechseln, vorausgesetzt, dass sie nicht mehr als 0,1 Punkte auf einer 5-Punkte-Skala der Kundenzufriedenheit schlechter ist als Version A... Gehen wir diese Aufgabe an, indem wir die \u00dcberlegenheits-Hypothese verwenden.<\/p>\n
Zur \u00dcberpr\u00fcfung der \u00dcberlegenheits-Hypothese w\u00fcrden wir die Stichprobengr\u00f6\u00dfe wie folgt berechnen:<\/p>\n
Was, wenn wir stattdessen die Hypothese der Nicht-Unterlegenheit testen? <\/p>\n
\u2014 Z1\u2212\u03b1\/2 wird durch Z1\u2212\u03b1 ersetzt, aber wenn Sie alles nach Vorschrift machen, ersetzen Sie \u03b1 = 0,05 durch \u03b1 = 0,025, das hei\u00dft, es ist dasselbe Zahl (1,96)<\/p>\n
\u2014 im Nenner erscheint (\u03bcB\u2212\u03bcA)<\/p>\n
\u2014 \u03b8 (Effektgr\u00f6\u00dfe) wird durch \u0394 (Grenze der Nicht-Unterlegenheit) ersetzt<\/p>\n
Wenn wir annehmen, dass \u00b5B = \u00b5A, dann ist (\u00b5B \u2212 \u00b5A) = 0 und die Berechnung der Stichprobengr\u00f6\u00dfe f\u00fcr die Grenze nicht geringerer Wirksamkeit ist genau das, was wir erhalten w\u00fcrden, wenn wir die \u00dcberlegenheit f\u00fcr eine Effektgr\u00f6\u00dfe von 0,1 berechnen, hervorragend! Wir k\u00f6nnen eine Studie im selben Umfang mit verschiedenen Hypothesen und einem anderen Ansatz zu den Schlussfolgerungen durchf\u00fchren, und wir werden die Antwort auf die Frage erhalten, die wir tats\u00e4chlich beantworten m\u00f6chten.<\/p>\n
Nun nehmen wir an, dass wir tats\u00e4chlich nicht glauben, dass \u00b5B = \u00b5A und
Was passiert, wenn Version B tats\u00e4chlich besser ist als Version A? Wir widerlegen die Nullhypothese, dass B schlechter ist als A, um mehr als \u0394 und akzeptieren die alternative Hypothese, dass B, wenn es schlechter ist, nicht schlechter als \u0394 und m\u00f6glicherweise besser ist. Versuchen Sie, diese Schlussfolgerung in die bereichs\u00fcbergreifende Pr\u00e4sentation einzuf\u00fcgen und sehen Sie, was dabei herauskommt (im Ernst, versuchen Sie es). In einer Situation, in der es darum geht, sich perspektivisch zu orientieren, m\u00f6chte niemand sich auf \"nicht schlechter als \u0394 und m\u00f6glicherweise besser\" festlegen.<\/p>\n
In diesem Fall k\u00f6nnen wir eine Studie durchf\u00fchren, die sehr kurz als \u201eHypothesenpr\u00fcfung, dass eine der Optionen die andere \u00fcbertrifft oder unterliegt\u201c bezeichnet wird. Sie verwendet zwei Sets von Hypothesen:<\/p>\n
Das erste Set (dasselbe wie bei der \u00dcberpr\u00fcfung der Hypothese von nicht geringerer Wirksamkeit): <\/p>\n
Es gibt noch einen anderen Typ von Studien, den wir nicht besprochen haben \u2013 Equivalenzstudien. <\/p>\n
Forschungen dieser Art k\u00f6nnen durch Studien ersetzt werden, die die Hypothese auf die gleiche Wirksamkeit testen und umgekehrt, jedoch gibt es dabei einen wichtigen Unterschied. Eine Studie zur \u00dcberpr\u00fcfung der Hypothese auf gleichwertige Wirksamkeit zielt darauf ab, zu zeigen, dass Option B mindestens so gut ist wie A. Eine \u00c4quivalenzstudie zielt darauf ab, zu zeigen, dass Option B mindestens so gut ist wie A und dass Option A auch so gut ist wie B, was komplizierter ist. Im Wesentlichen versuchen wir, zu bestimmen, ob der gesamte Vertrauensintervall f\u00fcr die Differenz der Mittelwerte zwischen \u2212\u0394 und \u0394 liegt. Solche Studien erfordern eine gr\u00f6\u00dfere Stichprobengr\u00f6\u00dfe und werden seltener durchgef\u00fchrt. Daher, wenn Sie das n\u00e4chste Mal eine Studie durchf\u00fchren, bei der Ihr Hauptziel darin besteht, sicherzustellen, dass die neue Version nicht schlechter ist, stimmen Sie nicht in die \u201eUnf\u00e4higkeit ein, die Nullhypothese zu widerlegen\u201c. Wenn Sie eine wirklich wichtige Hypothese testen m\u00f6chten, ziehen Sie verschiedene Optionen in Betracht.habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b Stitch Fix \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434 \u043a\u043b\u0438\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 (non-inferiority trials) \u0432 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 A\/B \u0442\u0435\u0441\u0442\u0430\u0445. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0438\u043c\u0435\u044e\u0449\u0435\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043d\u0435\u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u0442\u0435\u0441\u0442\u0430\u043c\u0438. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0442\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u043a\u0430, \u043d\u043e \u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0440\u043e\u043d\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u0443\u044e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044e. \u0418\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26311,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-34958","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Wann](\"\/wp-content\/uploads\/2019\/06\/0ce4d602add079e55d1025a8d8b2122f.jpg\")