<\/a><\/noindex>
Die \u00dcberpr\u00fcfung der Hypothese der \u00dcberlegenheit eignet sich zur L\u00f6sung vieler Probleme. Wir bringen die B-Version des Empfehlungsmodells nur dann heraus, wenn sie offensichtlich besser ist als die bereits verwendete Version A. In einigen F\u00e4llen funktioniert dieser Ansatz jedoch nicht so gut. Betrachten wir einige Beispiele.<\/p>\n
1) Wir nutzen einen externen Dienst<\/b>, der dabei hilft, gef\u00e4lschte Bankkarten zu identifizieren. Wir haben einen anderen Service gefunden, der deutlich g\u00fcnstiger ist. Wenn der g\u00fcnstigere Service genauso gut funktioniert wie der, den wir derzeit nutzen, werden wir ihn w\u00e4hlen. Er muss nicht unbedingt besser sein als der verwendete Service. <\/p>\n
2) Wir m\u00f6chten die Datenquelle<\/b> A abschaffen und sie durch Datenquelle B ersetzen. Wir k\u00f6nnten den Abschied von A hinausz\u00f6gern, wenn B sehr schlechte Ergebnisse liefert, aber es ist nicht m\u00f6glich, weiter A zu nutzen. <\/p>\n
3) Wir w\u00fcrden gerne von der Modellierungsansatz<\/b>A zu Ansatz B wechseln, nicht weil wir bessere Ergebnisse von B erwarten, sondern weil es uns mehr operative Flexibilit\u00e4t bietet. Wir haben keinen Grund zu der Annahme, dass B schlechter sein wird, aber wir werden den Wechsel nicht vornehmen, wenn dem so ist.<\/p>\n
4) Wir haben qualitativ hochwertige \u00c4nderungen am Design der Website (Version B) vorgenommen und sind der Meinung, dass diese Version Version A \u00fcbertrifft. Wir erwarten keine Ver\u00e4nderungen bei der Conversion oder anderen wichtigen Leistungskennzahlen, anhand derer wir die Website normalerweise bewerten. Dennoch glauben wir, dass es Vorteile in Aspekten gibt, die entweder nicht messbar sind oder f\u00fcr die unsere Technologien nicht ausreichen.<\/b> In all diesen F\u00e4llen ist das Streben nach \u00dcberlegenheit nicht die beste L\u00f6sung. Dennoch nutzen die meisten Fachleute in solchen Situationen dies standardm\u00e4\u00dfig. Wir f\u00fchren das Experiment sorgf\u00e4ltig durch, um die Effektgr\u00f6\u00dfe genau zu bestimmen. Selbst wenn es zutr\u00e4fe, dass Versionen A und B sehr \u00e4hnlich funktionieren, besteht die M\u00f6glichkeit, dass wir die Nullhypothese nicht ablehnen k\u00f6nnen. K\u00f6nnen wir daraus schlie\u00dfen, dass A und B insgesamt gleich funktionieren? Nein! Die Unf\u00e4higkeit, die Nullhypothese abzulehnen, und die Annahme der Nullhypothese sind nicht dasselbe.<\/p>\n
In all these cases, investigating superiority may not be the best solution. However, most professionals default to it in such situations. We carefully conduct experiments to accurately determine the magnitude of the effect. If it were true that versions A and B operate in a very similar way, we might not be able to reject the null hypothesis. Do we conclude that A and B function identically overall? No! The inability to reject the null hypothesis is not the same as accepting it.<\/p>\n
Die Berechnungen des Stichprobenvolumens, die Sie nat\u00fcrlich durchgef\u00fchrt haben, erfolgen in der Regel mit strengeren Grenzen f\u00fcr den Fehler erster Art (die Wahrscheinlichkeit einer f\u00e4lschlichen Ablehnung der Nullhypothese, oft als Alpha bezeichnet) als f\u00fcr den Fehler zweiter Art (die Wahrscheinlichkeit, die Nullhypothese nicht abzulehnen, obwohl sie falsch ist, oft als Beta bezeichnet). Typischerweise betr\u00e4gt der Wert f\u00fcr Alpha 0,05, w\u00e4hrend der Wert f\u00fcr Beta 0,20 betr\u00e4gt, was einer statistischen Power von 0,80 entspricht. Das bedeutet, dass wir mit einer Wahrscheinlichkeit von 20 % kein tats\u00e4chliches Einfluss der Gr\u00f6\u00dfe, die wir in unseren Power-Berechnungen angegeben haben, feststellen k\u00f6nnen, und das ist eine ziemlich erhebliche Informationsl\u00fccke. Lassen Sie uns als Beispiel folgende Hypothesen betrachten:<\/p>\n
H0: Mein Rucksack ist NICHT in meinem Zimmer (3)
Wenn ich mein Zimmer durchsucht habe und meinen Rucksack gefunden habe \u2013 gro\u00dfartig, dann kann ich die Nullhypothese ablehnen. Aber wenn ich das Zimmer durchsucht habe und meinen Rucksack nicht finden konnte (Abbildung 1), was sollte ich dann annehmen? Bin ich mir sicher, dass er nicht dort ist? Habe ich gr\u00fcndlich genug gesucht? Was, wenn ich nur 80 % des Zimmers durchsucht habe? Zu konstatieren, dass der Rucksack mit Sicherheit nicht im Zimmer ist, w\u00e4re eine voreilige Schlussfolgerung. Es ist nicht verwunderlich, dass wir die \"Nullhypothese\" nicht \"annehmen\" k\u00f6nnen.Der Bereich, den wir durchsucht haben
Abbildung 1. 80 % des Zimmers zu durchsuchen ist ungef\u00e4hr das Gleiche wie eine Studie mit einer Power von 80 %. Wenn Sie den Rucksack nicht finden, nachdem Sie 80 % des Zimmers durchsucht haben, kann man dann schlie\u00dfen, dass er nicht dort ist?<\/i> <\/p>\n
Was sollte also ein Datenexperte in dieser Situation tun? Sie k\u00f6nnen die Studie erheblich verst\u00e4rken, aber daf\u00fcr ben\u00f6tigen Sie eine viel gr\u00f6\u00dfere Stichprobe, und das Ergebnis wird dennoch unbefriedigend sein.<\/p>\n
Gl\u00fccklicherweise sind solche Probleme bereits seit langem in der klinischen Forschung untersucht. Das Medikament B ist g\u00fcnstiger als Medikament A; au\u00dferdem wird erwartet, dass Medikament B weniger Nebenwirkungen hervorruft als Medikament A. Zudem l\u00e4sst sich Medikament B leichter transportieren, da es nicht im K\u00fchlschrank gelagert werden muss, w\u00e4hrend dies f\u00fcr Medikament A erforderlich ist. Lassen Sie uns die Hypothese \u00fcber die nicht geringere Wirksamkeit \u00fcberpr\u00fcfen. Dies ist notwendig, um zu zeigen, dass Version B genauso gut ist wie Version A \u2013 zumindest innerhalb einer zuvor festgelegten Grenze der \"nicht geringeren Wirksamkeit\", \u0394. Etwas sp\u00e4ter werden wir genauer dar\u00fcber sprechen, wie man diese Grenze festlegt. Aber nehmen wir jetzt an, dass dies der minimale Unterschied ist, der praktisch signifikant ist (im Kontext klinischer Studien wird dies normalerweise als klinische Signifikanz bezeichnet).<\/p>\n
Die Hypothesen \u00fcber die nicht geringere Wirksamkeit stellen alles auf den Kopf:<\/p>\n
Auswahl von \u0394<\/h3>\n \nWie w\u00e4hlt man \u0394 richtig aus? Der Prozess der Auswahl von \u0394 umfasst eine statistische Begr\u00fcndung und eine sachliche Bewertung. In der Welt der klinischen Forschung gibt es normative Empfehlungen, die besagen, dass Delta das kleinste klinisch relevante Differenz darstellen sollte \u2013 eine, die in der Praxis von Bedeutung ist. Hier ist ein Zitat aus den europ\u00e4ischen Richtlinien, um sich selbst zu \u00fcberpr\u00fcfen: \u201eWenn die Differenz richtig gew\u00e4hlt wurde, ist ein Konfidenzintervall, das vollst\u00e4ndig zwischen \u2013\u2206 und 0 liegt\u2026, immer noch ausreichend, um eine nicht geringere Wirksamkeit nachzuweisen. Wenn dieses Ergebnis nicht akzeptabel erscheint, bedeutet dies, dass \u2206 nicht ordnungsgem\u00e4\u00df ausgew\u00e4hlt wurde.\u201c<\/p>\n
Die Delta-Variation sollte auf keinen Fall die Effektgr\u00f6\u00dfe der Version A im Verh\u00e4ltnis zur echten Kontrolle (Placebo \/ Keine Behandlung) \u00fcberschreiten, da dies zu dem Schluss f\u00fchren w\u00fcrde, dass Version B schlechter ist als die echte Kontrolle und gleichzeitig eine \"nicht geringere Effizienz\" aufweist. Angenommen, als Version A vorgestellt wurde, gab es entweder Version 0 oder die Funktion existierte \u00fcberhaupt nicht (siehe Abbildung 3). <\/p>\n
Die \u00dcberpr\u00fcfung der \u00dcberlegenheits-Hypothese ergab die Effektgr\u00f6\u00dfe E (d.h. angeblich \u03bc^A\u2212\u03bc^0=E). Jetzt ist A unser neuer Standard, und wir wollen sicherstellen, dass B nicht schlechter ist als A. Eine andere M\u00f6glichkeit, \u03bcB\u2212\u03bcA\u2264\u2212\u0394 (Nullhypothese) zu formulieren, ist \u03bcB\u2264\u03bcA\u2212\u0394. Wenn wir annehmen, dass dies gleich oder gr\u00f6\u00dfer als E ist, folgt \u03bcB \u2264 \u03bcA\u2212E \u2264 Platz. Jetzt sehen wir, dass unsere Sch\u00e4tzung f\u00fcr \u03bcB vollst\u00e4ndig \u03bcA\u2212E \u00fcbersteigt, was die Nullhypothese vollst\u00e4ndig widerlegt und den Schluss zul\u00e4sst, dass B nicht schlechter ist als A, aber gleichzeitig \u03bcB \u2264 \u03bc Platz haben kann, was nicht das ist, was wir ben\u00f6tigen. (Abbildung 3).<\/p>\n
Abbildung 3. Darstellung der Risiken der Wahl einer Grenze f\u00fcr die minimale Effektivit\u00e4t. Wenn die Grenze zu hoch ist, k\u00f6nnte man schlussfolgern, dass B A nicht unterlegen ist, aber gleichzeitig nicht von einem Placebo zu unterscheiden ist. Wir werden ein Medikament, das eindeutig effektiver als das Placebo (A) ist, nicht gegen ein Medikament eintauschen, das die gleiche Effektivit\u00e4t wie das Placebo hat. <\/i><\/p>\nWahl von \u03b1 <\/h3>\n
\nKommen wir zur Wahl von \u03b1. Man kann den Standardwert \u03b1 = 0,05 verwenden, aber das ist nicht ganz fair. Es ist wie beim Einkaufen im Internet, wo man mehrere Rabattcodes gleichzeitig benutzt, obwohl dies nicht zul\u00e4ssig ist \u2014 einfach, weil der Entwickler einen Fehler gemacht hat und Ihnen dies durchgeht. Nach den Regeln sollte der Wert von \u03b1 die H\u00e4lfte des Wertes von \u03b1 sein, der f\u00fcr den Test der \u00dcberlegenheits-Hypothese verwendet wird, also 0,05 \/ 2 = 0,025.<\/p>\n
Stichprobengr\u00f6\u00dfe <\/h3>\n \nWie bewertet man die Stichprobengr\u00f6\u00dfe? Wenn Sie glauben, dass der wahre Unterschied der Mittelwerte zwischen A und B 0 betr\u00e4gt, wird die Berechnung der Stichprobengr\u00f6\u00dfe die gleiche sein wie bei der \u00dcberpr\u00fcfung der \u00dcberlegenheitshypothese, mit dem Unterschied, dass Sie die Effektgr\u00f6\u00dfe durch die Grenze f\u00fcr die minimale Effektivit\u00e4t ersetzen, vorausgesetzt, Sie verwenden nicht geringere Effektivit\u00e4t = 1\/2\u00dcberlegenheit <\/b>(nicht-Geringsch\u00e4tzung=1\/2\u00dcberlegenheit). Wenn Sie Grund zu der Annahme haben, dass Variante B leicht schlechter sein k\u00f6nnte als Variante A, aber nachweisen m\u00f6chten, dass sie nicht um mehr als \u0394 schlechter ist, dann haben Sie Gl\u00fcck! Tats\u00e4chlich verringert dies die Gr\u00f6\u00dfe Ihrer Stichprobe, da es einfacher ist zu zeigen, dass B schlechter ist als A, wenn Sie tats\u00e4chlich glauben, dass es etwas schlechter ist und nicht gleichwertig.<\/p>\nBeispiel mit Entscheidungsfindung <\/h3>\n
\nAngenommen, Sie m\u00f6chten zu Version B wechseln, unter der Voraussetzung, dass sie nicht mehr als 0,1 Punkte schlechter ist als Version A auf einer 5-Punkte-Skala der Kundenzufriedenheit... Lassen Sie uns diese Aufgabe angehen, indem wir die \u00dcberlegenheits-Hypothese verwenden.<\/p>\n
Um die \u00dcberlegenheits-Hypothese zu testen, w\u00fcrden wir die Stichprobengr\u00f6\u00dfe folgenderma\u00dfen berechnen:<\/p>\n
Was, wenn wir stattdessen die Hypothese auf eine nicht geringere Effektivit\u00e4t testen? <\/p>\n
\u2014 Z1\u2212\u03b1\/2 wird durch Z1\u2212\u03b1 ersetzt. Wenn Sie jedoch alles nach den Regeln machen, ersetzen Sie \u03b1 = 0,05 durch \u03b1 = 0,025, was dasselbe Ergebnis (1,96) ergibt.<\/p>\n
\u2014 Im Nenner erscheint (\u03bcB\u2212\u03bcA).<\/p>\n
\u2014 \u03b8 (Effektgr\u00f6\u00dfe) wird durch \u0394 (Schwellenwert der minimalen Effektivit\u00e4t) ersetzt.<\/p>\n
Angenommen, wir gehen davon aus, dass \u00b5B = \u00b5A, dann ist (\u00b5B \u2212 \u00b5A) = 0, und die Berechnung der Stichprobengr\u00f6\u00dfe f\u00fcr den Schwellenwert der minimalen Effektivit\u00e4t entspricht genau dem, was wir bei der Berechnung der \u00dcberlegenheit f\u00fcr eine Effektgr\u00f6\u00dfe von 0,1 erhalten w\u00fcrden. Gro\u00dfartig! Wir k\u00f6nnen eine Studie im selben Umfang mit verschiedenen Hypothesen und einem anderen Ansatz zur Schlussfolgerung durchf\u00fchren und die Antwort auf die Frage erhalten, die wir tats\u00e4chlich beantworten m\u00f6chten.<\/p>\n
Nehmen wir nun an, dass wir tats\u00e4chlich nicht glauben, dass \u00b5B = \u00b5A, und
Was passiert, wenn Version B tats\u00e4chlich besser ist als Version A? Wir widerlegen die Nullhypothese, dass B schlechter ist als A, um mehr als \u0394 und nehmen die alternative Hypothese an, dass B, wenn es schlechter ist, nicht schlechter als \u0394 ist und m\u00f6glicherweise besser sein k\u00f6nnte. Versuchen Sie, dieses Fazit in eine funktions\u00fcbergreifende Pr\u00e4sentation einzutragen und sehen Sie, was dabei herauskommt (ernsthaft, versuchen Sie es). In einer Situation, in der es darauf ankommt, die Perspektive zu betrachten, m\u00f6chte niemand sich mit \u201enicht schlechter als \u0394 und m\u00f6glicherweise besser\u201c zufriedengeben.<\/p>\n
In diesem Fall k\u00f6nnen wir eine Untersuchung durchf\u00fchren, die sehr kurz als \u201eHypothesenpr\u00fcfung, ob eine Option die andere \u00fcbertrifft oder unterliegt\u201c bezeichnet wird. Dabei werden zwei Hypothesens\u00e4tze verwendet:<\/p>\n
Der erste Satz (gleicherma\u00dfen wie bei der Pr\u00fcfung der Hypothese \u00fcber nicht geringere Effizienz): <\/p>\n
Es gibt einen weiteren Typ von Studien, den wir nicht besprochen haben \u2013 \u00c4quivalenzstudien. <\/p>\n
Studien dieser Art k\u00f6nnen durch Studien ersetzt werden, die die Hypothese der Nicht-Unterlegenheit \u00fcberpr\u00fcfen, und umgekehrt. Es gibt jedoch einen wichtigen Unterschied. Der Test zur \u00dcberpr\u00fcfung der Hypothese der Nicht-Unterlegenheit zielt darauf ab zu zeigen, dass Option B mindestens so gut ist wie A. Eine \u00c4quivalenzstudie hingegen hat das Ziel zu zeigen, dass Option B mindestens so gut ist wie A und dass Option A ebenso gut ist wie B, was komplizierter ist. Im Grunde versuchen wir festzustellen, ob der gesamte Vertrauensintervall f\u00fcr die Differenz der Mittelwerte zwischen \u2212\u0394 und \u0394 liegt. Solche Studien erfordern eine gr\u00f6\u00dfere Stichprobengr\u00f6\u00dfe und werden seltener durchgef\u00fchrt. Daher, wenn Sie das n\u00e4chste Mal eine Studie durchf\u00fchren, bei der Ihr Hauptziel darin besteht, sicherzustellen, dass die neue Version nicht schlechter ist, akzeptieren Sie nicht die \u201eUnf\u00e4higkeit, die Nullhypothese zu widerlegen\u201c. Wenn Sie eine wirklich wichtige Hypothese testen m\u00f6chten, ziehen Sie verschiedene Optionen in Betracht.habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b Stitch Fix \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434 \u043a\u043b\u0438\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 (non-inferiority trials) \u0432 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 A\/B \u0442\u0435\u0441\u0442\u0430\u0445. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0438\u043c\u0435\u044e\u0449\u0435\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043d\u0435\u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u0442\u0435\u0441\u0442\u0430\u043c\u0438. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0442\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u043a\u0430, \u043d\u043e \u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0440\u043e\u043d\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u0443\u044e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044e. \u0418\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26311,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-34958","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-novosti-interneta"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Wann](\"\/wp-content\/uploads\/2019\/06\/0ce4d602add079e55d1025a8d8b2122f.jpg\")