En Artikel vum Stitch Fix Team proposéiert d'Non-Inferiority Trials Approche am Marketing a Produkt A / B Tester ze benotzen. Dës Approche gëllt wierklech wa mir eng nei Léisung testen déi Virdeeler huet déi net duerch Tester gemooss ginn.
Dat einfachst Beispill ass d'Käschtereduktioun. Zum Beispill automatiséieren mir de Prozess fir déi éischt Lektioun ze ginn, awer mir wëllen net d'Enn-zu-Enn Konversioun wesentlech reduzéieren. Oder mir testen Ännerungen, déi op ee Segment vun de Benotzer riichten, wärend mir sécher sinn datt d'Konversioune fir aner Segmenter net vill falen (wann Dir verschidde Hypothesen testen, vergiesst net iwwer d'Ännerungen).
D'Auswiel vun der korrekter Net-Inferioritéitsmarge füügt zousätzlech Erausfuerderunge wärend der Testdesignphase. D'Fro wéi Δ ze wielen ass net ganz gutt am Artikel ofgedeckt. Et schéngt, datt dës Wiel och net ganz transparent ass a klineschen Studien. medezinesch Publikatiounen op Net-Inferioritéit Rapport datt nëmmen d'Halschent vun de Publikatiounen de Choix vun der Grenz berechtegen, an dacks sinn dës Justifikatiounen zweedeiteg oder net detailléiert.
Op alle Fall schéngt dës Approche interessant well ... andeems Dir déi erfuerderlech Probegréisst reduzéiert, kann et d'Geschwindegkeet vum Test erhéijen, an dofir d'Geschwindegkeet vun der Entscheedung. - Daria Mukhina, Produktanalytiker fir d'Skyeng mobil Applikatioun.
D'Stitch Fix Team huet gär verschidde Saachen ze testen. Déi ganz Technologiegemeinschaft huet am Prinzip gär Tester ze maachen. Wéi eng Versioun vum Site lackelt méi Benotzer - A oder B? Maacht Versioun A vum Empfehlungsmodell méi Sue wéi Versioun B? Fir Hypothesen ze testen, benotze mir bal ëmmer déi einfachst Approche vum Basisstatistikkurs:
Och wa mir de Begrëff selten benotzen, gëtt dës Form vun Testen "Superioritéithypothesetest" genannt. Mat dëser Approche huelen mir un datt et keen Ënnerscheed tëscht den zwou Optiounen ass. Mir bleiwen mat dëser Iddi a verloossen se nëmmen wann d'Donnéeën zwéngend genuch sinn fir dat ze maachen - dat ass, et weist datt eng vun den Optiounen (A oder B) besser ass wéi déi aner.
D'Iwwerleeënheetshypothese testen ass gëeegent fir verschidde Probleemer. Mir verëffentlechen nëmmen Versioun B vun engem Recommandatiounsmodell wann et kloer besser ass wéi d'Versioun A déi scho benotzt gëtt. Mee an e puer Fäll funktionnéiert dës Approche net sou gutt. Loosst eis e puer Beispiller kucken.
1) Mir benotzen eng drëtt Partei Service, wat hëlleft gefälschte Bankkaarten z'identifizéieren. Mir hunn en anere Service fonnt deen däitlech manner kascht. Wann e méi bëllege Service esou gutt funktionnéiert wéi deen dee mir am Moment benotzen, wäerte mir en wielen. Et muss net besser sinn wéi de Service deen Dir benotzt.
2) Mir wëllen d'Datenquell opginn A an ersetzen se mat Datenquell B. Mir kéinten A opginn wann B ganz schlecht Resultater produzéiert, awer et ass net méiglech A weider ze benotzen.
3) Mir géife gären vun enger Modeller Approche plënnerenD'Approche vun A bis B net well mir besser Resultater vum B erwaarden, mee well et eis méi grouss operationell Flexibilitéit gëtt. Mir hu kee Grond ze gleewen datt B méi schlecht wäert sinn, awer mir wäerten den Iwwergang net maachen wann dat de Fall ass.
4) Mir hunn e puer qualitativ Ännerungen gemaach an de Websäitdesign (Versioun B) a gleewen datt dës Versioun iwwer d'Versioun A ass. Mir erwaarden keng Ännerungen an der Konversioun oder eng vun de Schlësselleistungsindikatoren, duerch déi mir eng Websäit typesch evaluéieren. Awer mir gleewen datt et Virdeeler a Parameteren sinn déi entweder onmoossbar sinn oder eis Technologie net genuch ass fir ze moossen.
An all dëse Fäll ass Iwwerleeënheetsfuerschung net déi gëeegent Léisung. Awer déi meescht Spezialisten an esou Situatiounen benotzen se als Standard. Mir maachen den Experiment suergfälteg fir d'Gréisst vum Effekt korrekt ze bestëmmen. Wann et richteg wier datt d'Versioune A a B op ganz ähnlech Manéier funktionnéieren, ass et eng Chance datt mir d'Nullhypothese net refuséieren. Mir schléissen datt A a B am Fong d'selwecht Leeschtunge? Nee! Versoen d'Nullhypothese ze refuséieren an d'Akzeptanz vun der Nullhypothese sinn net déiselwecht Saach.
Probegréisst Berechnungen (déi, natierlech, Dir hutt gemaach) ginn normalerweis mat méi strenge Grenze fir Typ I Feeler gemaach (d'Wahrscheinlechkeet fir d'Nullhypothese net ze refuséieren, dacks Alpha genannt) wéi fir Typ II Feeler (d'Wahrscheinlechkeet fir net ze refuséieren d'Nullhypothese, ënner Bedingung datt d'Nullhypothese falsch ass, dacks Beta genannt). Den typesche Wäert fir Alpha ass 0,05, während den typesche Wäert fir Beta 0,20 ass, entsprécht enger statistescher Kraaft vun 0,80. Dëst bedeit datt et eng 20% Chance ass datt mir de richtegen Effekt vun der Quantitéit verpassen, déi mir an eise Kraaftberechnungen uginn hunn, an dat ass e relativ eeschte Spalt an der Informatioun. Als Beispill, loosst eis déi folgend Hypothesen betruechten:
H0: mäi Rucksak ass NET a mengem Zëmmer (3)
H1: mäi Rucksak ass a mengem Zëmmer (4)
Wann ech mäi Zëmmer gesicht hunn a mäi Rucksak fonnt hunn, super, ech kann d'Nullhypothese refuséieren. Awer wann ech ronderëm de Raum gekuckt hunn a mäi Rucksak net fonnt hunn (Figur 1), wéi eng Conclusioun soll ech zéien? Sinn ech sécher datt et net do ass? Hunn ech schwéier genuch ausgesinn? Wat wann ech nëmmen 80% vum Zëmmer sichen? Ofschléissend datt de Rucksak definitiv net am Raum ass wier eng raschteg Entscheedung. Kee Wonner, datt mir d'Nullhypothese net kënnen "akzeptéieren."
Der Géigend mir gesichte
Mir hunn de Rucksak net fonnt - solle mir d'Nullhypothes akzeptéieren?
Figur 1: Sichen 80% vun engem Raum ass ongeféier d'selwecht wéi Sich bei 80% Muecht. Wann Dir de Rucksak net fonnt hutt nodeems Dir 80% vum Raum gekuckt hutt, kënnt Dir ofschléissen datt et net do ass?
Also wat soll en Datewëssenschaftler an dëser Situatioun maachen? Dir kënnt d'Kraaft vun der Studie staark erhéijen, awer da brauch Dir eng vill méi grouss Probegréisst an d'Resultat wäert nach ëmmer onzefriddenstellend sinn.
Glécklecherweis sinn esou Problemer laang an der Welt vun der klinescher Fuerschung studéiert ginn. Medikament B ass méi bëlleg wéi Medikament A; Medikament B gëtt erwaart manner Nebenwirkungen ze verursaachen wéi Medikament A; Medikament B ass méi einfach ze transportéieren well et net gekillt muss ginn, awer Medikament A mécht. Loosst eis d'Hypothese vun der Net-Inferioritéit testen. Dëst ass fir ze weisen datt d'Versioun B grad esou gutt ass wéi d'Versioun A - op d'mannst bannent e puer virdefinéierten Net-Inferioritéitsmargin, Δ. Mir schwätzen méi iwwer wéi Dir dës Limit e bësse méi spéit setzt. Awer loosst eis elo unhuelen datt dëst dee klengsten Ënnerscheed ass dee praktesch sënnvoll ass (am Kontext vu klineschen Studien gëtt dëst normalerweis klinesch Bedeitung genannt).
Non-Inferioritéitshypothesen dréinen alles op de Kapp:
Elo, amplaz unzehuelen datt et keen Ënnerscheed ass, wäerte mir unhuelen datt d'Versioun B méi schlëmm ass wéi d'Versioun A, a mir wäerte mat dëser Virgab bleiwen bis mir weisen datt dëst net de Fall ass. Dëst ass genee de Moment wou et Sënn mécht engsäiteg Hypothesentest ze benotzen! An der Praxis kann dëst gemaach ginn andeems Dir e Vertrauensintervall konstruéiert an feststellt ob den Intervall tatsächlech méi grouss ass wéi Δ (Figur 2).
Wielt Δ
Wéi wielen ech déi richteg Δ? Den Δ Selektiounsprozess enthält statistesch Begrënnung a substantiell Evaluatioun. An der Welt vun der klinescher Fuerschung ginn et reglementaresche Richtlinnen déi diktéieren datt Delta de klengste klinesch signifikanten Ënnerscheed representéiere soll - een deen en Ënnerscheed an der Praxis wäert maachen. Hei en Zitat aus den europäesche Richtlinnen fir Iech selwer ze testen: „Wann den Ënnerscheed richteg gewielt gouf, geet e Vertrauensintervall, dee ganz tëscht –∆ an 0... läit, nach ëmmer duer fir Net-Inferioritéit ze weisen. Wann dëst Resultat net akzeptabel schéngt, heescht et datt ∆ net entspriechend ausgewielt gouf.
Den Delta sollt definitiv net d'Effektgréisst vun der Versioun A relativ zu der richteger Kontroll (Placebo / keng Behandlung) iwwerschreiden, well dëst féiert eis ze soen datt Versioun B méi schlecht ass wéi déi richteg Kontroll, a gläichzäiteg "Net-Inferioritéit" weist. ". Loosst eis unhuelen datt wann d'Versioun A agefouert gouf, se duerch d'Versioun 0 ersat gouf oder d'Fonktioun guer net existéiert (kuckt Figur 3).
Baséierend op d'Resultater vum Test vun der Iwwerleeënheetshypothese, gouf d'Effektgréisst E opgedeckt (dat ass viraussiichtlech μ^A−μ^0=E). Elo ass A eisen neie Standard, a mir wëllen sécherstellen datt B sou gutt ass wéi A. Eng aner Manéier fir μB−μA≤−Δ (Nullhypothese) ze schreiwen ass μB≤μA−Δ. Wa mir unhuelen datt do gläich oder méi grouss ass wéi E, dann ass μB ≤ μA−E ≤ Placebo. Elo gesi mir datt eis Schätzung fir μB komplett μA−E iwwerschreift, wat domat d'Nullhypothese komplett ofleent an eis erlaabt ze schléissen datt B sou gutt ass wéi A, awer gläichzäiteg μB vläicht ≤ μ Placebo sinn, wat net de Fall.wat brauche mir. (Figur 3).
Figur 3. Demonstratioun vun de Risiken vun engem wielt noninferiority Spillraum. Wann de Cutoff ze héich ass, kann et ofgeschloss ginn datt B net manner wéi A ass, awer gläichzäiteg net z'ënnerscheeden vu Placebo. Mir wäerten net en Medikament austauschen dat kloer méi effektiv ass wéi Placebo (A) fir en Medikament dat esou effektiv ass wéi Placebo.
Wiel vun α
Loosst eis weidergoen fir α ze wielen. Dir kënnt de Standardwäert α = 0,05 benotzen, awer dëst ass net ganz fair. Wéi zum Beispill, wann Dir eppes online kaaft an e puer Remise Coden gläichzäiteg benotzt, obwuel se sollen net kombinéiert ginn - den Entwéckler just e Feeler gemaach, an Dir sidd ewech mat et. Geméiss d'Regele soll de Wäert vun α gläich wéi d'Halschent vum Wäert vun α sinn, dee benotzt gëtt beim Testen vun der Iwwerleeënheetshypothese, dat heescht 0,05 / 2 = 0,025.
Prouf Gréisst
Wéi schätzen d'Proufgréisst? Wann Dir mengt datt de richtege mëttleren Ënnerscheed tëscht A a B 0 ass, dann ass d'Probegréisst Berechnung d'selwecht wéi wann Dir d'Iwwerleeënheetshypothese testen, ausser datt Dir d'Effektgréisst duerch d'Netinferioritéitsmarge ersetzt, virausgesat datt Dir benotzt αnon-inferior Effizienz = 1/2αSuperioritéit (αnon-Inferioritéit=1/2αSuperioritéit). Wann Dir Grond hutt ze gleewen datt Optioun B e bësse méi schlëmm ass wéi Optioun A, awer Dir wëllt beweisen datt et net méi wéi Δ méi schlëmm ass, da sidd Dir Gléck! Dëst reduzéiert tatsächlech Är Probegréisst well et méi einfach ass ze weisen datt B méi schlëmm ass wéi A wann Dir tatsächlech denkt datt et e bësse méi schlëmm ass wéi gläich.
Beispill mat Léisung
Loosst eis soen datt Dir op Versioun B Upgrade wëllt, virausgesat datt et net méi wéi 0,1 Punkt méi schlecht ass wéi Versioun A op enger 5-Punkt Client Zefriddenheet Skala ... Loosst eis dëse Problem mat der Iwwerleeënheetshypothese ugoen.
Fir d'Iwwerleeënheetshypothese ze testen, wäerte mir d'Probegréisst wéi follegt berechnen:
Dat ass, wann Dir 2103 Observatioune an Ärer Grupp hutt, kënnt Dir 90% zouversiichtlech sinn datt Dir eng Effektgréisst vun 0,10 oder méi fannt. Awer wann 0,10 fir Iech ze héich ass, ass et vläicht net derwäert fir d'Iwwerleeënheetshypothese ze testen. Fir op der sécherer Säit ze sinn, kënnt Dir décidéieren d'Etude fir eng méi kleng Effektgréisst auszeféieren, sou wéi 0,05. An dësem Fall braucht Dir 8407 Observatioune, dat ass, d'Probe wäert bal 4 Mol eropgoen. Awer wat wa mir eis ursprénglech Probegréisst halen, awer d'Kraaft op 0,99 erhéicht hunn, fir datt mir sécher wiere wa mir e positiv Resultat kréien? An dësem Fall wäert n fir eng Grupp 3676 sinn, wat scho besser ass, awer erhéicht d'Proufgréisst ëm méi wéi 50%. An als Resultat wäerte mir nach ëmmer einfach d'Nullhypothese net widderleen, a mir kréien keng Äntwert op eis Fro.
Wat wa mir amplaz d'Noninferioritéitshypothese testen?
D'Probegréisst gëtt mat der selwechter Formel berechent ausser den Nenner.
D'Ënnerscheeder vun der Formel déi benotzt gëtt fir d'Iwwerleeënheetshypothese ze testen sinn wéi follegt:
- Z1−α/2 gëtt duerch Z1−α ersat, awer wann Dir alles no de Regele maacht, ersetzt Dir α = 0,05 mat α = 0,025, dat heescht, et ass déiselwecht Zuel (1,96)
— (μB−μA) erschéngt am Nenner
— θ (Effektgréisst) gëtt duerch Δ ersat (Margin of Non-Inferiority)
Wa mir unhuelen datt µB = µA, dann (µB − µA) = 0 an d'Probegréisst Berechnung fir den Netinferioritéitsmargin ass genau dat wat mir kréie wa mir Iwwerleeënheet fir eng Effektgréisst vun 0,1 berechent hunn, super! Mir kënnen eng Studie vun der selwechter Gréisst mat verschiddenen Hypothesen an enger anerer Approche zu Conclusiounen maachen, a mir kréien d'Äntwert op d'Fro, déi mir wierklech beäntweren wëllen.
Stellt elo un datt mir net wierklech denken datt µB = µA an
Mir mengen datt µB e bësse méi schlëmm ass, vläicht ëm 0,01 Eenheeten. Dëst erhéicht eisen Nenner, reduzéiert d'Probegréisst pro Grupp op 1737.
Wat geschitt wann Versioun B tatsächlech besser ass wéi Versioun A? Mir refuséieren d'Nullhypothes datt B méi schlëmm ass wéi A mat méi wéi Δ an akzeptéieren déi alternativ Hypothes datt B, wa méi schlëmm, net méi schlëmm ass wéi A duerch Δ a besser ka sinn. Probéiert dës Conclusioun an eng cross-functional Presentatioun ze setzen a kuckt wat geschitt (eescht, probéiert et). An enger viraussiichtlecher Situatioun wëll keen sech mat "net méi wéi Δ méi schlëmm a vläicht besser" nidderloossen.
An dësem Fall kënne mir eng Etude duerchféieren, déi ganz kuerz genannt gëtt "d'Hypothese testen datt eng vun den Optiounen super oder manner wéi déi aner ass." Et benotzt zwee Sätz vun Hypothesen:
Éischte Set (selwecht wéi d'Net-Inferioritéitshypothese testen):
Zweete Set (selwecht wéi wann Dir d'Iwwerleeënheetshypothese testen):
Mir testen déi zweet Hypothese nëmmen wann déi éischt refuséiert gëtt. Wann se sequentiell testen, behalen mir de Gesamt Typ I Feelerrate (α). An der Praxis kann dëst erreecht ginn andeems en 95% Vertrauensintervall fir den Ënnerscheed tëscht de Mëttelen an Tester erstallt gëtt fir ze bestëmmen ob de ganzen Intervall méi grouss ass wéi -Δ. Wann den Intervall net méi wéi -Δ ass, kënne mir den Nullwäert net refuséieren a stoppen. Wann de ganzen Intervall wierklech méi grouss ass wéi −Δ, gi mir weider a kucken ob den Intervall 0 enthält.
Et gëtt eng aner Aart vu Fuerschung déi mir net diskutéiert hunn - Equivalenzstudien.
Dës Aarte vu Studien kënnen duerch Noninferioritéitsstudien ersat ginn a vice versa, awer si hunn tatsächlech e wichtegen Ënnerscheed. En Noninferioritéitsprozess zielt fir ze weisen datt d'Optioun B op d'mannst sou gutt ass wéi A. En Equivalenzprozess zielt fir ze weisen datt d'Optioun B op d'mannst sou gutt ass wéi A. Option A ass sou gutt wéi B, wat méi schwéier ass. Wesentlech versichen mir ze bestëmmen ob de ganze Vertrauensintervall fir den Ënnerscheed am Mëttel tëscht −Δ an Δ läit. Esou Studien erfuerderen eng méi grouss Probegréisst a gi manner dacks duerchgefouert. Also déi nächste Kéier wann Dir eng Etude maacht, an där Äert Haaptziel ass ze garantéieren datt déi nei Versioun net méi schlëmm ass, setzt Iech net mat "Feele vun der Nullhypothese ze refuséieren." Wann Dir eng wierklech wichteg Hypothese wëllt testen, betruecht verschidden Optiounen.
Source: will.com
