Një artikull nga ekipi i Stitch Fix sugjeron përdorimin e qasjes së kërkimeve klinike të mosefektivitetit (non-inferiority trials) në testet A/B të marketingut dhe produktit. Kjo qasje është vërtet e aplikueshme kur testojmë një zgjidhje të re me përfitime që nuk janë të matshme nga testet.
Shembulli më i thjeshtë është ulja e kostove. Për shembull, automatizojmë procesin e caktimit të mësimit të parë, por nuk duam të ulet ndjeshëm konversioni i përgjithshëm. Ose testojmë ndryshime të orientuara ndaj një segmenti të caktuar të përdoruesve, duke mbajtur nën kontroll që konversioni në segmentet e tjera të mos bjerë shumë (kur testojmë disa hipoteza, mos harroni rregullimet).
Zgjedhja e kufirit të saktë të mosefektivitetit shkakton vështirësi shtesë në fazën e dizajnit të testit. Pyetja se si të zgjidhet Δ në artikull nuk është trajtuar shumë mirë. Duket se kjo zgjedhje nuk është plotësisht transparente, as në provat klinike. Publikimet mjekësore mbi non-inferiority tregojnë se vetëm në gjysmën e publikimeve zgjedhja e kufijve është e arsyetuar, dhe shpesh këto arsyetime janë të pasqaruara ose të pa detajuara.
Në çdo rast, kjo qasje duket interesante, pasi përmes zvogëlimi të madhësisë së nevojshme të mostrës mund të rritet shpejtësia e testimit, dhe kështu edhe shpejtësia e marrjes së vendimeve. — Darya Mukhina, analiste produkti për aplikacionin mobil Skyeng.
Ekipi i Stitch Fix e do të testojë gjëra të ndryshme. E gjithë komuniteti teknologjik në thelb e do të kryejë teste. Cila version i faqes tërheq më shumë përdorues – A apo B? A sjell versioni A i modelit rekomandues më shumë para sesa versioni B? Pothuajse gjithmonë për të verifikuar hipotezat përdorim qasjen më të thjeshtë nga kursi i bazës së statistikës:
Megjithëse rrallë e përdorim këtë term, ky lloj testimi quhet "verifikimi i hipotezës për superioritetin". Me këtë qasje, ne supojmë se midis dy alternativave nuk ka ndonjë ndryshim. Ne mbajmë këtë ide dhe e braktisim vetëm në rast se të dhënat e marra janë mjaft bindëse për këtë – domethënë, demonstrojnë se një nga alternativat (A ose B) është më e mirë se tjetra.
Verifikimi i hipotezës mbi superioritetin është i përshtatshëm për zgjidhjen e shumë problemeve. Ne lëshojmë versionin B të modelit rekomandues vetëm nëse ai është dukshëm më i mirë se versioni A që po përdoret tashmë. Por në disa raste, ky qasje nuk funksionon aq mirë. Le të shqyrtojmë disa shembuj.
1) Ne përdorim një shërbim të jashtëm, i cili ndihmon në identifikimin e kartave bankare të falsifikuara. Ne kemi gjetur një shërbim tjetër, i cili kushton ndjeshëm më pak. Nëse shërbimi më i lirë funksionon me të njëjtë efektshmëri si ai që po përdorim tani, ne do ta zgjedhim atë. Ai nuk duhet domosdoshmërisht të jetë më i mirë se shërbimi që po përdorim.
2) Ne duam të heqim dorë nga burimi i të dhënave A dhe ta zëvendësojmë atë me burimin e të dhënave B. Ne mund ta shtyjmë heqjen dorë nga A nëse B jep rezultate shumë të dobëta, por vazhdimi i përdorimit të A nuk është i mundur.
3) Ne do të doja të kalonim nga qasja A në qasjen B jo sepse presim rezultate më të mira nga B, por sepse kjo na jep më shumë fleksibilitet operativ. Nuk kemi arsye të besojmë se B do të jetë më e keqe, por ne nuk do të bëjmë kalimin nëse nuk është kështu.4) Ne kemi bërë disa përmirësime të cilësisë
në dizajnin e faqes së internetit (versioni B) dhe besojmë se ky version e kalon versionin A. Ne nuk presim ndryshime në konvertimin ose në ndonjë tregues kyç performancë, me të cilët zakonisht e vlerësojmë faqen e internetit. Por besojmë se ka përfitime në parametrat që janë ose të pa matshëm, ose teknologjitë tona nuk janë të mjaftueshme për t'i matur ato. Në të gjitha këto raste, hulumtimi mbi superioritetin nuk është zgjidhja më e përshtatshme. Por shumica e specialistëve në këto situata e përdorin atë si standard. Ne kryejmë eksperimentin me kujdes për të përcaktuar saktësisht madhësinë e efektit. Nëse do të ishte e vërtetë që versionet A dhe B funksionojnë në mënyrë shumë të ngjashme, ekziston mundësia që të mos arrijmë të heqim dorë nga hipoteza zero. A arrijmë në përfundimin se A dhe B funksionojnë në mënyrë të ngjashme? Jo! Mosarritja për të hequr dorë nga hipoteza zero dhe pranim i hipotezës zero nuk janë njësoj.
Во всех этих случаях исследование превосходства — не самое подходящее решение. Но большинство специалистов в таких ситуациях используют его по умолчанию. Мы тщательно проводим эксперимент, чтобы правильно определить величину эффекта. Если бы было верно, что версии A и B работают очень схожим образом, есть вероятность, что нам не удастся отклонить нулевую гипотезу. Делаем ли мы вывод, что А и В в целом работают одинаково? Нет! Невозможность отклонить нулевую гипотезу и принятие нулевой гипотезы — не одно и то же.
Studimet mbi volumet e mostrave (të cilat natyrisht i keni kryer), zakonisht kryhen me kufij më të rreptë për gabimin e parë (probabiliteti i refuzimit të hipotezës nul, i njohur shpesh si alfa) sesa për gabimin e dytë (probabiliteti i paaftësisë për të refuzuar hipotezën nul, nëse hipoteza nul është e gabuar, e njohur shpesh si beta). Një vlerë tipike për alfan është 0,05, ndërsa një vlerë tipike për betan është 0,20, e cila korrespondon me fuqinë statistike 0,80. Kjo do të thotë se mund të mos zbulojmë ndikimin e vërtetë të madhësisë që kemi specifikuar në llogaritjet tona të fuqisë, me probabilitet 20% dhe kjo është një boshllëk relativisht serioz në informacion. Si shembull, le të shqyrtojmë këto hipoteza:
H0: çanta ime nuk është në dhomën time (3)
H1: çanta ime është në dhomën time (4)
Nëse e kam kontrolluar dhomën time dhe kam gjetur çantën time — shkëlqyer, mund të refuzoj hipotezën nul. Por nëse kam kontrolluar dhomën dhe nuk kam arritur të gjej çantën time (figura 1), çfarë përfundimi duhet të nxjerr? A jam i sigurt se nuk është aty? A kam kërkuar mjaftueshëm me vigjilencë? Çfarë nëse kam kontrolluar vetëm 80% të dhomës? Të arrijmë në përfundimin se çanta me siguri nuk është në dhomë do të ishte një vendim i pamenduar. Nuk është çudi që nuk mund të “pranojmë hipotezën nul.”
Zona që kemi kontrolluar
Nuk gjetëm çantën – a duhet të pranojmë hipotezën nul?
Figura 1. Të kontrollosh 80% të dhomës është përafërsisht si të kryesh një studim me fuqi 80%. Nëse nuk gjetët çantën, pas kontrollit të 80% të dhomës, a mund të arrijmë në përfundim se nuk është aty?
Pra, çfarë duhet të bëjë specialisti i të dhënave në këtë situatë? Mund të rrisë ndjeshëm fuqinë e studimit, por atëherë do t'ju duhet një mostrë shumë më e madhe, dhe rezultati akoma do të jetë i pakënaqshëm.
Fatkeqësisht, këto probleme janë studiuar prej kohësh në botën e kërkimeve klinike. Ilaçi B është më i lirë se ilaçi A; pritet që ilaçi B të shkaktojë më pak efekte anësore se ilaçi A; ilaçi B është më i lehtë për tu transportuar sepse nuk ka nevojë të ruhet në frigorifer, ndërsa ilaçi A – ka. Le të verifikojmë hipotezën për efikasitetin e njëjtë. Kjo është e nevojshme për të treguar se versioni B është po aq i mirë sa versioni A — të paktën brenda një kufiri të paracaktuar “të efikasitetit të njëjtë”, Δ. Pak më vonë do të flasim më në detaje se si të përcaktojmë këtë kufi. Por për tani, le të supojmë se kjo është ndryshimi minimal që është praktikisht i rëndësishëm (në kontekstin e provave klinike zakonisht quhet rëndësi klinike).
Hipotezat për efikasitetin e njëjtë përmbysin gjithçka:
Tani, në vend që të supozojmë se nuk ka ndryshim, ne supozojmë se versioni B është më i dobët se versioni A, dhe do të qëndrojmë te kjo supozim derisa të tregojmë se nuk është kështu. Ky është momenti kur ka kuptim të përdorim testimin e hipotezës njëanshëm! Në praktikë, kjo mund të realizohet duke ndërtuar një interval besueshmërie dhe duke përcaktuar nëse ky interval është në të vërtetë më i madh se Δ (shihni figurën 2).
Zgjedhja e Δ
Si të zgjidhni saktësisht Δ? Procesi i seçitjes së Δ përfshin arsyetim statistik dhe vlerësim të mësuar. Në botën e kërkimeve klinike ekzistojnë udhëzime të rregullta, sipas të cilave delta duhet të përfaqësojë ndryshimin më të vogël klinikisht të rëndësishëm — një ndryshim që do të ketë rëndësi në praktikë. Këtu është një citat nga udhëzimi evropian, përmes të cilit mund të verifikoni veten: "Nëse ndryshimi është zgjedhur siç duhet, intervali i besueshmërisë, i cili është plotësisht midis –∆ dhe 0..., është ende i mjaftueshëm për të demonstruar efikasitetin e njëjtë. Nëse ky rezultat nuk duket i përshtatshëm, kjo do të thotë se ∆ nuk është zgjedhur siç duhet."
Deltaja me shprehshëm nuk duhet të tejkalojë madhësinë e efektit të versionit A në krahasim me kontrollin e vërtetë (placebo / mungesë trajtimi), sepse kjo na çon në përfundimin që versioni B është më i dobët se kontrolli i vërtetë, ndërkohë që tregon "në asnjë rast më pak efikasitet". Supozoni se kur u prezantua versioni A, në vend të tij ishte versioni 0 ose funksioni nuk ekzistonte fare (shih figurën 3).
Nga rezultatet e provës për hipotezën e superioritetit u identifikua madhësia e efektit E (dmth, supozimisht μ^A−μ^0=E). Tani A është standardi ynë i ri, dhe ne duam të sigurohemi se B nuk është më i dobët se A. Një mënyrë tjetër për të shkruar μB−μA≤−Δ (hipoteza nul) është μB≤μA−Δ. Nëse supozoni se e bën të barabartë ose më të madhe se E, atëherë μB ≤ μA−E ≤ placebo. Tani ne shohim se vlerësimi ynë për μB tejkalon plotësisht μA−E, duke e mohuar kështu plotësisht hipotezën nul dhe duke lejuar përfundimin që B nuk është më i dobët se A, por në të njëjtën kohë μB mund të jetë ≤ μ placebo, gjë që nuk është ajo që na nevojitet. (Figura 3).
Figura 3. Demonstrimi i rreziqeve të zgjedhjes së kufirit të jo-më pak efikasiteti. Nëse kufiri është tepër i madh, mund të përfundohet se B nuk është më i dobët se A, por njëkohësisht është i padallueshëm nga placebo. Ne nuk do të ndërrojmë një bar që është qartazi më efikas se placebo (A), për një bar që ka një efikasitet të barabartë me placebo.
Zgjedhja e α
Të kalojmë në zgjedhjen e α. Mund të përdoret vlera standarde α = 0,05, por kjo nuk është krejt e ndershme. Si, për shembull, kur blini diçka në internet dhe përdorni menjëherë disa kode zbritjeje, ndonëse ato nuk duhet të grumbullohen — thjesht zhvilluesi ka bërë një gabim dhe kjo ju ka kaluar. Sipas rregullave, vlera α duhet të jetë gjysmë e atij α që përdoret gjatë provës për hipotezën e superioritetit, dmth 0,05 / 2 = 0,025.
Madhësia e mostrës
Si të vlerësoni madhësinë e mostrës? Nëse mendoni se ndryshimi i vërtetë i mesatarjeve midis A dhe B është 0, atëherë llogaritja e madhësisë së mostrës do të jetë e njëjtë si gjatë provës për hipotezën e superioritetit, përveç se zëvendësoni madhësinë e efektit me kufirin e jo-më pak efikasiteti, me kusht që ta përdorni. αjo jo-më pak efikasitet = 1/2αsuperioritet (αnon-inferiority=1/2αsuperiority). Nëse keni arsye të besoni se opsioni B mund të jetë disi më i dobët se opsioni A, por dëshironi të provoni që ai nuk është më i dobët se Δ, atëherë keni me fat! Faktikisht, kjo e ul madhësinë e mostrës tuaj, sepse është më e lehtë të demonstroni se B është më i dobët se A, nëse në të vërtetë besoni se ai është disi më i dobët dhe jo i barabartë.
Shembulli me vendim
Supozoni se dëshironi të kaloni në versionin B, me kusht që ai të jetë më i dobët se versioni A jo më shumë se 0,1 pikë në shkallën e kënaqësisë së konsumatorëve nga 5... Le t'i qasemi këtij problemi duke përdorur hipotezën e superioritetit.
Për të testuar hipotezën e superioritetit, do të llogaritnim madhësinë e mostrës si më poshtë:
Kështu, nëse keni 2103 vëzhgime në grupin tuaj, mund të jeni 90% të sigurt se do të zbuloni një efekt me madhësi 0,10 ose më shumë. Por nëse vlera 0,10 është shumë e madhe për ju, ndoshta nuk ia vlen ta testoni hipotezën e superioritetit për të. Ndoshta për besueshmërinë, do të vendosni të kryeni një studim për një efekt më të vogël, për shembull 0,05. Në këtë rast, do t'ju nevojiten 8407 vëzhgime, dmth, mostra do të rritet gati 4 herë. Por çfarë nëse ne qëndrojmë me madhësinë tonë fillestare të mostrës, por rrisim fuqinë në 0,99, në mënyrë që të mos kemi dyshime nëse marrim një rezultat pozitiv? Në këtë rast, n për një grup do të jetë 3676, që është tashmë më mirë, por rrit madhësinë e mostrës më shumë se 50%. Dhe si rezultat, ne ende thjesht nuk mund të mohojmë hipotezën zero, dhe as të marrim një përgjigje për pyetjen tonë.
Çfarë nëse në vend të kësaj testojmë hipotezën e efikasitetit jo më të vogël?
Madhësia e mostrës do të llogaritet sipas të njëjtës formulë përveç emëruesit.
Dallimet nga formula e përdorur për testimin e hipotezës së superioritetit janë si më poshtë:
— Z1−α/2 zëvendësohet me Z1−α, por nëse bëni gjithçka sipas rregullave, zëvendësoni α = 0,05 me α = 0,025, dmth, është i njëjti numër (1,96)
— në emërues shfaqet (μB−μA)
— θ (madhësia e efektit) zëvendësohet me Δ (kufi i efikasitetit jo më të vogël)
Nëse supozoni se µB = µA, atëherë (µB − µA) = 0 dhe llogaritja e madhësisë së mostrës për limitin e efikasitetit jo më të vogël është pikërisht ajo që do të merrnim në llogaritjen e superioritetit për madhësinë e efektit 0,1, shkëlqyeshëm! Ne mund të kryejmë një studim të së njëjtës shkallë me hipoteza të ndryshme dhe një qasje tjetër në përfundimet, dhe do të marrim përgjigje për pyetjen që vërtet duam të përgjigjemi.
Tani supozoni se ne në të vërtetë nuk besojmë se µB = µA dhe
mendojmë se µB është pak më keq, ndoshta me 0,01 njësi. Kjo rrit emërtuesin tonë, duke e ulur madhësinë e mostrës për grupin në 1737.
Çfarë do të ndodhte nëse versioni B në të vërtetë do të ishte më i mirë se versioni A? Ne do të refuzonim hipotezën zero se B është më keq se A, më shumë se Δ dhe do të pranojmë hipotezën alternative se B, nëse është më keq, nuk është më keq se Δ, dhe mund të jetë më i mirë. Provoni ta përfshini këtë konkludim në një prezantim ndër-funksional dhe shihni se çfarë del (seriozisht, provo). Në një situatë ku duhet të orientohemi në perspektivë, askush nuk dëshiron të pranojë “më keq se Δ dhe, ndoshta, më mirë”.
Në këtë rast, ne mund të kryejmë një studim që quhet shumë shkurtimisht “verifikimi i hipotezës se njëra nga opsionet e tejkalon tjetrin ose i nënshtrohet atij”. Ai përdor dy grupe hipotezash:
Grupi i parë (e njëjtë si në verifikimin e hipotezës për efikasitetin e paktë):
Grupi i dytë (e njëjtë si në verifikimin e hipotezës për superioritetin):
Ne testojmë hipotezën e dytë vetëm në rast se hipoteza e parë refuzohet. Në testimin e vazhdueshëm, ne ruajmë nivelin e përgjithshëm të gabimeve të parë (α). Në praktikë, kjo mund të arrihet duke krijuar një interval besimi prej 95 % për dallimin midis mesataresh dhe duke verifikuar nëse e gjithë periudha e tejkalon -Δ. Nëse intervali nuk tejkalon -Δ, ne nuk mund të refuzojmë vlerën zero dhe ndalemi. Nëse e gjithë periudha me të vërtetë e tejkalon −Δ, ne do të vazhdojmë dhe do të shohim nëse intervali përmban 0.
Ekziston një tjetër lloj studimesh që nuk e kemi diskutuar – studime ekvivalente.
Studimet e këtij lloji mund të zëvendësohen me studime për verifikimin e hipotezës për efikasitet të njëjtë dhe anasjelltas, por ato kanë një dallim të rëndësishëm mes tyre. Testi për verifikimin e hipotezës për efikasitetin e njëjtë synon të tregojë se opsioni B është të paktën po aq i mirë sa A. Ndërsa hulumtimi i ekvivalencës ka si qëllim të tregojë se opsioni B është të paktën po aq i mirë sa A, dhe opsioni A është po ashtu i mirë sa B, që është më e komplikuar. Në thelb, ne përpiqemi të përcaktojmë nëse i gjithë intervali i besimit për diferencën e mesatareve qëndron midis −Δ dhe Δ. Këto studime kërkojnë një madhësi më të madhe sample dhe realizohen më rrallë. Prandaj, herën tjetër kur të realizoni një studim ku qëllimi juaj kryesor është të siguroni që versioni i ri nuk është më i dobët, mos pranoni "mosdiskriminimin e hipotezës zero". Nëse doni të verifikoni një hipotezë vërtet të rëndësishme, shqyrtoni mundësi të ndryshme.
Burimi: habr.com
