Usa ka artikulo gikan sa Stitch Fix team nagsugyot sa paggamit sa non-inferiority trials approach sa marketing ug product A/B nga mga pagsulay. Kini nga pamaagi magamit gyud kung gisulayan namon ang usa ka bag-ong solusyon nga adunay mga benepisyo nga wala masukod sa mga pagsulay.
Ang pinakasimple nga pananglitan mao ang pagkunhod sa gasto. Pananglitan, among gi-automate ang proseso sa pag-assign sa unang leksyon, apan dili namo gusto nga mapakunhod pag-ayo ang end-to-end nga pagkakabig. O gisulayan namon ang mga pagbag-o nga gitumong sa usa ka bahin sa mga tiggamit, samtang gisiguro nga ang mga pagkakabig alang sa ubang mga bahin dili kaayo mahulog (kung gisulayan ang daghang mga hypotheses, ayaw kalimti ang bahin sa mga pagbag-o).
Ang pagpili sa husto nga non-inferiority margin nagdugang dugang nga mga hagit sa panahon sa yugto sa disenyo sa pagsulay. Ang pangutana kung giunsa pagpili ang Δ dili kaayo nasakup sa artikulo. Ingon og kini nga pagpili dili usab hingpit nga transparent sa mga pagsulay sa klinikal. medikal nga mga publikasyon sa non-inferiority report nga katunga lamang sa mga publikasyon ang nagpakamatarong sa pagpili sa utlanan, ug kasagaran kini nga mga katarungan dili klaro o dili detalyado.
Sa bisan unsa nga kaso, kini nga pamaagi daw makapaikag tungod kay ... pinaagi sa pagkunhod sa gikinahanglan nga sample nga gidak-on, kini makadugang sa katulin sa pagsulay, ug, busa, ang katulin sa paghimog desisyon. — Daria Mukhina, analista sa produkto alang sa Skyeng mobile application.
Ang Stitch Fix team ganahan nga sulayan ang lainlaing mga butang. Ang tibuuk nga komunidad sa teknolohiya ganahan nga magpadagan sa mga pagsulay sa prinsipyo. Unsa nga bersyon sa site ang nakadani sa daghang mga tiggamit - A o B? Ang bersyon A ba sa modelo sa rekomendasyon nakakuha ug daghang salapi kaysa bersyon B? Aron sulayan ang mga pangagpas, halos kanunay namong gigamit ang pinakasimple nga pamaagi gikan sa sukaranan nga kurso sa istatistika:
Bisan tuod panagsa ra nato gamiton ang termino, kini nga matang sa pagsulay gitawag nga "superiority hypothesis testing." Uban niini nga pamaagi, kita maghunahuna nga walay kalainan tali sa duha ka mga kapilian. Nagpabilin kami niini nga ideya ug biyaan lamang kini kung ang datos igo nga makapugos sa pagbuhat niini-nga mao, kini nagpakita nga ang usa sa mga kapilian (A o B) mas maayo kay sa lain.
Ang pagsulay sa superyoridad nga pangagpas angay alang sa lainlaing mga problema. Gipagawas lang namo ang bersyon B sa usa ka modelo sa rekomendasyon kung klaro nga mas maayo kini kaysa bersyon A nga gigamit na. Apan sa pipila ka mga kaso, kini nga pamaagi dili kaayo maayo. Atong tan-awon ang pipila ka mga pananglitan.
1) Gigamit namon ang serbisyo sa ikatulo nga partido, nga makatabang sa pag-ila sa mga peke nga bank card. Nakakita mi og laing serbisyo nga mas ubos ang gasto. Kung ang usa ka mas barato nga serbisyo molihok sama sa usa nga among gigamit karon, pilion namon kini. Dili kinahanglan nga mas maayo pa kaysa sa serbisyo nga imong gigamit.
2) Gusto namong biyaan ang tinubdan sa datos A ug pulihan kini sa tinubdan sa datos nga B. Mahimo natong malangan ang pagbiya sa A kung ang B makamugna og dili maayo nga mga resulta, apan dili posible nga magpadayon sa paggamit sa A.
3) Gusto namon nga mobalhin gikan sa usa ka pamaagi sa pagmodeloAng pamaagi sa A hangtod sa B dili tungod kay nagpaabut kami nga mas maayo nga mga sangputanan gikan sa B, apan tungod kay naghatag kini kanamo nga labi ka kadali sa operasyon. Wala kami'y rason nga motuo nga ang B mahimong mas grabe, apan dili kami mohimo sa transisyon kung kini ang kahimtang.
4) Naghimo kami daghang mga pagbag-o sa kalidad ngadto sa disenyo sa website (bersyon B) ug nagtuo nga kini nga bersyon mas labaw kay sa bersyon A. Wala kami magdahom nga mga kausaban sa pagkakabig o bisan unsa nga importanteng indikasyon sa pasundayag diin kami kasagarang magtimbang-timbang sa usa ka website. Apan kami nagtuo nga adunay mga benepisyo sa mga parameter nga dili masukod o ang among teknolohiya dili igo aron masukod.
Sa tanan niini nga mga kaso, ang panukiduki sa pagkalabaw dili ang labing angay nga solusyon. Apan kadaghanan sa mga espesyalista sa ingon nga mga sitwasyon naggamit niini nga default. Kami mainampingon nga nagpahigayon sa eksperimento aron sa husto nga pagtino sa gidak-on sa epekto. Kung tinuod nga ang bersyon A ug B nagtrabaho sa parehas nga paagi, adunay higayon nga mapakyas kita sa pagsalikway sa null hypothesis. Naghinapos ba kita nga ang A ug B naghimo sa batakan nga parehas? Dili! Ang pagkapakyas sa pagsalikway sa null hypothesis ug pagdawat sa null hypothesis dili parehas nga butang.
Ang mga kalkulasyon sa sampol nga gidak-on (nga, siyempre, nahimo na nimo) sa kasagaran gihimo uban ang mas hugot nga mga utlanan alang sa Type I error (ang kalagmitan sa pagkapakyas sa pagsalikway sa null hypothesis, kasagaran gitawag alpha) kay sa Type II error (ang kalagmitan sa pagkapakyas sa isalikway ang null hypothesis, gihatag nga kondisyon nga ang null hypothesis bakak, kasagaran gitawag nga beta). Ang tipikal nga bili alang sa alpha mao ang 0,05, samtang ang tipikal nga bili alang sa beta mao ang 0,20, nga katumbas sa usa ka istatistikal nga gahum sa 0,80. Nagpasabot kini nga adunay 20% nga kahigayonan nga masipyat kita sa tinuod nga epekto sa gidaghanon nga atong gipiho sa atong mga kalkulasyon sa kuryente, ug kana usa ka seryoso nga gintang sa impormasyon. Isip usa ka pananglitan, atong tagdon ang mosunod nga mga pangagpas:
H0: akong backpack WALA sa akong kwarto (3)
H1: akong backpack naa sa akong kwarto (4)
Kung gipangita nako ang akong kwarto ug nakit-an ang akong backpack, maayo, mahimo nakong isalikway ang null hypothesis. Apan kung akong tan-awon ang palibot sa kwarto ug dili nako makit-an ang akong backpack (Figure 1), unsa nga konklusyon ang akong buhaton? Sigurado ba ko nga wala kini? Igo ba akong tan-awon? Unsa kaha kung 80% lang sa kwarto ang akong gipangita? Ang paghinapos nga ang backpack siguradong wala sa kwarto usa ka dali nga desisyon. Dili ikatingala nga dili kita "modawat sa null hypothesis."
Ang lugar nga among gipangita
Wala namo nakit-an ang backpack - kinahanglan ba namo nga dawaton ang null hypothesis?
Figure 1: Ang pagpangita sa 80% sa usa ka kwarto halos parehas sa pagpangita sa 80% nga gahum. Kung dili nimo makit-an ang backpack pagkahuman gitan-aw ang 80% sa kwarto, makahinapos ka ba nga wala kini?
Busa unsa ang kinahanglan nga buhaton sa usa ka data scientist sa kini nga sitwasyon? Mahimo nimong madugangan pag-ayo ang gahum sa pagtuon, apan kinahanglan nimo ang usa ka labi ka dako nga gidak-on sa sample ug ang resulta dili gihapon makatagbaw.
Maayo na lang, ang ingon nga mga problema dugay nang gitun-an sa kalibutan sa klinikal nga panukiduki. Ang tambal B mas barato kaysa tambal A; Ang Drug B gilauman nga magpahinabog gamay nga epekto kaysa Drug A; Ang tambal B mas sayon nga dad-on tungod kay dili kinahanglan nga i-refrigerate, apan ang tambal A. Atong sulayan ang pangagpas sa non-inferiority. Kini aron ipakita nga ang bersyon B sama ka maayo sa bersyon A—labing menos sulod sa pipila ka predefined noninferiority margin, Δ. Maghisgot pa kami bahin sa kung giunsa pagtakda kini nga limitasyon sa ulahi. Apan sa pagkakaron atong isipon nga kini ang pinakagamay nga kalainan nga praktikal nga makahuluganon (sa konteksto sa mga pagsulay sa klinika, kasagaran kini gitawag nga klinikal nga kahulogan).
Ang non-inferiority hypotheses nagpabalik sa tanan sa ulo niini:
Karon, imbes nga maghunahuna nga walay kalainan, atong hunahunaon nga ang bersyon B mas grabe pa kay sa bersyon A, ug magpabilin kita niini nga pangagpas hangtud nga atong ipakita nga dili kini mao ang kahimtang. Kini gyud ang higayon nga makatarunganon ang paggamit sa usa ka panig nga pagsulay sa hypothesis! Sa praktis, mahimo kini pinaagi sa pagtukod sa usa ka agwat sa pagsalig ug pagtino kung ang agwat sa tinuud mas dako pa sa Δ (Figure 2).
Pilia ang Δ
Giunsa pagpili ang husto nga Δ? Ang proseso sa pagpili sa Δ naglakip sa estadistika nga katarungan ug substantibo nga ebalwasyon. Sa kalibutan sa klinikal nga panukiduki, adunay mga giya sa regulasyon nga nagdiktar nga ang delta kinahanglan magrepresentar sa labing gamay nga hinungdanon nga kalainan sa klinika-usa nga makahimo usa ka kalainan sa praktis. Ania ang usa ka kinutlo gikan sa European nga mga giya aron sulayan ang imong kaugalingon sa: "Kung ang kalainan gipili sa husto, usa ka agwat sa pagsalig nga hingpit nga naa sa taliwala sa -∆ ug 0… igo pa aron ipakita ang dili pagkaubos. Kung kini nga resulta ingon og dili madawat, kini nagpasabut nga ang ∆ wala gipili sa husto.
Ang delta kinahanglan nga dili molapas sa gidak-on sa epekto sa bersyon A nga may kalabotan sa tinuod nga kontrol (placebo/walay pagtambal), tungod kay kini nagdala kanato sa pag-ingon nga ang bersyon B mas grabe pa kay sa tinuod nga kontrol, samtang sa samang higayon nagpakita sa "dili pagkaubos. .” Ibutang ta nga sa dihang gipaila ang bersyon A, gipulihan kini sa bersyon 0 o ang feature wala na gyud (tan-awa ang Figure 3).
Base sa mga resulta sa pagsulay sa superyoridad hypothesis, ang epekto gidak-on E gipadayag (nga mao, lagmit μ^A−μ^0=E). Karon ang A mao ang among bag-ong sumbanan, ug gusto namong siguroon nga ang B sama ka maayo sa A. Ang laing paagi sa pagsulat sa μB−μA≤−Δ (null hypothesis) mao ang μB≤μA−Δ. Kung atong hunahunaon nga ang pagbuhat katumbas o mas dako sa E, unya μB ≤ μA−E ≤ placebo. Karon atong nakita nga ang atong banabana alang sa μB hingpit nga milapas sa μA−E, nga sa ingon bug-os nga nagsalikway sa null hypothesis ug nagtugot kanato sa paghinapos nga ang B sama ka maayo sa A, apan sa samang higayon ang μB mahimong ≤ μ placebo, nga dili mao ang kaso.unsay kinahanglan nato. (Figure 3).
Figure 3. Pagpakita sa mga risgo sa pagpili sa usa ka dili ubos nga margin. Kung ang cutoff taas kaayo, mahimo’g makahinapos nga ang B dili ubos sa A, apan sa samang higayon dili mailhan gikan sa placebo. Dili namo ibaylo ang tambal nga klaro nga mas epektibo kaysa placebo (A) alang sa tambal nga sama ka epektibo sa placebo.
Pagpili sa α
Mopadayon kita sa pagpili sa α. Mahimo nimong gamiton ang standard value α = 0,05, apan dili kini hingpit nga patas. Sama pananglit, kung nagpalit ka usa ka butang online ug gigamit ang daghang mga code sa diskwento sa usa ka higayon, bisan kung dili kini kinahanglan nga ikombinar - nasayop lang ang developer, ug nakalikay ka niini. Sumala sa mga lagda, ang bili sa α kinahanglan nga katumbas sa katunga sa kantidad sa α nga gigamit sa pagsulay sa superiority hypothesis, nga mao, 0,05 / 2 = 0,025.
Sample nga gidak-on
Giunsa pagbanabana ang gidak-on sa sample? Kung nagtuo ka nga ang tinuud nga kalainan tali sa A ug B mao ang 0, nan ang pagkalkula sa gidak-on sa sample parehas sa pagsulay sa hypothesis sa pagkalabaw, gawas nga imong ilisan ang gidak-on sa epekto sa dili ubos nga margin, basta imong gigamit αdili ubos nga kahusayan = 1/2αsuperyoridad (αnon-inferiority=1/2αsuperiority). Kung naa kay katarungan sa pagtuo nga ang opsyon B mahimong mas grabe pa kay sa opsyon A, apan gusto nimong pamatud-an nga mas grabe kini sa dili molapas sa Δ, nan swerte ka! Kini sa tinuud nagpamenos sa imong sample nga gidak-on tungod kay mas sayon ang pagpakita nga ang B mas grabe kay sa A kung imong gihunahuna nga kini mas grabe kay sa managsama.
Pananglitan nga adunay solusyon
Ingnon ta nga gusto nimo nga mag-upgrade sa bersyon B, basta dili kini molapas sa 0,1 puntos nga mas grabe kaysa bersyon A sa usa ka 5-punto nga sukdanan sa katagbawan sa kostumer... Atong duolon kini nga problema gamit ang superiority hypothesis.
Aron masulayan ang superyoridad nga pangagpas, among kuwentahon ang sample nga gidak-on sama sa mosunod:
Sa ato pa, kung aduna kay 2103 obserbasyon sa imong grupo, mahimo kang 90% nga masaligon nga makit-an nimo ang epekto nga gidak-on nga 0,10 o mas dako. Apan kung ang 0,10 taas kaayo alang kanimo, dili kini angay nga sulayan ang hypothesis sa pagkalabaw. Aron mahimong luwas nga bahin, mahimo kang modesisyon sa pagpadagan sa pagtuon alang sa mas gamay nga gidak-on sa epekto, sama sa 0,05. Sa kini nga kaso, kinahanglan nimo ang 8407 nga mga obserbasyon, nga mao, ang sample modaghan hapit 4 ka beses. Apan unsa man kung nagpabilin kami sa among orihinal nga gidak-on sa sample, apan gipataas ang gahum sa 0,99 aron luwas kami kung nakakuha kami usa ka positibo nga resulta? Sa kini nga kaso, ang n alang sa usa ka grupo mahimong 3676, nga mas maayo, apan nagdugang ang sample nga gidak-on sa labaw sa 50%. Ug isip resulta, dili gihapon nato mapanghimakak ang null hypothesis, ug dili kita makadawat og tubag sa atong pangutana.
Unsa kaha kung atong sulayan ang dili pagkaubos nga hypothesis?
Ang sample nga gidak-on pagakwentahon gamit ang parehas nga pormula gawas sa denominator.
Ang mga kalainan gikan sa pormula nga gigamit sa pagsulay sa superyoridad nga pangagpas mao ang mosunod:
— Ang Z1−α/2 gipulihan sa Z1−α, apan kung buhaton nimo ang tanan sumala sa mga lagda, imong pulihan ang α = 0,05 sa α = 0,025, sa ato pa, parehas kini nga numero (1,96)
— (μB−μA) makita sa denominator
— θ (gidak-on sa epekto) gipulihan sa Δ (margin sa dili pagkaubos)
Kung atong hunahunaon nga µB = µA, unya (µB − µA) = 0 ug ang kalkulasyon sa gidak-on sa sample alang sa noninferiority margin mao gayud ang atong makuha kon atong kuwentahon ang pagkalabaw alang sa epekto nga gidak-on sa 0,1, maayo! Makahimo kita og usa ka pagtuon sa samang gidak-on uban sa lain-laing mga pangagpas ug sa usa ka lain-laing mga paagi sa mga konklusyon, ug atong makuha ang tubag sa pangutana nga gusto namong tubagon.
Karon huna-hunaa nga dili gyud nato hunahunaon nga µB = µA ug
Naghunahuna kami nga ang µB mas grabe, tingali sa 0,01 nga mga yunit. Kini nagdugang sa atong denominator, nga nagpamenos sa sample nga gidak-on matag grupo ngadto sa 1737.
Unsa ang mahitabo kung ang bersyon B mas maayo kaysa bersyon A? Among gisalikway ang null hypothesis nga ang B mas grabe kay sa A pinaagi sa labaw pa sa Δ ug gidawat ang alternatibong pangagpas nga ang B, kon mas grabe, dili mas grabe kay sa A sa Δ ug mahimong mas maayo. Sulayi ibutang kini nga konklusyon sa usa ka cross-functional nga presentasyon ug tan-awa kung unsa ang mahitabo (seryoso, sulayi kini). Sa usa ka sitwasyon nga naglantaw sa unahan, walay usa nga gusto nga maghusay sa "dili labaw pa sa Δ mas grabe ug tingali mas maayo."
Niini nga kaso, mahimo kitang magpahigayon og usa ka pagtuon, nga gitawag sa mubo kaayo nga "pagsulay sa pangagpas nga ang usa sa mga kapilian mas labaw o ubos sa lain." Gigamit niini ang duha ka hugpong sa mga pangagpas:
Unang set (sama sa pagsulay sa non-inferiority hypothesis):
Ikaduha nga set (sama sa pagsulay sa superyoridad nga hypothesis):
Atong sulayan ang ikaduha nga pangagpas lamang kung ang una gisalikway. Kung nagsunud-sunod nga pagsulay, gipadayon namon ang kinatibuk-ang Type I error rate (α). Sa praktis, mahimo kini nga makab-ot pinaagi sa paghimo sa usa ka 95% nga agwat sa pagsalig alang sa kalainan tali sa mga paagi ug pagsulay aron mahibal-an kung ang tibuuk nga agwat mas dako kaysa -Δ. Kung ang interval dili molapas sa -Δ, dili nato isalikway ang null value ug mohunong. Kung ang tibuok agwat mas dako pa kay sa −Δ, kita magpadayon ug tan-awon kon ang agwat adunay 0.
Adunay laing matang sa panukiduki nga wala pa nato mahisgoti - ang mga pagtuon sa equivalence.
Kini nga mga matang sa mga pagtuon mahimong mapulihan sa mga pagtuon nga dili ubos ug vice versa, apan sila sa tinuud adunay hinungdanon nga kalainan. Ang usa ka noninferiority nga pagsulay nagtumong sa pagpakita nga ang opsyon B labing menos sama ka maayo sa A. Ang usa ka katumbas nga pagsulay nagtumong sa pagpakita nga ang opsyon B labing menos sama ka maayo sa A. Ang opsyon A sama ka maayo sa B, nga mas lisud. Sa tinuud, gisulayan namon nga mahibal-an kung ang tibuuk nga agwat sa pagsalig alang sa kalainan sa mga paagi naa sa taliwala sa −Δ ug Δ. Ang ingon nga mga pagtuon nanginahanglan usa ka mas dako nga gidak-on sa sample ug gihimo nga dili kaayo kanunay. Busa sa sunod higayon nga magpahigayon ka og pagtuon diin ang imong nag-unang tumong mao ang pagsiguro nga ang bag-ong bersyon dili mas grabe, ayaw paghusay sa "pagkapakyas sa pagsalikway sa null hypothesis." Kung gusto nimo sulayan ang usa ka hinungdanon nga hypothesis, hunahunaa ang lainlaing mga kapilian.
Source: www.habr.com