Yon atik ki soti nan ekip la Stitch Fix sijere itilize yon apwòch esè ki pa enferyorite nan maketing ak pwodwi A / B tès. Apwòch sa a vrèman aplike lè n ap teste yon nouvo solisyon ki gen benefis ki pa mezire pa tès yo.
Egzanp ki pi senp la se pèt zo. Pou egzanp, ann otomatize pwosesis la nan plase premye leson an, men nou pa vle lage konvèsyon bout-a-fen twòp. Oswa nou teste chanjman ki konsantre sou yon sèl segman itilizatè yo, pandan y ap asire w ke konvèsyon pou lòt segman pa sag twòp (lè w teste plizyè ipotèz, pa bliye sou koreksyon yo).
Chwazi bon limit ki pa enferyorite a ajoute plis defi nan etap konsepsyon tès la. Kesyon an sou fason yo chwazi Δ pa byen kouvri nan atik la. Li sanble ke chwa sa a pa konplètman transparan nan esè klinik tou. piblikasyon medikal sou rapò ki pa enferyorite ke sèlman mwatye nan piblikasyon yo jistifye chwa pou fwontyè e souvan jistifikasyon sa yo se Limit oswa pa detaye.
Nan nenpòt ka, apwòch sa a sanble enteresan, kòm Lè yo redwi gwosè echantiyon ki nesesè yo, li ka ogmante vitès tès la, epi, kidonk, vitès la nan pran desizyon. — Daria Mukhina, analis pwodwi pou aplikasyon mobil Skyeng.
Ekip Stitch Fix la renmen teste diferan bagay. Tout kominote teknoloji a fondamantalman renmen fè tès yo. Ki vèsyon sit la ki atire plis itilizatè - A oswa B? Èske vèsyon A nan modèl rekòmande a fè plis lajan pase vèsyon B? Prèske toujou, pou teste ipotèz, nou itilize apwòch ki pi senp nan kou estatistik debaz la:
Malgre ke nou raman itilize tèm nan, fòm sa a nan tès yo rele "tès ipotèz la nan siperyorite". Avèk apwòch sa a, nou sipoze ke pa gen okenn diferans ant de opsyon yo. Nou rete ak lide sa a epi sèlman abandone li si rezilta yo ase konvenk pou garanti li—sa vle di, li montre ke yon opsyon (A oswa B) pi bon pase lòt la.
Tès ipotèz siperyorite apwopriye pou rezoud yon varyete pwoblèm. Nou lage vèsyon B nan modèl rekòmande a sèlman si li klèman pi bon pase vèsyon A ki deja itilize.Men, nan kèk ka, apwòch sa a pa travay tèlman byen. Ann gade kèk egzanp.
1) Nou itilize yon sèvis twazyèm pati, ki ede idantifye fo kat labank. Nou jwenn yon lòt sèvis ki koute siyifikativman mwens. Si yon sèvis ki pi bon mache travay menm jan ak sa nou itilize kounye a, nou pral chwazi li. Li pa dwe pi bon pase sèvis w ap itilize a.
2) Nou vle lage sous done a A epi ranplase li ak sous done B. Nou ta ka retade abandone A si B pwodui rezilta trè move, men li pa posib pou kontinye itilize A.
3) Nou ta renmen deplase soti nan yon apwòch modèlApwòch A a B, pa paske nou espere pi bon rezilta nan men B, men paske li ban nou plis fleksibilite operasyonèl. Nou pa gen okenn rezon pou nou kwè ke B pral vin pi mal, men nou pa pral tranzisyon si li se.
4) Nou te fè kèk chanjman kalite konsepsyon sit entènèt (Vèsyon B) epi kwè ke vèsyon sa a siperyè vèsyon A. Nou pa atann chanjman nan konvèsyon oswa nenpòt nan KPI yo ke nou nòmalman mezire yon sit entènèt kont. Men, nou kwè ke gen avantaj nan paramèt ki swa enmezirab, oswa teknoloji nou yo pa ase pou mezire.
Nan tout ka sa yo, rechèch ekselans se pa pi bon solisyon. Men, pifò espesyalis nan sitiyasyon sa yo sèvi ak li pa default. Nou ak anpil atansyon fè eksperyans la kòrèkteman detèmine grandè efè a. Si se te vre ke vèsyon A ak B travay nan fason ki sanble anpil, gen chans pou nou p ap kapab rejte ipotèz nil la. Èske nou konkli ke A ak B jeneralman travay nan menm fason an? Non! Li pa rejte ipotèz nil la ak aksepte ipotèz nil la se pa menm bagay la.
Kalkil gwosè echantiyon yo (ki ou te fè, nan kou, fè) yo gen tandans gen limit pi sere sou erè Tip I (pwobabilite pou mal rejte ipotèz la nil, souvan refere yo kòm alfa) pase erè Tip II (Probabilite pou pa rejte nil la). ipotèz, bay kondisyon ke ipotèz nil la fo, yo rele souvan beta). Yon valè tipik pou alfa se 0,05 pandan yon valè tipik pou beta se 0,20, ki koresponn ak yon pouvwa estatistik 0,80. Sa vle di ke nou ka pa detekte efè a vre nan valè a nou te endike nan kalkil pouvwa nou yo ak yon pwobabilite nan 20% ak sa a se yon diferans ki pi grav nan enfòmasyon. Kòm yon egzanp, ann konsidere ipotèz sa yo:
H0: sak lekòl mwen an PA nan chanm mwen (3)
H1: sak lekòl mwen an nan chanm mwen (4)
Si mwen fouye chanm mwen epi mwen jwenn sak lekòl mwen an, gwo, mwen ka lage ipotèz la nil. Men, si mwen gade nan sal la epi mwen pa t 'kapab jwenn sak lekòl mwen an (Figi 1), ki konklizyon mwen ta dwe tire? Èske mwen sèten li pa la? Èske mwen chèche ak anpil atansyon ase? E si mwen sèlman chèche 80% nan chanm nan? Pou konkli ke pa gen definitivman pa gen sakado nan chanm nan ta dwe yon desizyon gratèl. Se pa etonan nou pa ka "aksepte ipotèz nil la".
Zòn nou te fouye a
Nou pa jwenn sakado a - èske nou ta dwe aksepte ipotèz nil la?
Figi 1. Chèche 80% nan yon chanm se apeprè menm jan ak fè yon rechèch ak 80% pouvwa. Si w pa t jwenn yon sakado apre w fin gade anviwon 80% nan chanm nan, èske w ka konkli ke li pa la?
Se konsa, sa ta dwe yon syantis done fè nan sitiyasyon sa a? Ou ka ogmante anpil pouvwa etid la, men Lè sa a, w ap bezwen yon gwosè echantiyon pi gwo, epi rezilta a ap toujou pa satisfezan.
Erezman, pwoblèm sa yo depi lontan te etidye nan mond lan nan rechèch klinik. Medikaman B pi bon mache pase dwòg A; dwòg B espere lakòz mwens efè segondè pase dwòg A; Dwòg B pi fasil pou transpòte li paske li pa bezwen refrijere, men dwòg A fè sa. Ann teste ipotèz ki pa enferyorite. Sa a se montre ke vèsyon B se jis kòm bon jan vèsyon A-omwen nan kèk predetèmine "pa mwens efikas" limit, Δ. Nou pral pale plis sou fason pou mete limit sa a yon ti jan pita. Men, pou kounye a, an n sipoze ke sa a se diferans ki minimòm ki pratikman enpòtan (nan kontèks esè klinik yo, anjeneral yo rele sa siyifikasyon klinik).
Ipotèz sou efikasite pa mwens vire tout bagay tèt anba:
Koulye a, olye pou yo sipoze ke pa gen okenn diferans, nou sipoze ke vèsyon B pi mal pase vèsyon A, epi nou pral rete soude ak sipozisyon sa a jiskaske nou demontre ke sa a se pa ka a. Sa a se egzakteman pwen lè li fè sans pou itilize tès ipotèz yon sèl-side! Nan pratik, sa ka fèt pa konstwi yon entèval konfyans ak detèmine si entèval la se tout bon pi gran pase Δ (Figi 2).
Chwa Δ
Ki jan yo chwazi bon Δ a? Pwosesis seleksyon Δ a gen ladann jistifikasyon estatistik ak evalyasyon solid. Nan mond lan nan rechèch klinik, gen direktiv normatif ki sijere ke delta a ta dwe pi piti diferans nan klinik enpòtan - youn ki pral enpòtan nan pratik. Men yon sitasyon nan manyèl Ewopeyen an pou teste tèt ou ak: "Si yo te chwazi diferans lan kòrèkteman, yon entèval konfyans ki antyèman ant -∆ ak 0 ... toujou ase pou demontre pa mwens efikasite. Si rezilta sa a pa sanble akseptab, sa vle di ke ∆ pa te chwazi kòmsadwa."
Delta a ta dwe definitivman pa depase gwosè efè Vèsyon A an parapò ak vrè kontwòl la (plasebo/pa gen tretman), paske sa fè nou konkli ke Vèsyon B pi mal pase vrè kontwòl la, pandan y ap montre "pa gen mwens efikasite. ". Sipoze ke lè yo te prezante vèsyon A, vèsyon 0 te nan plas li, oswa karakteristik nan pa t egziste ditou (gade Figi 3).
Ki baze sou rezilta tès ipotèz siperyorite a, gwosè efè E te revele (ki se, prezimableman μ^A−μ^0=E). Koulye a, A se nouvo estanda nou an, epi nou vle asire w ke B bon menm jan ak A. Yon lòt fason yo ekri μB−μA≤−Δ (ipotèz la nil) se μB≤μA−Δ. Si nou sipoze ke fè se egal a oswa pi gran pase E, Lè sa a, μB ≤ μA−E ≤ plasebo. Koulye a, nou wè ke estimasyon nou an pou μB se konplètman pi gran pase μA−E, ki konsa konplètman demanti ipotèz la nil epi pèmèt nou konkli ke B pa enferyè a A, men an menm tan an, μB ka ≤ μ plasebo, ki se pa sa nou bezwen. (Figi 3).
Figi 3. Demonstrasyon risk ki genyen nan chwazi yon fwontyè ki pa mwens efikasite. Si limit la twò gwo, li ka konkli ke B pa enferyè ak A, men an menm tan an pa distenge ak plasebo. Nou p ap chanje yon medikaman ki klèman pi efikas pase plasebo (A) pou yon medikaman ki efikas menm jan ak plasebo.
Chwa α
Ann pase nan chwa a nan α. Ou ka itilize valè estanda α = 0,05, men sa a pa totalman jis. Tankou, pou egzanp, lè ou achte yon bagay sou entènèt la epi sèvi ak plizyè kòd rabè nan yon fwa, byenke yo pa ta dwe ajoute moute - pwomotè a jis fè yon erè, epi ou te ale ak li. Dapre règ yo, valè α dwe egal a mwatye valè α, ki itilize nan tès ipotèz siperyorite a, sa vle di 0,05 / 2 = 0,025.
Gwosè echantiyon
Ki jan yo estime gwosè echantiyon? Si w sipoze vre diferans mwayèn ant A ak B se 0, Lè sa a, kalkil gwosè echantiyon an se menm jan ak tès ipotèz siperyorite a, eksepte ke ou ranplase gwosè efè a ak yon limit ki pa mwens efikasite, depi w itilize α pa mwens efikas = 1/2 α siperyorite (αnon-enferyorite=1/2αsiperyorite). Si ou gen rezon pou kwè ke opsyon B ta ka yon ti kras pi mal pase opsyon A, men ou vle pwouve ke li pa plis pase Δ pi mal, Lè sa a, ou gen chans! An reyalite, sa a diminye gwosè echantiyon ou paske li pi fasil pou demontre ke B pi mal pase A si ou reyèlman panse li se yon ti kras pi mal, pa egal.
Egzanp solisyon
Ann di ou vle ajou nan vèsyon B, depi li pa plis pase 0,1 pwen pi mal pase vèsyon A sou yon echèl satisfaksyon kliyan 5 pwen ... Ann apwoche pwoblèm sa a lè l sèvi avèk ipotèz siperyorite a.
Pou teste ipotèz siperyorite a, nou ta kalkile gwosè echantiyon an jan sa a:
Sa vle di, si ou gen 2103 obsèvasyon nan yon gwoup, ou kapab 90% asire w ke w ap jwenn yon efè 0,10 oswa plis. Men, si 0,10 twò wo pou ou, li ta ka pa vo teste ipotèz siperyorite a pou li. Ou ka vle asire w ke ou kouri etid la pou yon gwosè efè ki pi piti, tankou 0,05. Nan ka sa a, w ap bezwen obsèvasyon 8407, se sa ki, echantiyon an ap ogmante pa prèske 4 fwa. Men, e si nou rete sou gwosè echantiyon orijinal nou an men ogmante pouvwa a a 0,99 pou nou pa gen dout si nou jwenn yon rezilta pozitif? Nan ka sa a, n pou yon gwoup yo pral 3676, ki se deja pi bon, men ogmante gwosè echantiyon an pa plis pase 50%. Epi kòm yon rezilta, nou toujou tou senpleman pa yo pral kapab refite ipotèz la nil, epi nou pa pral jwenn yon repons a kesyon nou an.
E si olye nou teste ipotèz la pa mwens efikasite?
Yo pral kalkile gwosè echantiyon an avèk menm fòmil eksepte denominatè a.
Diferans ki genyen ak fòmil yo itilize pou teste ipotèz siperyorite a se jan sa a:
- Z1−α/2 ranplase pa Z1−α, men si ou fè tout bagay dapre règ yo, ou ranplase α = 0,05 ak α = 0,025, se sa ki se menm nimewo (1,96)
- parèt nan denominatè a (μB−μA)
- θ (gwosè efè) ranplase pa Δ (limit pa mwens efikasite)
Si nou sipoze ke µB = µA, lè sa a (µB − µA) = 0 epi kalkile gwosè echantiyon an pou maj ki pa enferyorite a se egzakteman sa nou ta jwenn lè n ap kalkile siperyorite pou yon gwosè efè 0,1, gwo! Nou ka fè yon etid nan menm echèl la ak diferan ipotèz ak yon apwòch diferan nan konklizyon epi n ap jwenn repons a kesyon nou reyèlman vle reponn a.
Koulye a, sipoze nou pa reyèlman kwè ke µB = µA ak
nou panse µB se yon ti jan pi mal, petèt pa 0,01 inite. Sa a ogmante denominatè nou an, diminye gwosè echantiyon an pou chak gwoup a 1737.
Kisa k ap pase si vèsyon B aktyèlman pi bon pase vèsyon A? Nou rejte ipotèz nil ke B pi mal pase A pa plis pase ∆ epi aksepte ipotèz altènatif ke B, si pi mal, pa pi mal pase ∆ epi li kapab pi bon. Eseye mete konklizyon sa a nan yon prezantasyon kwa-fonksyonèl epi wè sa k ap pase (seryezman, eseye li). Nan yon sitiyasyon kote ou bezwen oryante nan tan kap vini an, pèsonn pa vle rezoud pou "pi mal pase Δ epi pètèt pi bon."
Nan ka sa a, nou ka fè yon etid ki rele trè kout "tès ipotèz la ke youn nan opsyon yo siperyè oswa enferyè a lòt la." Li itilize de seri ipotèz:
Premye seri a (menm jan ak lè w teste ipotèz la pa mwens efikasite):
Dezyèm seri a (menm jan ak lè w teste ipotèz siperyorite a):
Nou teste dezyèm ipotèz la sèlman si yo rejte premye a. Nan tès sekans, nou kenbe nivo jeneral erè tip I (α). Nan pratik, sa ka reyalize pa kreye yon entèval konfyans 95% pou diferans ki genyen ant mwayen yo ak tcheke pou wè si entèval la tout antye pi gran pase -Δ. Si entèval la pa depase -Δ, nou pa ka rejte valè zewo a epi sispann. Si tout entèval la vrèman pi gran pase −Δ, nou pral ale pi devan epi wè si entèval la gen 0.
Gen yon lòt kalite rechèch ke nou pa te diskite - etid ekivalans.
Etid nan kalite sa a ka ranplase pa etid yo teste ipotèz la nan pa mwens efikasite ak vis vèrsa, men yo menm yo gen yon diferans enpòtan. Yon tès ki pa enferyorite gen pou objaktif pou montre ke opsyon B pi bon menm jan ak A. Epi yon etid ekivalans gen pou objaktif pou montre ke opsyon B se omwen menm jan ak A, ak opsyon A se menm jan ak B, ki se pi difisil. . Nan sans, nou ap eseye detèmine si tout entèval konfyans pou diferans ki genyen ant mwayen yo manti ant −∆ ak ∆. Etid sa yo mande pou pi gwo gwosè echantiyon epi yo fèt mwens souvan. Se konsa, pwochen fwa ou fè yon etid kote enkyetid prensipal ou a se asire w ke nouvo vèsyon an se kòm bon, pa rezoud pou "ne pa refize ipotèz la nil." Si ou vle teste yon ipotèz vrèman enpòtan, konsidere diferan opsyon.
Sous: www.habr.com