Nkan kan lati ẹgbẹ Stitch Fix ni imọran lilo ọna awọn idanwo ti kii ṣe inferiority ni titaja ati awọn idanwo A/B ọja. Ọna yii kan looto nigba ti a n ṣe idanwo ojutu tuntun kan ti o ni awọn anfani ti kii ṣe iwọn nipasẹ awọn idanwo.
Apẹẹrẹ ti o rọrun julọ jẹ idinku iye owo. Fun apẹẹrẹ, a ṣe adaṣe ilana ti fifun ẹkọ akọkọ, ṣugbọn a ko fẹ lati dinku iyipada-si-opin ni pataki. Tabi a ṣe idanwo awọn ayipada ti o ni ifọkansi si apakan kan ti awọn olumulo, lakoko ṣiṣe idaniloju pe awọn iyipada fun awọn apakan miiran ko ju silẹ pupọ (nigbati o ba ṣe idanwo awọn idawọle pupọ, maṣe gbagbe nipa awọn atunṣe).
Yiyan ala ala-alaini ti o tọ ṣe afikun awọn italaya afikun lakoko ipele apẹrẹ idanwo. Ibeere ti bii o ṣe le yan Δ ko ni aabo daradara ninu nkan naa. O dabi pe yiyan yii ko han gbangba ni awọn idanwo ile-iwosan boya. Awọn atẹjade iṣoogun lori ijabọ aiṣedeede ti o jẹ idaji awọn atẹjade nikan ni ẹtọ yiyan ti aala, ati nigbagbogbo awọn idalare wọnyi jẹ aibikita tabi kii ṣe alaye.
Ni eyikeyi idiyele, ọna yii dabi iwunilori nitori… nipa idinku iwọn ayẹwo ti a beere, o le mu iyara idanwo pọ si, ati, nitorinaa, iyara ti ṣiṣe ipinnu. - Daria Mukhina, oluyanju ọja fun ohun elo alagbeka Skyeng.
Ẹgbẹ Stitch Fix nifẹ lati ṣe idanwo awọn nkan oriṣiriṣi. Gbogbo agbegbe imọ-ẹrọ nifẹ lati ṣiṣe awọn idanwo ni ipilẹ. Ẹya wo ni aaye naa ṣe ifamọra awọn olumulo diẹ sii - A tabi B? Njẹ ẹya A ti awoṣe iṣeduro ṣe owo diẹ sii ju ẹya B? Lati ṣe idanwo awọn idawọle, a fẹrẹẹ nigbagbogbo lo ọna ti o rọrun julọ lati ẹkọ awọn iṣiro ipilẹ:
Botilẹjẹpe a ṣọwọn lo ọrọ naa, iru idanwo yii ni a pe ni “idanwo arosọ giga.” Pẹlu ọna yii, a ro pe ko si iyatọ laarin awọn aṣayan meji. A duro pẹlu ero yii ati pe a kọ silẹ nikan ti data ba jẹ ọranyan to lati ṣe bẹ - iyẹn ni, o ṣe afihan pe ọkan ninu awọn aṣayan (A tabi B) dara ju ekeji lọ.
Idanwo idawọle ti o ga julọ dara fun ọpọlọpọ awọn iṣoro. A ṣe idasilẹ ẹya B nikan ti awoṣe iṣeduro ti o ba jẹ kedere dara ju ẹya A ti o ti wa ni lilo tẹlẹ. Ṣugbọn ni awọn igba miiran, ọna yii ko ṣiṣẹ daradara. Jẹ ki a wo awọn apẹẹrẹ diẹ.
1) A lo iṣẹ ẹnikẹta, eyiti o ṣe iranlọwọ idanimọ awọn kaadi banki eke. A rii iṣẹ miiran ti o jẹ idiyele ti o dinku pupọ. Ti iṣẹ ti o din owo ba ṣiṣẹ daradara bi eyiti a nlo lọwọlọwọ, a yoo yan. Ko ni lati dara ju iṣẹ ti o nlo lọ.
2) A fẹ lati kọ orisun data silẹ A ki o rọpo rẹ pẹlu orisun data B. A le ṣe idaduro ikọsilẹ A ti B ba n ṣe awọn abajade buburu pupọ, ṣugbọn ko ṣee ṣe lati tẹsiwaju ni lilo A.
3) A yoo fẹ lati gbe lati ọna awoṣe kanỌna A si B kii ṣe nitori a nireti awọn abajade to dara julọ lati B, ṣugbọn nitori pe o fun wa ni irọrun iṣẹ ṣiṣe ti o tobi julọ. A ko ni idi lati gbagbọ pe B yoo buru, ṣugbọn a kii yoo ṣe iyipada ti eyi ba jẹ ọran naa.
4) A ti ṣe ọpọlọpọ awọn iyipada didara sinu apẹrẹ oju opo wẹẹbu (ẹya B) ati gbagbọ pe ẹya yii ga ju ẹya A. A ko nireti awọn ayipada ninu iyipada tabi eyikeyi awọn afihan iṣẹ ṣiṣe nipasẹ eyiti a ṣe iṣiro oju opo wẹẹbu kan nigbagbogbo. Ṣugbọn a gbagbọ pe awọn anfani wa ni awọn paramita ti o jẹ boya aiwọnwọn tabi imọ-ẹrọ wa ko to lati wiwọn.
Ni gbogbo awọn ọran wọnyi, iwadii giga julọ kii ṣe ojutu ti o yẹ julọ. Ṣugbọn ọpọlọpọ awọn alamọja ni iru awọn ipo bẹẹ lo nipasẹ aiyipada. A farabalẹ ṣe idanwo naa lati pinnu iwọn ipa naa ni deede. Ti o ba jẹ otitọ pe awọn ẹya A ati B ṣiṣẹ ni awọn ọna ti o jọra, aye wa ti a yoo kuna lati kọ arosọ asan. Njẹ a pinnu pe A ati B ṣe ni ipilẹ kanna? Rara! Ikuna lati kọ arosọ asan ati gbigba idawọle asan kii ṣe ohun kanna.
Awọn iṣiro iwọn ayẹwo (eyiti, nitorinaa, o ti ṣe) ni igbagbogbo ṣe pẹlu awọn aala ti o muna fun aṣiṣe Iru I (iṣeeṣe ti kuna lati kọ arosọ asan, nigbagbogbo ti a pe ni alpha) ju fun aṣiṣe Iru II (iṣeeṣe ti kuna lati kọ arosọ asan, ti a fun ni ipo pe arosọ asan jẹ eke, nigbagbogbo ti a pe ni beta). Iwọn aṣoju fun alpha jẹ 0,05, lakoko ti iye aṣoju fun beta jẹ 0,20, ti o baamu si agbara iṣiro ti 0,80. Eyi tumọ si pe aye 20% wa ti a yoo padanu ipa otitọ ti opoiye ti a ti sọ pato ninu awọn iṣiro agbara wa, ati pe iyẹn jẹ aafo to ṣe pataki ni alaye. Fun apẹẹrẹ, jẹ ki a wo awọn idawọle wọnyi:
H0: apoeyin mi KO si ninu yara mi (3)
H1: apoeyin mi wa ninu yara mi (4)
Ti MO ba wa yara mi ati rii apoeyin mi, nla, Mo le kọ arosọ asan. Ṣugbọn ti MO ba wo ni ayika yara naa ati pe ko le rii apoeyin mi (Aworan 1), ipari wo ni MO yẹ ki n fa? Ṣe Mo da mi loju pe ko si nibẹ? Ṣe Mo wo lile to? Kini ti MO ba wa 80% ti yara nikan? Ni ipari pe apoeyin ko si ni pato ninu yara yoo jẹ ipinnu asan. Abajọ ti a ko le "gba ifojusọna asan."
Agbegbe ti a wa
A ko ri apoeyin - o yẹ ki a gba idawọle asan bi?
Nọmba 1: Wiwa 80% ti yara kan jẹ aijọju kanna bi wiwa ni 80% agbara. Ti o ko ba ri apoeyin lẹhin wiwo 80% ti yara naa, ṣe o le pinnu pe ko si nibẹ?
Nitorinaa kini o yẹ ki onimọ-jinlẹ data ṣe ni ipo yii? O le mu agbara iwadi pọ si pupọ, ṣugbọn lẹhinna iwọ yoo nilo iwọn ayẹwo ti o tobi pupọ ati abajade yoo tun jẹ alaiwulo.
O da, iru awọn iṣoro bẹ ti pẹ ni iwadi ni agbaye ti iwadii ile-iwosan. Oògùn B jẹ din owo ju oogun A; Oògùn B ni a nireti lati fa awọn ipa ẹgbẹ diẹ sii ju Oògùn A; oogun B rọrun lati gbe nitori ko nilo lati wa ni firiji, ṣugbọn oogun A ṣe. Jẹ ká idanwo awọn ilewq ti ti kii-inferiority. Eyi ni lati fihan pe ẹya B dara bi ẹya A — o kere ju laarin diẹ ninu ala ti a ti pinnu tẹlẹ, Δ. A yoo sọrọ diẹ sii nipa bi o ṣe le ṣeto opin yii diẹ diẹ nigbamii. Ṣugbọn fun bayi jẹ ki a ro pe eyi ni iyatọ ti o kere julọ ti o ni itumọ ti iṣe (ninu ọrọ ti awọn idanwo ile-iwosan, eyi ni a maa n pe ni pataki ile-iwosan).
Awọn idawọle ti kii ṣe alailẹyin yi ohun gbogbo pada si ori rẹ:
Bayi, dipo ti a ro pe ko si iyato, a yoo ro pe version B jẹ buru ju ti ikede A, ati awọn ti a yoo Stick pẹlu yi arosinu titi ti a fi hàn pé yi ni ko ni irú. Eyi ni akoko gangan nigbati o jẹ oye lati lo idanwo idawọle kan! Ni iṣe, eyi le ṣee ṣe nipa ṣiṣe agbedemeji igbẹkẹle ati ṣiṣe ipinnu boya aarin jẹ gangan tobi ju Δ (Nọmba 2).
Yan Δ
Bawo ni lati yan Δ ọtun? Ilana yiyan Δ pẹlu idalare iṣiro ati igbelewọn idaran. Ni agbaye ti iwadii ile-iwosan, awọn ilana ilana wa ti o sọ pe delta yẹ ki o ṣe aṣoju iyatọ pataki ti ile-iwosan ti o kere julọ-ọkan ti yoo ṣe iyatọ ninu adaṣe. Eyi ni agbasọ kan lati awọn itọnisọna Yuroopu lati ṣe idanwo fun ararẹ pẹlu: “Ti iyatọ ba ti yan ni deede, aarin igbẹkẹle ti o wa laaarin –∆ ati 0… tun to lati ṣafihan aisi-kekere. Ti abajade yii ko ba dabi itẹwọgba, o tumọ si pe ∆ ko yan bi o ti yẹ.”
delta ko yẹ ki o kọja iwọn ipa ti ẹya A ni ibatan si iṣakoso otitọ (pilasibo / ko si itọju), nitori eyi yorisi wa lati sọ pe ẹya B buru ju iṣakoso otitọ lọ, lakoko kanna ti n ṣafihan “aisi-alaini .” Jẹ ki a ro pe nigba ti ikede A ti ṣafihan, o ti rọpo nipasẹ ẹya 0 tabi ẹya naa ko si rara (wo Nọmba 3).
Da lori awọn abajade ti idanwo idawọle ti o ga julọ, iwọn ipa E ti ṣafihan (iyẹn ni, aigbekele μ^A-μ^0=E). Bayi A jẹ boṣewa tuntun wa, ati pe a fẹ lati rii daju pe B dara bi A. Ọna miiran lati kọ μB-μA≤-Δ (aiṣedeede asan) jẹ μB≤μA-Δ. Ti a ba ro pe ṣe jẹ dogba tabi tobi ju E, lẹhinna μB ≤ μA-E ≤ placebo. Ni bayi a rii pe iṣiro wa fun μB ti kọja μA-E patapata, eyiti o kọ patapata idawọle asan ati gba wa laaye lati pinnu pe B dara bi A, ṣugbọn ni akoko kanna μB le jẹ ≤ μ placebo, eyiti kii ṣe irú ohun ti a nilo. (Aworan 3).
Ṣe nọmba 3. Afihan awọn ewu ti yiyan ala ti kii kere ju. Ti gige gige ba ga ju, o le pari pe B ko kere si A, ṣugbọn ni akoko kanna ko ṣe iyatọ si placebo. A ko ni paarọ oogun kan ti o han gbangba pe o munadoko ju placebo (A) fun oogun ti o munadoko bi placebo.
Aṣayan α
Jẹ ki a tẹsiwaju si yiyan α. O le lo iye boṣewa α = 0,05, ṣugbọn eyi kii ṣe ododo patapata. Bii, fun apẹẹrẹ, nigbati o ra nkan lori ayelujara ati lo ọpọlọpọ awọn koodu ẹdinwo ni ẹẹkan, botilẹjẹpe wọn ko yẹ ki o papọ - olupilẹṣẹ kan ṣe aṣiṣe kan, ati pe o lọ pẹlu rẹ. Gẹgẹbi awọn ofin, iye α yẹ ki o dọgba si idaji iye α ti o lo nigba idanwo idawọle giga, iyẹn ni, 0,05 / 2 = 0,025.
Iwọn apẹẹrẹ
Bawo ni lati ṣe iṣiro iwọn ayẹwo? Ti o ba gbagbọ pe iyatọ itumọ otitọ laarin A ati B jẹ 0, lẹhinna iṣiro iwọn ayẹwo jẹ kanna bi nigba idanwo idawọle ti o ga julọ, ayafi pe o rọpo iwọn ipa pẹlu ala ti kii ṣe alailẹṣẹ, ti o pese pe o lo. αnon-inferior ṣiṣe = 1/2αsuperiority (αnon-inferiority=1/2αsuperiority). Ti o ba ni idi lati gbagbọ pe aṣayan B le jẹ diẹ buru ju aṣayan A, ṣugbọn o fẹ lati fi mule pe o buru ju ko ju Δ lọ, lẹhinna o wa ni orire! Eyi dinku iwọn ayẹwo rẹ gangan nitori pe o rọrun lati ṣafihan pe B buru ju A ti o ba ro pe o buru diẹ sii ju ki o dọgba.
Apẹẹrẹ pẹlu ojutu
Jẹ ki a sọ pe o fẹ lati ṣe igbesoke si ẹya B, ti o ba jẹ pe ko ju 0,1 ojuami buru ju ti ikede A lori iwọn itẹlọrun alabara 5-ojuami ... Jẹ ki a sunmọ iṣoro yii nipa lilo iṣeduro giga.
Lati ṣe idanwo idawọle giga, a yoo ṣe iṣiro iwọn ayẹwo bi atẹle:
Iyẹn ni, ti o ba ni awọn akiyesi 2103 ninu ẹgbẹ rẹ, o le ni igboya 90% pe iwọ yoo rii iwọn ipa ti 0,10 tabi tobi julọ. Ṣugbọn ti 0,10 ba ga ju fun ọ, o le ma tọ lati ṣe idanwo idawọle giga fun. Lati wa ni ẹgbẹ ailewu, o le pinnu lati ṣiṣe iwadi naa fun iwọn ipa ti o kere, gẹgẹbi 0,05. Ni idi eyi, iwọ yoo nilo awọn akiyesi 8407, eyini ni, ayẹwo yoo pọ si fere 4 igba. Ṣugbọn kini ti a ba di iwọn apẹẹrẹ atilẹba wa, ṣugbọn pọ si agbara si 0,99 ki a le ni aabo ti a ba ni abajade rere? Ni idi eyi, n fun ẹgbẹ kan yoo jẹ 3676, eyi ti o ti dara tẹlẹ, ṣugbọn o mu iwọn ayẹwo pọ sii ju 50%. Ati bi abajade, a tun kii yoo ni anfani lati tako idawọle asan, ati pe a ko ni gba idahun si ibeere wa.
Ti a ba ṣe idanwo idawọle aiṣe-feriority dipo?
Iwọn ayẹwo naa yoo ṣe iṣiro nipa lilo agbekalẹ kanna ayafi fun iyeida.
Awọn iyatọ lati agbekalẹ ti a lo lati ṣe idanwo idawọle ti o ga julọ jẹ bi atẹle:
- Z1-α / 2 ti rọpo nipasẹ Z1-α, ṣugbọn ti o ba ṣe ohun gbogbo ni ibamu si awọn ofin, o rọpo α = 0,05 pẹlu α = 0,025, iyẹn ni, o jẹ nọmba kanna (1,96)
— (μB-μA) farahan ninu iyeida
- θ (iwọn ipa) ti rọpo nipasẹ Δ (ala ti kii ṣe inferiority)
Ti a ba ro pe µB = µA, lẹhinna (µB - µA) = 0 ati iṣiro iwọn ayẹwo fun ala ti kii ṣe aipe jẹ deede ohun ti a yoo gba ti a ba ṣe iṣiro giga fun iwọn ipa ti 0,1, nla! A le ṣe iwadi ti iwọn kanna pẹlu awọn idawọle oriṣiriṣi ati ọna ti o yatọ si awọn ipari, ati pe a yoo gba idahun si ibeere ti a fẹ lati dahun gaan.
Bayi ro pe a ko ro pe µB = µA ati
A ro pe µB buru diẹ, boya nipasẹ awọn ẹya 0,01. Eyi mu iyeida wa pọ si, idinku iwọn ayẹwo fun ẹgbẹ kan si 1737.
Kini yoo ṣẹlẹ ti ẹya B ba dara julọ ju ẹya A? A kọ arosọ asan ti B buru ju A nipasẹ diẹ sii ju Δ ati gba idawọle omiiran ti B, ti o ba buru, ko buru ju A nipasẹ Δ ati pe o le dara julọ. Gbiyanju fifi ipari yii sinu igbejade iṣẹ-agbelebu ki o wo ohun ti o ṣẹlẹ (pataki, gbiyanju rẹ). Ni ipo wiwa siwaju, ko si ẹnikan ti o fẹ lati yanju fun “ko si ju Δ buruju ati boya dara julọ.”
Nínú ọ̀ràn yìí, a lè ṣe ìkẹ́kọ̀ọ́ kan, èyí tí a pè ní ṣókí “dánwò ìdánwò ìdánwò náà pé ọ̀kan nínú àwọn àṣàyàn lọ́lá tàbí ó rẹlẹ̀ sí èkejì.” O nlo awọn idawọle meji:
Eto akọkọ (kanna bii idanwo idawọle ti kii ṣe inferiority):
Eto keji (kanna bi nigba idanwo idawọle giga):
A ṣe idanwo idawọle keji nikan ti akọkọ ba kọ. Nigbati idanwo leralera, a ṣetọju oṣuwọn aṣiṣe Iru I gbogbogbo (α). Ni iṣe, eyi le ṣee ṣe nipasẹ ṣiṣẹda aarin 95% igbẹkẹle fun iyatọ laarin awọn ọna ati idanwo lati pinnu boya gbogbo aarin jẹ tobi ju -Δ. Ti aarin ko ba kọja -Δ, a ko le kọ iye asan ati da duro. Ti gbogbo aarin ba tobi ju -Δ, a yoo tẹsiwaju ati rii boya aarin naa ni 0.
Iru iwadii miiran wa ti a ko ti jiroro rẹ - awọn ẹkọ deede.
Awọn iru awọn ijinlẹ wọnyi le rọpo nipasẹ awọn ijinlẹ aifẹ ati ni idakeji, ṣugbọn wọn ni iyatọ pataki. Idanwo aiṣedeede ni ifọkansi lati fihan pe aṣayan B jẹ o kere ju bi A. Idanwo deede ni ero lati fihan pe aṣayan B jẹ o kere ju bi A. Aṣayan A dara bi B, eyiti o nira sii. Ni pataki, a n gbiyanju lati pinnu boya gbogbo aarin igbẹkẹle fun iyatọ ninu tumọ si wa laarin -Δ ati Δ. Iru awọn ẹkọ bẹ nilo iwọn ayẹwo ti o tobi julọ ati pe a ṣe adaṣe ni igbagbogbo. Nitorinaa nigbamii ti o ba ṣe ikẹkọ ninu eyiti ibi-afẹde akọkọ rẹ ni lati rii daju pe ẹya tuntun ko buru, maṣe yanju fun “ikuna lati kọ arosọ asan.” Ti o ba fẹ ṣe idanwo igbero pataki kan, ronu awọn aṣayan oriṣiriṣi.
orisun: www.habr.com