Kad mums vajadzētu pārbaudīt nepilnvērtības hipotēzi?

Stitch Fix komandas rakstā ir ieteikts mārketinga un produktu A/B testos izmantot ne-zemākas kvalitātes izmēģinājumu pieeju. Šī pieeja patiešām ir piemērojama, ja mēs testējam jaunu risinājumu, kam ir priekšrocības, kuras netiek novērtētas ar testiem.

Vienkāršākais piemērs ir izmaksu samazināšana. Piemēram, mēs automatizējam pirmās nodarbības piešķiršanas procesu, taču nevēlamies būtiski samazināt pilnīgu reklāmguvumu skaitu. Vai arī mēs pārbaudām izmaiņas, kas ir vērstas uz vienu lietotāju segmentu, vienlaikus pārliecinoties, ka reklāmguvumi citiem segmentiem daudz nesamazinās (pārbaudot vairākas hipotēzes, neaizmirstiet par grozījumiem).

Pareizas ne-zemākas robežas izvēle rada papildu problēmas testa izstrādes posmā. Jautājums par to, kā izvēlēties Δ, rakstā nav īpaši labi apskatīts. Šķiet, ka arī klīniskajos pētījumos šī izvēle nav pilnībā pārredzama. Pārskatiet medicīniskajās publikācijās par ne-mazvērtību ziņots, ka tikai puse publikāciju attaisno robežas izvēli, un bieži vien šie pamatojumi ir neskaidri vai nav detalizēti.

Jebkurā gadījumā šī pieeja šķiet interesanta, jo... samazinot nepieciešamo izlases lielumu, tas var palielināt testēšanas ātrumu un līdz ar to arī lēmumu pieņemšanas ātrumu. — Daria Muhina, mobilās lietojumprogrammas Skyeng produktu analītiķe.

Stitch Fix komandai patīk pārbaudīt dažādas lietas. Visai tehnoloģiju kopienai principā patīk veikt testus. Kura vietnes versija piesaista vairāk lietotāju — A vai B? Vai ieteikuma modeļa A versija pelna vairāk nekā B versija? Lai pārbaudītu hipotēzes, mēs gandrīz vienmēr izmantojam visvienkāršāko pieeju no statistikas pamatkursa:

Lai gan mēs reti lietojam šo terminu, šo pārbaudes veidu sauc par "pārspējas hipotēzes pārbaudi". Izmantojot šo pieeju, mēs pieņemam, ka starp abām iespējām nav atšķirības. Mēs paliekam pie šīs idejas un atsakāmies no tās tikai tad, ja dati ir pietiekami pārliecinoši, lai to izdarītu, tas ir, tas parāda, ka viena no iespējām (A vai B) ir labāka par otru.

Pārākumu hipotēzes pārbaude ir piemērota dažādām problēmām. Mēs izlaižam tikai ieteikuma modeļa versiju B, ja tā ir nepārprotami labāka par versiju A, kas jau tiek izmantota. Taču dažos gadījumos šī pieeja nedarbojas tik labi. Apskatīsim dažus piemērus.

1) Mēs izmantojam trešās puses pakalpojumu, kas palīdz identificēt viltotas bankas kartes. Mēs atradām citu pakalpojumu, kas maksā ievērojami mazāk. Ja kāds lētāks serviss strādās tikpat labi, kā šobrīd lietojam, mēs to izvēlēsimies. Tam nav jābūt labākam par jūsu izmantoto pakalpojumu.

2) Mēs vēlamies atteikties no datu avota A un aizstājiet to ar datu avotu B. Mēs varētu aizkavēt atteikšanos no A, ja B rezultāti ir ļoti slikti, taču nav iespējams turpināt izmantot A.

3) Mēs vēlētos pāriet no modelēšanas pieejasA līdz B pieeja nevis tāpēc, ka mēs no B sagaidām labākus rezultātus, bet gan tāpēc, ka tā sniedz mums lielāku darbības elastību. Mums nav iemesla uzskatīt, ka B būs sliktāks, taču mēs nepārkāpsim, ja tas tā būs.

4) Esam veikuši vairākas kvalitatīvas izmaiņas vietnes dizainā (versija B) un uzskatām, ka šī versija ir pārāka par versiju A. Mēs negaidām izmaiņas reklāmguvumos vai kādos galvenajos veiktspējas rādītājos, pēc kuriem mēs parasti novērtējam vietni. Taču mēs uzskatām, ka priekšrocības ir parametriem, kas ir vai nu neizmērāmi, vai arī mūsu tehnoloģija nav pietiekama, lai izmērītu.

Visos šajos gadījumos pārākuma izpēte nav piemērotākais risinājums. Bet lielākā daļa speciālistu šādās situācijās to izmanto pēc noklusējuma. Mēs rūpīgi veicam eksperimentu, lai pareizi noteiktu efekta lielumu. Ja tā būtu taisnība, ka versijas A un B darbojas ļoti līdzīgi, pastāv iespēja, ka mums neizdosies noraidīt nulles hipotēzi. Vai mēs secinām, ka A un B būtībā darbojas vienādi? Nē! Nulles hipotēzes noraidīšana un nulles hipotēzes pieņemšana nav viens un tas pats.

Izlases lieluma aprēķini (ko, protams, jūs esat darījuši) parasti tiek veikti ar stingrākām robežām I tipa kļūdai (varbūtība, ka neizdosies noraidīt nulles hipotēzi, ko bieži sauc par alfa), nekā II tipa kļūdai (varbūtība, ka neizdosies noraidīt). nulles hipotēze ar nosacījumu, ka nulles hipotēze ir nepatiesa, ko bieži sauc par beta). Tipiskā alfa vērtība ir 0,05, bet tipiskā beta vērtība ir 0,20, kas atbilst statistiskajai pakāpei 0,80. Tas nozīmē, ka pastāv 20% iespēja, ka mēs palaidīsim garām mūsu jaudas aprēķinos norādītā daudzuma patieso efektu, un tas ir diezgan nopietns informācijas trūkums. Kā piemēru aplūkosim šādas hipotēzes:

H0: mana mugursoma NAV manā istabā (3)
H1: mana mugursoma atrodas manā istabā (4)

Ja es pārmeklēju savu istabu un atradu savu mugursomu, lieliski, es varu noraidīt nulles hipotēzi. Bet, ja es paskatījos pa istabu un nevarēju atrast savu mugursomu (1. attēls), kāds secinājums man būtu jāizdara? Vai esmu pārliecināts, ka tā tur nav? Vai es paskatījos pietiekami rūpīgi? Ko darīt, ja es pārmeklētu tikai 80% telpas? Secināt, ka mugursoma noteikti nav istabā, būtu nepārdomāts lēmums. Nav brīnums, ka mēs nevaram "pieņemt nulles hipotēzi".

Apgabals, kuru pārmeklējām
Mēs neatradām mugursomu — vai mums vajadzētu pieņemt nulles hipotēzi?

1. attēls. 80% telpas meklēšana ir aptuveni tas pats, kas meklēšana ar 80% jaudu. Ja pēc 80% telpas apskatīšanas neatrodat mugursomu, vai varat secināt, ka tās tur nav?

Tātad, kas datu zinātniekam būtu jādara šajā situācijā? Jūs varat ievērojami palielināt pētījuma jaudu, taču tad jums būs nepieciešams daudz lielāks izlases lielums, un rezultāts joprojām būs neapmierinošs.

Par laimi, šādas problēmas jau sen ir pētītas klīnisko pētījumu pasaulē. Zāles B ir lētākas nekā zāles A; Paredzams, ka zāles B izraisīs mazāk blakusparādību nekā zāles A; zāles B ir vieglāk transportējamas, jo tās nav jāatdzesē, bet zāles A gan. Pārbaudīsim hipotēzi par ne-mazvērtību. Tas parāda, ka versija B ir tikpat laba kā versija A — vismaz kaut kādā iepriekš noteiktās zemākas vērtības robežās Δ. Par to, kā iestatīt šo ierobežojumu, mēs runāsim nedaudz vēlāk. Bet pagaidām pieņemsim, ka šī ir mazākā atšķirība, kas ir praktiski nozīmīga (klīnisko pētījumu kontekstā to parasti sauc par klīnisko nozīmi).

Nemazvērtības hipotēzes visu sagriež uz galvas:

Tagad tā vietā, lai pieņemtu, ka nav atšķirības, mēs pieņemsim, ka versija B ir sliktāka par versiju A, un mēs paliksim pie šī pieņēmuma, līdz parādīsim, ka tas tā nav. Tas ir tieši tas brīdis, kad ir jēga izmantot vienpusēju hipotēžu pārbaudi! Praksē to var izdarīt, konstruējot ticamības intervālu un nosakot, vai intervāls patiešām ir lielāks par Δ (2. attēls).

Izvēlieties Δ

Kā izvēlēties pareizo Δ? Δ atlases process ietver statistisko pamatojumu un satura izvērtēšanu. Klīnisko pētījumu pasaulē pastāv normatīvās vadlīnijas, kas nosaka, ka deltai ir jāatspoguļo mazākā klīniski nozīmīga atšķirība — tāda, kas praksē mainīs. Šeit ir citāts no Eiropas vadlīnijām, lai pārbaudītu sevi: “Ja atšķirība ir izvēlēta pareizi, ticamības intervāls, kas pilnībā atrodas starp –∆ un 0…, joprojām ir pietiekams, lai pierādītu, ka atšķirība nav zemāka. Ja šis rezultāts nešķiet pieņemams, tas nozīmē, ka ∆ nav izvēlēts pareizi.

Delta noteikti nedrīkst pārsniegt A versijas ietekmes lielumu attiecībā pret patieso kontroli (placebo/bez ārstēšanas), jo tas liek mums teikt, ka B versija ir sliktāka par īsto kontroli, tajā pašā laikā demonstrējot "nemazvērtību". ”. Pieņemsim, ka tad, kad tika ieviesta A versija, tā tika aizstāta ar versiju 0 vai arī līdzeklis nemaz nepastāvēja (skat. 3. attēlu).

Pamatojoties uz pārākuma hipotēzes pārbaudes rezultātiem, tika atklāts efekta lielums E (tas ir, iespējams, μ^A−μ^0=E). Tagad A ir mūsu jaunais standarts, un mēs vēlamies pārliecināties, ka B ir tikpat labs kā A. Vēl viens veids, kā ierakstīt μB−μA≤−Δ (nulles hipotēze), ir μB≤μA−Δ. Ja pieņemam, ka do ir vienāds vai lielāks par E, tad μB ≤ μA−E ≤ placebo. Tagad mēs redzam, ka mūsu aprēķins par μB pilnībā pārsniedz μA−E, kas tādējādi pilnībā noraida nulles hipotēzi un ļauj secināt, ka B ir tikpat labs kā A, bet tajā pašā laikā μB var būt ≤ μ placebo, kas nav lieta.kas mums vajadzīgs. (3. attēls).

3.attēls. Risku demonstrēšana, izvēloties mazākuma rezervi. Ja robežvērtība ir pārāk augsta, var secināt, ka B nav zemāks par A, bet tajā pašā laikā neatšķiras no placebo. Mēs neapmainīsim zāles, kas ir acīmredzami efektīvākas par placebo (A), pret zālēm, kas ir tikpat efektīvas kā placebo.

α izvēle

Pāriesim pie α izvēles. Varat izmantot standarta vērtību α = 0,05, taču tas nav pilnīgi godīgi. Tāpat kā, piemēram, pērkot kaut ko tiešsaistē un vienlaikus izmantojot vairākus atlaižu kodus, lai gan tos nevajadzētu apvienot - izstrādātājs vienkārši kļūdījās, un jūs ar to iztikāt. Saskaņā ar noteikumiem α vērtībai jābūt vienādai ar pusi no α vērtības, kas tiek izmantota, pārbaudot pārākuma hipotēzi, tas ir, 0,05 / 2 = 0,025.

Parauga lielums

Kā noteikt izlases lielumu? Ja uzskatāt, ka patiesā vidējā atšķirība starp A un B ir 0, tad izlases lieluma aprēķins ir tāds pats kā pārākuma hipotēzes pārbaudē, izņemot to, ka jūs aizstājat efekta lielumu ar mazākuma robežu, ja izmantojat αne-zemāka efektivitāte = 1/2αpārākums (αnemazvērtība=1/2αpārākums). Ja jums ir iemesls uzskatīt, ka variants B varētu būt nedaudz sliktāks par A variantu, bet vēlaties pierādīt, ka tas ir sliktāks par ne vairāk kā Δ, tad jums ir paveicies! Tas faktiski samazina jūsu izlases lielumu, jo ir vieglāk pierādīt, ka B ir sliktāks par A, ja jūs patiesībā domājat, ka tas ir nedaudz sliktāks, nevis vienāds.

Piemērs ar risinājumu

Pieņemsim, ka vēlaties jaunināt uz B versiju ar nosacījumu, ka tā ir ne vairāk kā par 0,1 punktu sliktāka par versiju A 5 ballu klientu apmierinātības skalā... Pievērsīsimies šai problēmai, izmantojot pārākuma hipotēzi.

Lai pārbaudītu pārākuma hipotēzi, mēs aprēķinātu izlases lielumu šādi:

Tas ir, ja jūsu grupā ir 2103 novērojumi, varat būt par 90% pārliecināti, ka jūs atradīsiet efektu 0,10 vai lielāku. Bet, ja 0,10 jums ir pārāk augsts, iespējams, nav vērts pārbaudīt pārākuma hipotēzi. Lai būtu drošībā, varat izlemt veikt pētījumu, lai iegūtu mazāku efektu, piemēram, 0,05. Šajā gadījumā jums būs nepieciešami 8407 novērojumi, tas ir, izlase palielināsies gandrīz 4 reizes. Bet ko darīt, ja mēs paliktu pie sava sākotnējā izlases lieluma, bet palielinātu jaudu līdz 0,99, lai mēs būtu droši, ja mēs iegūtu pozitīvu rezultātu? Šajā gadījumā n vienai grupai būs 3676, kas jau ir labāk, bet palielina izlases lielumu par vairāk nekā 50%. Un rezultātā mēs joprojām vienkārši nevarēsim atspēkot nulles hipotēzi, un mēs nesaņemsim atbildi uz savu jautājumu.

Ko darīt, ja mēs tā vietā pārbaudītu hipotēzi par zemāku līmeni?

Izlases lielums tiks aprēķināts, izmantojot to pašu formulu, izņemot saucēju.
Atšķirības no formulas, ko izmanto, lai pārbaudītu pārākuma hipotēzi, ir šādas:

— Z1−α/2 aizstāj ar Z1−α, bet, ja visu darāt saskaņā ar noteikumiem, α = 0,05 aizstājat ar α = 0,025, tas ir, tas ir tāds pats skaitlis (1,96)

— (μB−μA) parādās saucējā

— θ (efekta lielums) aizstāj ar Δ (nemazvērtības robeža)

Ja mēs pieņemam, ka µB = µA, tad (µB − µA) = 0 un izlases lieluma aprēķins nenovērtējamai robežai ir tieši tas, ko mēs iegūtu, ja mēs aprēķinātu pārākumu efekta lielumam 0,1, lieliski! Mēs varam veikt vienāda izmēra pētījumu ar dažādām hipotēzēm un atšķirīgu pieeju secinājumiem, un mēs iegūsim atbildi uz jautājumu, uz kuru mēs patiešām vēlamies atbildēt.

Tagad pieņemsim, ka mēs patiesībā nedomājam, ka µB = µA un
Mēs domājam, ka µB ir nedaudz sliktāks, varbūt par 0,01 vienību. Tas palielina mūsu saucēju, samazinot izlases lielumu katrā grupā līdz 1737.

Kas notiek, ja B versija patiešām ir labāka par A versiju? Mēs noraidām nulles hipotēzi, ka B ir sliktāks par A par vairāk nekā Δ, un pieņemam alternatīvo hipotēzi, ka B, ja tas ir sliktāks, nav sliktāks par A ar Δ un var būt labāks. Mēģiniet ievietot šo secinājumu starpfunkcionālā prezentācijā un redzēt, kas notiek (nopietni, izmēģiniet to). Uz nākotni vērstā situācijā neviens nevēlas samierināties ar “ne vairāk kā Δ sliktāku un varbūt labāku”.

Šajā gadījumā mēs varam veikt pētījumu, ko ļoti īsi sauc par “hipotēzes pārbaudīšanu, ka viena no iespējām ir pārāka vai zemāka par otru”. Tas izmanto divas hipotēžu kopas:

Pirmā kopa (tā pati kā ne-mazvērtības hipotēzes pārbaude):

Otrais komplekts (tāpat kā pārbaudot pārākuma hipotēzi):

Mēs pārbaudām otro hipotēzi tikai tad, ja pirmā tiek noraidīta. Pārbaudot secīgi, mēs saglabājam kopējo I tipa kļūdu līmeni (α). Praksē to var panākt, izveidojot 95% ticamības intervālu starpībai starp vidējo un testēšanu, lai noteiktu, vai viss intervāls ir lielāks par -Δ. Ja intervāls nepārsniedz -Δ, mēs nevaram noraidīt nulles vērtību un apstāties. Ja viss intervāls patiešām ir lielāks par −Δ, mēs turpināsim un pārbaudīsim, vai intervāls satur 0.

Ir vēl viens pētījumu veids, par kuru mēs neesam runājuši - ekvivalences pētījumi.

Šos pētījumu veidus var aizstāt ar nepilnvērtības pētījumiem un otrādi, taču tiem faktiski ir būtiska atšķirība. Nemazvērtības izmēģinājuma mērķis ir parādīt, ka iespēja B ir vismaz tikpat laba kā A. Ekvivalences izmēģinājuma mērķis ir parādīt, ka B iespēja ir vismaz tikpat laba kā A. Variants A ir tikpat labs kā B, kas ir grūtāk. Būtībā mēs cenšamies noteikt, vai viss vidējo atšķirības ticamības intervāls ir starp −Δ un Δ. Šādiem pētījumiem nepieciešams lielāks izlases lielums, un tos veic retāk. Tāpēc nākamreiz, kad veiksiet pētījumu, kura galvenais mērķis ir nodrošināt, lai jaunā versija nebūtu sliktāka, nesamierinieties ar "nulles hipotēzes noraidīšanu". Ja vēlaties pārbaudīt patiešām svarīgu hipotēzi, apsveriet dažādas iespējas.

Avots: www.habr.com