Millal tasub kontrollida mitte halvema efektiivsuse hüpoteesi?

Artikkel Stitch Fixi meeskonnalt soovitab kasutada mitte-halvema efektiivsuse kliiniliste uuringute lähenemist marketingi ja toote A/B testides. See lähenemine on tõeliselt asjakohane, kui testime uut lahendust, millel on mõõtmatud eelised.

Lihtsaim näide on kulude vähendamine. Näiteks automatiseerime esimese tunni määramise protsessi, kuid ei soovi, et kogu konversioon dramaatiliselt langeks. Või testime muudatusi, mis on suunatud ühele kasutajasegmendile, jälgides samal ajal, et teiste segmentide konversioon ei langeks liiga palju (mitme hüpoteesi testimisel ei unusta me korrektsioone).

Õige mitte-halvema efektiivsuse piiri valimine toob testide disaini faasis kaasa lisaraskusi. Küsimus, kuidas valida Δ, ei ole artiklis eriti hästi käsitletud. Tundub, et see valik ei ole täielikult läbipaistev ja kliinilistes katsedes. Ülevaade Mitte-halvema efektiivsuse meditsiiniliste publikatsioonide järgi teatakse, et ainult pooltes publikatsioonides on piiri valik põhjendatud, ja tihti on need põhjendused ebaselged või puudulikud.

Igal juhul tundub see lähenemine huvitav, kuna vajalikku valimi suuruse vähendamine võib kiirendada testimist ja seega ka otsuste tegemise tempot. Darya Mukhina, mobiilirakenduse Skyeng tooteanalüütik.

Stitch Fixi meeskond armastab katsetada erinevaid asju. Kogu tehnoloogiakogukond armastab põhimõtteliselt teste läbi viia. Milline veebiversioon tõmbab rohkem kasutajaid – A või B? Kas versioon A soovituste mudelist toob rohkem raha kui versioon B? Peaaegu alati kasutame hüpoteeside kontrollimiseks kõige lihtsamat lähenemist põhistatistika kursusest.

Kuigi me harva seda terminit kasutame, nimetatakse sellist testimist "ülenevuse hüpoteesi kontrolliks". Sellise lähenemise korral eeldame, et kahe variandi vahel ei ole mingit erinevust. Me järgime seda ideed ja loobume sellest ainult siis, kui saadud andmed osutuvad sellele piisavalt veenvaks – see tähendab, et nad näitavad, et üks variant (A või B) on parem kui teine.

Hüpoteesi ülevuse kontroll sobib paljude probleemide lahendamiseks. Välja anname B-versiooni soovitusmudelist ainult juhul, kui see on selgelt parem kui praegu kasutatav A-versioon. Kuid mõnes olukorras ei tööta see lähenemine nii hästi. Vaatame mitmeid näiteid.

1) Kasutame kolmandate osapoolte teenust, mis aitab tuvastada valepangakaarte. Leidsime teise teenuse, mis maksab oluliselt vähem. Kui odavam teenus töötab sama hästi kui see, mida me praegu kasutame, valime selle. See ei pea olema paremini töötav teenus.

2) Soovime loobuda andmeallikast A ja asendada selle andmeallikaga B. Võiksime A-st loobumise edasi lükata, kui B annab väga halbu tulemusi, kuid A kasutamine ei ole võimalik.

3) Soovime liikuda A mudelil põhinevast lähenemisestB lähenemisse mitte sellepärast, et ootame B-lt paremaid tulemusi, vaid kuna see annab meile suuremat operatiivset paindlikkust. Meil ei ole alust arvata, et B oleks halvem, aga me ei tee üleminekut, kui see nii on.

4) Oleme teinud mõned kvaliteedis muudatused veebisaidi disainis (versioon B) ja usume, et see versioon ületab A versiooni. Me ei oota muudatusi konversioonides või mingites olulistes tulemusnäitajates, mille järgi me tavaliselt veebisaiti hindame. Kuid usume, et on eeliseid parameetrites, mis on kas mõõdetamatud või meie tehnoloogiate jaoks liiga keerulised mõõta.

Kõigis nendes olukordades ei ole ülevuse uurimine kõige sobivam lahendus. Kuid enamus spetsialiste kasutab seda sellistes olukordades vaikimisi. Teeme hoolika katse, et õigesti määrata efekti suurust. Kui oleks tõsi, et A ja B versioonid töötavad väga sarnaselt, siis on tõenäoline, et me ei suuda nullhüpoteesi tagasi lükata. Kas järeldame, et A ja B töötavad üldiselt samamoodi? Ei! Nullhüpoteesi mitte tagasi lükkamine ja nullhüpoteesi aktsepteerimine ei ole sama asi.

Proovide kvalitatiivselt andmeanalüüsimiseks kasutatud valimi/valimide mahud, mis võivad tavaliselt olla rangemad esimeses tüübis eksimuse (tavaliselt alfa nimi) määramise jaoks, kui teise tüüpi eksimuse (tavaliselt beetana nimetatud) määramiseks. Tüüpiline alfa väärtus on 0,05, samas kui tavaline beeta väärtus on 0,20, mis vastab statistilisele võimsusele 0,80. See tähendab, et me ei pruugi avastada tõelist mõju, mille meid antud võimsuse arvutustes, 20% tõenäosusega ja see on üsna tõsine teabe puudujääk. Näiteks kaalume järgmisi hüpoteese:

H0: mu seljakott EI OLE minu toas (3)
H1: mu seljakott ON minu toas (4)

Kui ma otsisin oma tuba ja leidsin oma seljakoti — suurepärane, ma võin nullhüpotüüsist loobuda. Aga kui ma kontrollisin tuba ja ei leidnud oma seljakotti (joonis 1), millise järelduse peaksin tegema? Kas ma olen kindel, et seda seal pole? Kas ma otsisin piisavalt hoolikalt? Mis siis, kui ma otsisin vaid 80% ruumist? Järeldus, et seljakotti seal ei ole, oleks vale. Pole üllatav, et me ei saa "vastu võtta nullhüpotüüsi".

Piirkond, mida me otsisime
Me ei leidnud seljakotti — kas me peaksime nullhüpotüüsi aktsepteerima?

Joonis 1. 80% ruumist otsimine on umbes sama, mis uuringu läbiviimine 80% võimsusega. Kui te ei leidnud oma seljakotti, kui vaatasite 80% ruumist, kas siis on võimalik järeldada, et seda seal ei ole?

Mida peaks andme spetsialist sellises olukorras tegema? Te võite uuringu võimsust oluliselt suurendada, kuid siis vajate palju suuremat valimit, kuid tulemus jääb ikkagi rahuldavaks.

Õnneks on sarnased probleemid juba ammu uuritud kliiniliste uuringute maailmas. Ravim B on odavam kui ravim A; oodatakse, et ravim B põhjustab vähem kõrvaltoimeid kui ravim A; ravim B on kergem transportida, sest seda ei pea hoidma külmkapis, samas kui ravimit A tuleb hoida külmas. Kontrollime mitte halvemate efektiivsuse hüpoteesi. See on vajalik, et näidata, et versioon B on sama hea kui versioon A — vähemalt teatud eelnevalt määratud mitte halvemate efektiivsuse piiri, Δ, raames. Natuke hiljem räägime lähemalt, kuidas see piir määrata. Aga praegu eeldame, et see on minimaalne vahe, mis on praktiliselt oluline (kliiniliste katsete kontekstis nimetatakse seda tavaliselt kliiniliseks tähtsuseks).

Mitte halvemate efektiivsuse hüpoteesid pööravad kõik peapeale:

Nüüd eeldame, et versioon B on hullem kui versioon A, ja me jääme selle oletuse juurde, kuni näitame, et see ei vasta tõele. Just sel hetkel on mõtet kasutada ühepoolset hüpoteeside testimist! Praktikas saab seda teha, ehitades usaldusväärsuse vahemiku ja määrates, kas vahemik on tõepoolest suurem kui Δ (joonis 2).

Δ valimine

Kuidas valida Δ õigesti? Δ valimise protsess hõlmab statistilist põhjendust ja teema hindamist. Kliiniliste uuringute maailmas on olemas regulatiivsed soovitused, mis näitavad, et delta peaks olema vähim kliiniliselt oluline erinevus — selline, mis omab praktikas tähendust. Siin on tsitaat Euroopa juhendist, millega saab enda valikut kontrollida: «Kui erinevus on korralikult valitud, siis usaldusvahemik, mis jääb täielikult vahemikku –∆ ja 0…, on endiselt piisav, et näidata mitte halvemate efektiivsuse olemasolu. Kui see tulemus ei tundu vastuvõetav, tähendab see, et ∆ ei olnud nõuetekohaselt valitud.»

Delta ei tohi kindlasti ületada versiooni A efekti suurust tõelise kontrolli (platseebo / ravi puudumine) suhtes, kuna see viib meid järeldusele, et versioon B on halvem kui tõeline kontroll ja samal ajal näitab "mitte väiksemat efektiivsust". Oletame, et kui versioon A esitleti, oli selle asemel versioon 0 või funktsioon ei eksisteerinud üldse (vt joonis 3).

Hüpoteesi üleolekute kontrollimise tulemuste kohaselt oli tuvastatud efekti suurus E (st eeldatavasti μ^A−μ^0=E). Nüüd on A meie uus standard ja me soovime veenduda, et B ei jää A-le alla. Teine viis μB−μA≤−Δ (nullhüpotees) üles kirjutada on μB≤μA−Δ. Kui eeldame, et see on võrdne või ületab E, siis μB ≤ μA−E ≤ platseebo. Nüüd näeme, et meie hindamine μB-le ületab täielikult μA−E, mis täiesti tõukab tagasi nullhüpoteesi ja võimaldab järeldada, et B ei jää A-le alla, kuid samal ajal võib μB olla ≤ μ platseebo, mis ei ole see, mida me vajame. (joonis 3).

Joonis 3. Näide mitte väiksema efektiivsuse piiri valimise riskidest. Kui piir on liiga suur, võib järeldada, et B ei jää A-le alla, kuid samal ajal on see eristamatu platseebost. Me ei asenda ravimit, mis on selgelt efektiivsem kui platseebo (A), ravimiga, mille efektiivsus on sama, mis platseebo.

α valimine

Liigume α valimise juurde. Standardseks väärtuseks võib kasutada α = 0,05, kuid see ei ole päris aus. Kas näiteks, kui ostate internetis midagi ja kasutate kohe mitmeid sooduskode, kuigi need ei tohiks kokku langeda — lihtsalt arendaja tegi vea ja teile see õnnestus. Reeglite kohaselt peaks α väärtus olema pool üleoleku hüpoteesi kontrollimisel kasutatavast α väärtusest, st 0,05 / 2 = 0,025.

Proovide suurus

Kuidas hinnata proovide suurust? Kui arvate, et A ja B vaheline keskmine on 0, siis on proovide suuruse arvutamine sama, mis üleoleku hüpoteesi kontrollimisel, välja arvatud see, et asendate efekti suuruse mitte väiksema efektiivsuse piiriga, eeldades, et te kasutate α mitte väiksema efektiivsusega = 1/2α üleolek (αnon-inferiority=1/2αsuperiority). Kui teil on põhjendatud arvamus, et variant B võib olla veidi halvem kui variant A, kuid soovite tõestada, et see on halvem mitte rohkem kui Δ, siis teil on vedanud! Tegelikult vähendab see teie valimi suurust, sest on lihtsam näidata, et B on halvem kui A, kui te tõeliselt usute, et see on veidi halvem, mitte võrdselt hea.

Näide otsuse tegemise kohta

Oletame, et soovite liikuda versioonile B, oletades, et see on halvem kui versioon A mitte rohkem kui 0,1 punkti 5-punktilisel klientide rahulolu skaalal ... Lähme selle ülesande juurde, kasutades ülemuse hüpoteesi.

Ülemuse hüpoteesi testimiseks arvutaksime valimi suuruse järgmiselt:

See tähendab, et kui teil on grupis 2103 vaatlust, võite olla 90% kindel, et avastate efekti suurusega 0,10 või rohkem. Kuid kui 0,10 väärtus on teie jaoks liiga suur, ei tasu võib-olla selle jaoks ülemuse hüpoteesi testida. Võib-olla otsustate usaldusväärsuse tagamiseks viia uuring läbi väiksema efekti suurusega, näiteks 0,05. Sel juhul vajate 8407 vaatlust, st valim suureneb peaaegu 4 korda. Aga mis siis, kui me jääme oma algse valimi suuruse juurde, kuid suurendame võimsust 0,99-ni, et me ei kahtle, kui saame positiivse tulemuse? Sellisel juhul on n ühe grupi jaoks 3676, mis on juba parem, kuid suurendab valimi suurust rohkem kui 50%. Ja sellisel juhul ei suutnud me ikkagi tõestada nullhüpoteesi, mitte ei saanud vastust oma küsimusele.

Mis siis, kui me selle asemel testime mitte väiksema efektiivsuse hüpoteesi?

Valimi suurus arvutatakse sama valemi alusel, välja arvatud nimetaja.
Erinevused ülemuse hüpoteesi testimise käigus kasutatud valemiga on järgmised:

— Z1−α/2 asendatakse Z1−α-ga, kuid kui teete kõik õigesti, asendate α = 0,05 α = 0,025-ga, st see on sama number (1,96)

— nimetajas ilmub (μB−μA)

— θ(effecti suurus) asendatakse Δ-ga (mitte väiksema efektiivsuse piir)

Kui me oletame, et µB = µA, siis (µB − µA) = 0 ja proovide suuruse arvutamine mitte väiksema efektiivsuse piiriks on see, mida saaksime, arvutades efekti suuruse 0,1, suurepärane! Me saame viia läbi sama suurusega uuringu erinevate hüpoteeside ja järelduste lähenemisega ning saame vastuse küsimusele, millele me tõeliselt vastata tahame.

Nüüd oletame, et me tõesti ei pea seda õigeks, et µB = µA, ja
arvame, et µB on veidi kehvem, võib-olla 0,01 ühiku võrra. See suurendab meie nimetajat, vähendades proovide suurust rühma jaoks 1737-ni.

Mis juhtub, kui versioon B on tegelikult parem kui versioon A? Me lükkame tagasi nullhüpoteesi, mis ütleb, et B on kehvem kui A rohkem kui Δ, ja võtame vastu alternatiivse hüpoteesi, et B, kui on kehvem, ei ole kehvem rohkem kui Δ ning võib-olla on parem. Proovige seda järeldust kanda ristfunktsionaalsesse esitlusse ja vaadake, kuidas see välja tuleb (seriooselt, proovige). Situatsioonis, kus tuleb orienteeruda perspektiivile, ei taha keegi nõustuda „kehvem mitte rohkem kui Δ ja võib-olla parem”.

Sellisel juhul saame läbi viia uuringu, mida nimetatakse väga lühidalt „hüpoteesi testimiseks, et üks variant ületab teise või jääb sellele alla”. Selles kasutatakse kahte hüpoteeside komplekti:

Esimene komplekt (sama mis mitte väiksema efektiivsuse hüpoteesi korral):

Teine komplekt (sama mis üleoleku hüpoteesi korral):

Me testime teist hüpoteesi ainult siis, kui esimene on tagasi lükatud. Järkjärgulise testimise korral säilitame esimese astme (α) koguviga. Praktikas saab seda saavutada, luues 95% usaldusintervalli keskmiste erinevuse jaoks ja kontrollides, kas kogu intervall ületab -Δ. Kui intervall ei ületa -Δ, ei saa me nullhüpoteesi tagasi lükata ja lõpetame. Kui kogu intervall siiski ületab −Δ, jätkame ja vaatame, kas intervall sisaldab 0.

On veel ühe tüüpi uuringud, mida me ei ole arutanud – ekvivalentsuse uuringud.

Seda tüüpi uuringud võivad olla asendatud uuringutega, et kontrollida hüpoteesi, et mitte väiksem efektiivsus, kuid neil on endal oluline erinevus. Hüpoteesi kontrollimise uuring mitte väiksema efektiivsuse kohta on suunatud selle näitamisele, et variant B on vähemalt sama hea kui A. Ja ekvivalentsi uuring on suunatud selle näitamisele, et variant B on vähemalt sama hea kui A ning et variant A on sama hea kui B, mis on keerulisem. Sisuliselt püüame kindlaks teha, kas kogu usaldusvahemik keskmiste erinevuste jaoks jääb vahemikku −Δ ja Δ. Sellised uuringud nõuavad suuremat valimi suurust ja neid viiakse harvemini läbi. Seetõttu, kui te järgmisel korral läbi viite uuringu, mille peamine eesmärk on veenduda, et uus versioon ei oleks halvem, ärge leppige kokku "nullhüpoteesi tõestamatuse". Kui soovite kontrollida tõeliselt olulist hüpoteesi, kaaluge erinevaid variante.

Allikas: habr.com