Millal tasub kontrollida hüpoteesi samaväärsest efektiivsusest?

Stitch Fixi meeskonna artikkel soovitab kasutada kliiniliste uuringute mitte halvemuse katsete lähenemist turunduse ja tootearenduse A/B testides. See lähenemine on tõepoolest rakendatav, kui testime uut lahendust, mille eeliseid ei saa testidega mõõta.

Lihtsaim näide on kulude vähendamine. Näiteks automatiseerime esimese tunni määramise protsessi, kuid ei soovi, et tegemise tulemus märgatavalt langeks. Või testime muudatusi, mis on suunatud ühele kasutajasegmentile, jälgides samas, et teiste segmentide konversioonid ei langeks liiga palju (kui testime mitut hüpoteesi, pidage meeles parandusi).

Õige mitte halvemuse piiri valimine toob katse disaini etapis kaasa täiendavaid raskusi. Küsimus, kuidas valida Δ, ei ole artiklis hästi kajastatud. Paistab, et see valik ei ole kliinilistes uuringutes täiesti läbipaistev. Ülevaade Kliiniliste uuringute mitte halvemuse piirivaliku üle peetavates meditsiinilistes publikatsioonides on ainult poole publikatsioonide puhul piiri valik põhjendatud ja sageli on need põhjendused ebamugavad või mitte detailirohked.

Igal juhul tundub see lähenemine huvitav, kuna vajaliku proovimise suuruse vähendamine võib suurendada testimise kiirus, ja seega ka otsuste tegemise kiirus. Darya Mukhina, Skyengi mobiilirakenduse tootearenduse analüütik.

Stitch Fixi meeskond armastab katsetada erinevaid asju. Kogu tehnoloogiahulgas meeldib tegelikult katseid läbi viia. Milline veebiversioon tõmbab rohkem kasutajaid - A või B? Kas A versioon soovitusmudelist teenib rohkem raha kui B versioon? Peaaegu alati kasutame hüpoteeside kontrollimiseks kõige lihtsamat lähenemist, mis on põhistatistika kursusest pärit:

Kuigi me harva kasutame seda terminit, nimetatakse sellist testimist „ülemuse hüpoteesi kontrolliks“. Selle lähenemisega eeldame, et kahe variandi vahel pole mingeid erinevusi. Me jääme selle idee juurde ja loobume sellest ainult siis, kui saadud andmed on piisavalt veenvad, et seda teha - st, et üks variant (A või B) on parem kui teine.

Hüpotheesi testimine, mille kohaselt on üks variant parem, sobib mitmete probleemide lahendamiseks. Me väljastame soovitusmudeli B versiooni ainult juhul, kui see on ilmselgelt parem kui praegu kasutatav A versioon. Kuid mõnel juhul ei tööta see lähenemine nii hästi. Vaadakem mõningaid näiteid.

1) Me kasutame kolmanda osapoole teenust, mis aitab tuvastada vale pangakaarte. Oleme leidnud teise teenuse, mis maksab oluliselt vähem. Kui odavam teenus töötab sama hästi kui see, mida kasutame praegu, valime selle. See ei pea tingimata olema parem kui meie praegu kasutatav teenus.

2) Soovime loobuda andmeallikast A ja asendada selle andmeallikaga B. Võiksime A-st loobumise edasi lükata, kui B annab väga halbu tulemusi, kuid A kasutamine ei ole võimalik.

3) Soovime liikuda modelleerimise lähenemisviisistA lähenemisviisile B mitte sellepärast, et ootame B-st paremaid tulemusi, vaid sest see annab meile suuremat operatiivset paindlikkust. Meil ei ole põhjust arvata, et B oleks halvem, kuid me ei kavatse üleminekut teha, kui see nii on.

4) Oleme teinud mitmeid kvaliteetseid muudatusi veebilehe kujunduses (versioon B) ja usume, et see versioon on A versioonist parem. Me ei oota muudatusi konversioonides või mingites olulistes tulemuslikkuse näitajates, millega tavaliselt veebilehte hindame. Kuid usume, et on eeliseid, mida kas ei saa mõõta või mille mõõtmiseks on meie tehnoloogiad ebapiisavad.

Kõigil neis olukordades ei ole uuringu ülemuse määramine kõige sobivam lahendus. Kuid enamik spetsialiste kasutab seda tavaliselt sellistes olukordades. Viime läbi hoolika katse, et õigesti määrata mõju suurus. Kui tõepoolest oleks tõsi, et versioonid A ja B toimivad väga sarnaselt, siis on tõenäoliselt, et me ei suuda nullhüpoteesi tagasi lükata. Kas järeldame, et A ja B töötavad kokkuvõttes samamoodi? Ei! Nullhüpoteesi tagasi lükkamise väärtuse hirm ja nullhüpoteesi vastuvõtmine ei tähenda sama asja.

Valimi näidise suurusest (mida te kindlasti tegite) toimub tavaliselt rangemate piirdega esimese tüübi vea (tõenäosus, et nullhüpotees lükatakse tagasi valehäire tõttu, tuntud ka kui alfa) kui teise tüübi vea (tõenäosus, et nullhüpoteesi ei õnnestu tagasi lükata, kui nullhüpotees on vale, tuntud ka kui beet). Tüüpiline alfa väärtus on 0,05, samas kui tüüpiline beet väärtus on 0,20, mis vastab statistilisele võimsusele 0,80. See tähendab, et me võime mitteavastada tõelist mõju, mida oleme määranud oma võimsuse arvutustes, 20% tõenäosusega, ja see on üsna tõsine teabe puudus. Näiteks kaalume järgmisi hüpoteese:

H0: mu seljakott EI OLE mu toas (3)
H1: mu seljakott on mu toas (4)

Kui ma olen oma toa läbi sõelnud ja leidsin oma seljakoti — suurepärane, saan nullhüpoteesist loobuda. Kuid kui ma otsisin tuba ja ei leidnud oma seljakotti (joonis 1), millise järelduse ma peaksin tegema? Kas ma olen kindel, et seda seal ei ole? Kas ma otsisin piisavalt põhjalikult? Mis siis, kui ma otsisin vaid 80% toast? Järeldada, et seljakotti kindlasti pole, oleks hoolimatu otsus. Pole üllatav, et me ei saa „nullhüpoteesi aktsepteerida“.

Piirkond, mida me läbi tõime
Me ei leidnud seljakotti — kas peaksime aktsepteerima nullhüpoteesi?

Joonis 1. 80% toa läbiotsimine on umbes sama, mis uuringu korraldamine 80% võimekusega. Kui te ei leidnud seljakotti, kui otsisite 80% toast, kas on võimalik järeldada, et seda seal ei ole?

Nii et mida peaks andmete spetsialist sel juhul tegema? Saate uuringu võimekust oluliselt suurendada, kuid siis vajate palju suuremat valimit ja tulemus võib ikkagi jääda rahuldavaks.

Õnneks on sarnaseid probleeme juba pikka aega uuritud kliiniliste uuringute valdkonnas. Ravim B on odavam kui ravim A; oodatakse, et ravim B põhjustab vähem kõrvaltoimeid kui ravim A; ravim B on lihtsam transportida, kuna seda ei pea hoida külmkapis, samas kui ravimi A jaoks on see vajalik. Kontrollime hüpoteesi, et efektiivsus ei ole madalam. See on vajalik, et näidata, et versioon B on sama hea kui versioon A — vähemalt teatud eelnevalt määratletud piirini „mitte madalama efektiivsuse” Δ osas. Hiljem räägime lähemalt, kuidas seda piiri kehtestada. Kuid praegu eeldame, et see on minimaalne erinevus, mis on praktiliselt oluline (kliiniliste katsete kontekstis nimetatakse seda tavaliselt kliiniliseks olulisuseks).

Mitte madalama efektiivsuse hüpoteesid pööravad kõik pea peale:

Nüüd, kui me ei eelda, et erinevusi pole, eeldame, et versioon B on halvem kui versioon A, ja me jääme selle eeldamise juurde, kuni tõestame vastupidist. Just siis, kui on mõttekas kasutada ühesuunalist hüpoteeside testimist! Praktikas saab seda teha, ehitades usaldusintervalli ja määrates, kas intervall on tõesti suurem kui Δ (joonis 2).

Δ valimine

Kuidas valida Δ õigesti? Δ valimise protsess hõlmab statistilist põhjendust ja sisulist hindamist. Kliiniliste uuringute maailmas on olemas regulatiivsed soovitused, millest tuleneb, et delta peaks esitama vähimatki kliiniliselt olulist erinevust — sellist, millel on praktikas tähendus. Siin on tsitaat Euroopa juhistest, mille abil end kontrollida: "Kui erinevus on õigesti valitud, on usaldusintervall, mis jääb täielikult –∆ ja 0 vahele..., endiselt piisav, et näidata mitte madalamat efektiivsust. Kui see tulemus ei tundu vastuvõetav, tähendab see, et ∆ ei olnud korralikult valitud."

Delta ei kindlasti tohi ületada A versiooni efekti suurust tõelise kontrolli (platseebo / ravi puudumine) suhtes, kuna see viib meid järelduseni, et B versioon on halvem kui tõeline kontroll ja samal ajal näitab "vähemalt sama efektiivsust". Eeldame, et kui A versioon esitati, oli selle asemel 0 versioon või funktsioon ei eksisteerinud üldse (vt joonis 3).

Hüpoteesi testimise tulemuste järgi tuvastati efekti suurus E (st oletatavasti μ^A−μ^0=E). Nüüd on A meie uus standard ja me tahame kindel olla, et B ei jää A-st maha. Veel üks viis kirjutada μB−μA≤−Δ (nullhüpotees) — μB≤μA−Δ. Kui me eeldame, et tegemine on sama suur või suurem kui E, siis μB ≤ μA−E ≤ platseebo. Nüüd näeme, et meie hinnang μB-le ületab täielikult μA−E, mis seega täielikult tõendab nullhüpoteesi ja võimaldab järeldada, et B ei jää A-st maha, kuid samal ajal võib μB olla ≤ μ platseebo, mis ei ole see, mida me vajame. (joonis 3).

Joonis 3. Piiri valimise riskide demonstreerimine, mille efektiivsus ei ole madalam. Kui piir on liiga suur, võib järeldada, et B ei jää A-st alla, kuid samas ei erine see platseebost. Me ei muuda ravimit, mis on ilmselgelt efektiivsem kui platseebo (A), ravimi vastu, mille efektiivsus on sama, mis platseebo.

Vali α

Liigume α valimise juurde. Tavaline väärtus α = 0,05 oleks parimal juhul vale. Näiteks, kui ostad midagi internetis ja kasutad kohe mitu sooduskoodi, kuigi neid ei tohiks kuhjata — lihtsalt arendaja tegi vea, ja sul läks hästi. Reeglite kohaselt peaks α väärtus olema poole suurem kui see, mida kasutatakse hüpoteesi testimisel, seega 0,05 / 2 = 0,025.

Proovide suurus

Kuidas hinnata proovide suurust? Kui arvad, et A ja B keskmiste tõeline erinevus on 0, siis proovide suuruse arvutamine on sama, mis hüpoteesi testimisel, erinevusega, et asendad efekti suuruse mitte madalama efektiivsuse piiriga, tingimusel et sa kasutad. vähemalt sama tõhusus = 1/2ülemuslikkus (vähenemise mitte-alumine = 1/2ülemuslikkus). Kui teil on põhjust arvata, et variant B võib olla veidi halvem kui variant A, kuid soovite tõestada, et see ei ole halvem kui Δ, siis olete õnnega koos! Tegelikult vähendab see teie proovivõtu suurust, kuna on lihtsam näidata, et B on halvem kui A, kui te tõeliselt usute, et see on veidi halvem ja mitte samaväärne.

Näide otsusest

Oletame, et soovite minna versioonile B tingimusel, et see on halvem kui versioon A mitte rohkem kui 0,1 punkti 5-punktilisel kliendirahulolu skaalal... Läheneme sellele küsimusele kasutades ülemuslikkuse hüpoteesi.

Ülemuslikkuse hüpoteesi testesime proovi suuruse arvutamist järgmiselt:

See, if you have 2103 observations in your group, you can be 90% confident that you will detect an effect of size 0.10 or larger. But if 0.10 is too high for you, it might not be worth testing the hypothesis of superiority for it. Perhaps, for reliability, you decide to conduct the study for a smaller effect size, like 0.05. In this case, you would need 8407 observations, meaning the sample size increases nearly fourfold. But what if we adhere to our original sample size but increase the power to 0.99, so we are confident if we obtain a positive result? In this case, n for one group would be 3676, which is already better but increases the sample size by more than 50%. Yet, we still just won't be able to reject the null hypothesis and won't get an answer to our question.

What if instead we test the hypothesis of at least equal effectiveness?

The sample size will calculate using the same formula except for the denominator.
The differences from the formula used for testing the hypothesis of superiority are as follows:

— Z1−α/2 asendatakse Z1−α, kuid kui te järgite kõiki reegleid, asendate α = 0,05 α = 0,025-ga, mis tähendab, et tegemist on sama numbriga (1,96)

— nimetajas ilmub (μB−μA)

— θ(effekti suurus) asendatakse Δ (minimaalse efektiivsuse piir)

Kui eeldame, et µB = µA, siis (µB − µA) = 0 ja minimaalsete efektiivsuse piiride jaoks proovide suuruse arvutamine on just see, mida me saaksime efekti suuruse 0,1 ülekaalu arvutamisel. Suurepärane! Saame läbi viia sama suuruse uuringu erinevate hüpoteesidega ja erineva järelduste lähenemisega ning saame vastuse küsimusele, millele me tõeliselt vastust otsime.

Oletame nüüd, et me tegelikult ei arva, et µB = µA ja
arvame, et µB on veidi halvem, võib-olla 0,01 ühiku võrra. See suurendab meie nimetajat, vähendades grupi proovide suurust 1737-le.

Mis juhtub, kui versioon B on tegelikult parem kui versioon A? Lükame ümber nullhüpoteesi, et B on halvem kui A, rohkem kui Δ ja võtame vastu alternatiivse hüpoteesi, et B, kui halvem, ei ole halvem kui Δ ning võib olla parem. Proovige see järeldus kross-funktsionaalsesse esitlusse sisse kanda ja vaadake, mis sellest välja tuleb (tõsiselt, proovige). Kui on vajalik orienteerumine perspektiivile, ei taha keegi leppida ülesandega „halvem mitte rohkem kui Δ ja võib-olla parem.”

Selles olukorras saame teha uuringu, mida lühidalt nimetatakse „hüpoteesi kontroll, et üks variant ületab teist või jääb sellele alla“. Selleks kasutatakse kahte hüpoteeside komplekti:

Esimene komplekt (sama, mis mitte madalama efektiivsuse hüpoteesi kontrollimisel):

Teine komplekt (sama, mis üleoleku hüpoteesi kontrollimisel):

Kontrollime teist hüpoteesi ainult siis, kui esimene on tagasi lükatud. Järkjärgulise testimise puhul hoiame esimese tüübi vea (α) üldise taseme konstantse. Praktikas võib seda saavutada, luues 95% usaldusintervali keskmiste erinevuste jaoks ja kontrollides, kas kogu interval ületab -Δ. Kui interval ei ületa -Δ, ei saa me nullhüpotese tagasi lükata ja lõpetame. Kui kogu interval tõepoolest ületab -Δ, jätkame ja vaatame, kas intervall sisaldab 0.

On veel üks uurimistüüp, millest me ei ole rääkinud – ekvivalentsiuuringud.

Selle tüüpi uurimised võivad olla asendatud uuringutega, et testida hüpoteesi mitte madalama efektiivsuse kohta ja vastupidi, kuid neil on oluline erinevus. Hüpoteesi mitte madalama efektiivsuse testimise katse on suunatud näitama, et variant B on vähemalt sama hea kui A. Samas on ekvivalentsuuringu eesmärk näidata, et variant B on vähemalt sama hea kui A, ja variant A on samuti sama hea kui B, mis on keerulisem. Sisuliselt üritame määrata, kas kogu usaldusvahemik keskmiste erinevuste jaoks jääb vahemikku –Δ ja Δ. Sellised uurimised vajavad suuremat proovide arvu ja neid viiakse läbi harvem. Seega, järgmisel korral, kui teete uuringut, mille peamine eesmärk on veenduda, et uus versioon ei oleks halvem, ärge leppige lihtsalt „nullhüpoteesi ümberlükkamise suutmatusega”. Kui soovite kontrollida tõeliselt olulist hüpoteesi, kaaluge erinevaid valikuvõimalusi.

Allikas: habr.com