Článek od týmu Stitch Fix navrhuje použít přístup klinických studií s indikátorem nehoršího výsledku (non-inferiority trials) v marketingových a produktových A/B testech. Tento přístup je skutečně aplikovatelný, když testujeme nové řešení, které má výhody, které testy nemohou změřit.
Nejsnazší příklad je snížení nákladů. Například automatizujeme proces první lekce, ale nechceme příliš snížit celkovou konverzi. Nebo testujeme změny zaměřené na určitý segment uživatelů, přičemž sledujeme, aby konverze v jiných segmentech neklesla příliš (při testování několika hypotéz nezapomínáme na úpravy).
Výběr správné hranice nehoršího výsledku přidává další obtíže při navrhování testu. Otázka, jak vybírat Δ, není v článku dostatečně podrobně rozebrána. Zdá se, že tento výběr není zcela transparentní ani v klinických studiích. Podle medicínských publikací k tématu non-inferiority pouze v polovině případů bývá výběr hranice odůvodněn, a často jsou tato odůvodnění nejasná nebo nedostatečná.
V každém případě se tento přístup zdá zajímavý, protože snížením potřebné velikosti vzorku může zrychlit testování a tedy i rychlost rozhodování. — Daria Mukhina, produktová analytička mobilní aplikace Skyeng.
Tým Stitch Fix rád testuje různé věci. Celá technologická komunita obecně ráda provádí testy. Která verze webu přitahuje více uživatelů – A nebo B? Přináší verze A doporučovací model víc peněz než verze B? Téměř vždy při ověřování hypotéz používáme nejjednodušší přístup z základního kurzu statistiky:
Ačkoli tento termín zřídka používáme, tento typ testování se nazývá „ověření hypotézy o převaze“. Při tomto přístupu předpokládáme, že mezi dvěma variantami není žádný rozdíl. Držíme se této myšlenky a vzdáváme se jí pouze tehdy, když jsou získaná data dostatečně přesvědčivá, tedy ukazují, že jedna z variant (A nebo B) je lepší než druhá.
Ověření hypotézy o převaze je vhodné pro řešení mnoha problémů. Vydáváme verzi B doporučujícího modelu pouze tehdy, pokud je očividně lepší než stávající verze A. Avšak v některých případech tento přístup nefunguje tak dobře. Podívejme se na několik příkladů.
1) Používáme externí službu, která pomáhá identifikovat falešné bankovní karty. Našli jsme jinou službu, která stojí výrazně méně. Pokud levnější služba funguje stejně dobře jako ta, kterou aktuálně používáme, vybereme si ji. Není nutné, aby byla lepší než ta, kterou nyní používáme.
2) Chceme se vzdát zdroje dat A a nahradit ho zdrojem dat B. Mohli bychom odložit odchod od A, pokud B vykazuje velmi špatné výsledky, ale pokračování v používání A není možné.
3) Chtěli bychom přejít od přístupu k modelováníA k přístupu B ne proto, že očekáváme lepší výsledky od B, ale protože nám to poskytuje větší operativní flexibilitu. Nemáme důvod se domnívat, že B bude horší, ale nepřejdeme na něj, pokud tomu tak bude.
4) Učinili jsme několik kvalitativních změn v designu webové stránky (verze B) a domníváme se, že tato verze převyšuje verzi A. Neočekáváme žádné změny v konverzi nebo jakýchkoli klíčových ukazatelích výkonnosti, podle kterých obvykle hodnotíme web. Ale věříme, že existují výhody v parametrech, které jsou buď neměřitelné, nebo nemáme technologie k jejich měření.
Ve všech těchto případech není zkoumání převahy nejvhodnějším řešením. Přesto většina odborníků v takových situacích používá tento přístup jako výchozí. Řádně provádíme experiment, abychom správně určili velikost účinku. Kdyby bylo pravdou, že verze A a B fungují velmi podobně, je pravděpodobné, že bychom nedokázali odmítnout nulovou hypotézu. Docházíme k závěru, že A a B ve své podstatě fungují stejně? Ne! Neschopnost odmítnout nulovou hypotézu a přijetí nulové hypotézy není totéž.
Výpočty objemu vzorku (které jste, samozřejmě, provedli) se obvykle provádějí s přísnějšími mezemi pro chybu prvního druhu (pravděpodobnost chybného zamítnutí nulové hypotézy, často označovaná jako alfa) než pro chybu druhého druhu (pravděpodobnost neschopnosti zamítnout nulovou hypotézu, za předpokladu, že nulová hypotéza je chybná, často označovaná jako beta). Typická hodnota pro alfa je 0,05, zatímco typická hodnota pro beta je 0,20, což odpovídá statistické síle 0,80. To znamená, že můžeme neodhalit skutečný vliv velikosti, kterou jsme uvedli ve svých výpočtech síly, s pravděpodobností 20 % a to je docela vážný nedostatek informací. Jako příklad zvažme následující hypotézy:
H0: můj batoh NENÍ v mé místnosti (3)
H1: můj batoh je v mé místnosti (4)
Pokud jsem prohledal svou místnost a našel svůj batoh — skvěle, mohu zamítnout nulovou hypotézu. Ale pokud jsem prozkoumal místnost a nenašel svůj batoh (obrázek 1), jaký závěr bych měl učinit? Jsem si jistý, že tam není? Dostatečně důkladně jsem hledal? Co když jsem prohledal pouze 80 % místnosti? Učinit závěr, že batoh v místnosti určitě není, by bylo unáhlené rozhodnutí. Není divu, že nemůžeme „přijmout nulovou hypotézu“.
Oblast, kterou jsme prohledali
Nenašli jsme batoh — máme přijmout nulovou hypotézu?
Obrázek 1. Prohledání 80 % místnosti je zhruba totéž jako provést studii se silou 80 %. Pokud jste nenašli batoh po prozkoumání 80 % místnosti, lze vyvodit závěr, že tam není?
Co by měl v této situaci udělat datový odborník? Můžete výrazně zvýšit sílu výzkumu, ale pak budete potřebovat vzorek mnohem větší velikosti a výsledek bude stále neuspokojující.
Naštěstí jsou podobné problémy již dlouho zkoumány ve světě klinických studií. Přípravek B je levnější než přípravek A; očekává se, že přípravek B bude mít méně vedlejších účinků než přípravek A; přípravek B se snadněji přepravuje, protože ho není třeba skladovat v chladničce, zatímco přípravek A ano. Ověříme hypotézu o nejméně stejné účinnosti. To je potřeba, abychom prokázali, že verze B je stejně dobrá jako verze A – alespoň v určitém předem stanoveném limitu „nejméně stejné účinnosti“, Δ. O chvíli později se podrobněji podíváme na to, jak tento limit stanovit. Ale nyní předpokládejme, že se jedná o minimální rozdíl, který je prakticky významný (v kontextu klinických zkoušek se tomu obvykle říká klinická významnost).
Hypotézy o nejméně stejné účinnosti převrací vše naruby:
Nyní místo toho, abychom předpokládali, že mezi nimi není rozdíl, předpokládáme, že verze B je horší než verze A, a budeme se této hypotézy držet, dokud neprokážeme, že tomu tak není. To je přesně ten okamžik, kdy má smysl použít jednostranné testování hypotézy! V praxi to lze udělat vytvořením důvěryhodného intervalu a určením, zda je interval skutečně větší než Δ (obrázek 2).
Výběr Δ
Jak správně zvolit Δ? Proces výběru Δ zahrnuje statistické odůvodnění a odborné posouzení. Ve světě klinických studií existují normativní doporučení, podle kterých by delta měla představovat nejmenší klinicky významný rozdíl – tedy takový, který bude mít význam v praxi. Zde je citát z evropského pokynu, který vám může pomoci ověřit: „Pokud byla rozdíl zvolena správně, důvěryhodný interval, který leží zcela mezi –∆ a 0…, stále postačuje k prokázání nejméně stejné účinnosti. Pokud se tento výsledek nezdá přijatelný, znamená to, že ∆ nebyla správně zvolena.“
Delta rozhodně nesmí přesáhnout velikost efektu verze A ve srovnání s pravým kontrolním skupinou (placebo / absence léčby), protože to nás vede k závěru, že verze B je horší než pravý kontrol a zároveň vykazuje „nejméně stejnou účinnost“. Předpokládejme, že když byla představena verze A, na jejím místě byla verze 0 nebo funkce vůbec neexistovala (viz obrázek 3).
Na základě výsledků testování hypotézy o nadřazenosti byla zjištěna velikost efektu E (tj. předpokládaně μ^A−μ^0=E). Nyní je A naším novým standardem a chceme se ujistit, že B není horší než A. Další způsob, jak zapsat μB−μA≤−Δ (nulová hypotéza) — μB≤μA−Δ. Pokud předpokládáme, že činí alespoň E, pak μB ≤ μA−E ≤ placebo. Nyní vidíme, že naše hodnota pro μB zcela překračuje μA−E, což tím pádem zcela vyvrací nulovou hypotézu a umožňuje nám závěr, že B není horší než A, ale zároveň μB může být ≤ μ placeba, což není to, co potřebujeme. (obrázek 3).
Obrázek 3. Ukázka rizik volby hranice nejmenší účinnosti. Pokud je limit příliš vysoký, můžeme dojít k závěru, že B není horší než A, ale zároveň se neliší od placeba. Nebudeme měnit lék, který je zjevně účinnější než placebo (A), za lék, který má stejnou účinnost jako placebo.
Volba α
Přejděme k volbě α. Můžete použít standardní hodnotu α = 0,05, ale to není zcela fér. Například když nakupujete něco online a použijete najednou několik slevových kódů, i když by se neměly sčítat — prostě se vývojáři dopustili chyby a Vám to prošlo. Podle pravidel by měla být hodnota α rovna polovině hodnoty α, která se používá při testování hypotézy o nadřazenosti, tj. 0,05 / 2 = 0,025.
Velikost vzorku
Jak odhadnout velikost vzorku? Pokud se domníváte, že skutečný rozdíl průměrů mezi A a B je 0, pak výpočet velikosti vzorku bude stejný jako při testování hypotézy o nadřazenosti, kromě toho, že nahradíte velikost efektu limitem nejmenší účinnosti, za předpokladu, že používáte α nejmenší účinnost = 1/2 α nadřazenost (αneinvazivita=1/2αsuperiorita). Pokud máte důvod se domnívat, že varianta B může být mírně horší než varianta A, ale chcete dokázat, že není horší více než Δ, máte štěstí! Ve skutečnosti to zmenšuje velikost vašeho vzorku, protože je snazší prokázat, že B je horší než A, pokud skutečně věříte, že je trochu horší a ne rovnocenný.
Příklad s rozhodnutím
Předpokládejme, že chcete přejít na verzi B za předpokladu, že je horší než verze A maximálně o 0,1 bodu na 5bodové škále spokojenosti zákazníků… Přistupme k této úloze pomocí hypotézy o superioritě.
Pro testování hypotézy o superioritě bychom počítali velikost vzorku následujícím způsobem:
To znamená, že pokud máte ve skupině 2103 pozorování, můžete si být s 90 % jistí, že odhalíte efekt velikosti 0,10 nebo vyšší. Ale pokud je hodnota 0,10 pro vás příliš velká, možná nebude stát za to testovat hypotézu o superioritě pro tuto hodnotu. Možná se pro spolehlivost rozhodnete provést studii pro menší velikost efektu, například 0,05. V takovém případě budete potřebovat 8407 pozorování, což znamená, že se velikost vzorku téměř čtyřikrát zvýší. Ale co když se budeme držet naší původní velikosti vzorku, ale zvýšíme sílu na 0,99, abychom si byli jisti, že dostaneme pozitivní výsledek? V takovém případě n pro jednu skupinu bude 3676, což už je lepší, ale zvyšuje velikost vzorku o více než 50 %. A jako výsledek stejně nebudeme schopni vyvrátit nulovou hypotézu, což nepřinese odpověď na naši otázku.
Co když místo toho otestujeme hypotézu o ne menší efektivitě?
Velikost vzorku se bude počítat podle stejného vzorce, s výjimkou jmenovatele.
Rozdíly od vzorce používaného při testování hypotézy o superioritě jsou následující:
— Z1−α/2 je nahrazen Z1−α, ale pokud to děláte podle pravidel, nahrazuje α = 0,05 α = 0,025, tedy je to stejné číslo (1,96)
— v jmenovateli se objevuje (μB−μA)
— θ (velikost efektu) je nahrazeno Δ (hranice ne menší efektivity)
Pokud předpokládáme, že µB = µA, pak (µB − µA) = 0 a výpočet velikosti vzorku pro limitní efektivitu je právě to, co bychom získali při výpočtu převahy pro velikost efektu 0,1, skvělé! Můžeme provést studii stejné velikosti s různými hypotézami a jiným přístupem k závěrům, a dostaneme odpověď na otázku, na kterou chceme opravdu odpovědět.
Nyní předpokládejme, že skutečně nepovažujeme, že µB = µA, a
myslíme si, že µB je trochu horší, možná o 0,01 jednotky. To zvyšuje náš jmenovatel a snižuje velikost vzorku pro skupinu na 1737.
Co se stane, pokud je verze B ve skutečnosti lepší než verze A? Vyvracíme nulovou hypotézu, že B je horší než A, o více než Δ a přijmeme alternativní hypotézu, že B, pokud je horší, není horší než Δ, a může být lepší. Zkuste toto závěr zahrnout do cross-funkční prezentace a podívejte se, co z toho vzejde (opravdu, zkuste to). V situaci, kdy je třeba orientovat se na perspektivu, nikdo nechce souhlasit s „horší není více než Δ a může být lepší“.
V tomto případě můžeme provést studii, která se velmi stručně nazývá „ověření hypotézy, že jedna z variant převyšuje druhou nebo jí ustupuje“. Používají se dva soubory hypotéz:
První soubor (stejně jako při ověřování hypotézy o nedostatečné efektivitě):
Druhý soubor (stejně jako při ověřování hypotézy o převaze):
Druhou hypotézu testujeme pouze v případě, že první byla zamítnuta. Při sekvenčním testování udržujeme celkovou úroveň chyb prvního druhu (α). V praxi to lze dosáhnout tím, že vytvoříme 95% konfidenciální interval pro rozdíl mezi průměry a ověříme, zda celý interval překračuje -Δ. Pokud interval nepřesahuje -Δ, nemůžeme zamítnout nulovou hodnotu a přestaneme. Pokud celý interval skutečně přesahuje −Δ, budeme pokračovat a zjistíme, obsahuje-li interval 0.
Existuje ještě jeden typ výzkumů, který jsme neprobrali – studie ekvivalence.
Výzkumy tohoto typu mohou být nahrazeny studiemi pro ověření hypotézy o nezmenšené účinnosti a naopak, ale mají jedno důležité odlišení. Zkouška pro ověření hypotézy o nezmenšené účinnosti má za cíl prokázat, že varianta B je alespoň tak dobrá jako A. A studie ekvivalence má za cíl prokázat, že varianta B je alespoň tak dobrá jako A, a varianta A je také tak dobrá jako B, což je složitější. V podstatě se snažíme určit, jestli leží celý interval spolehlivosti pro rozdíl průměrů mezi −Δ a Δ. Takové studie vyžadují větší velikost vzorku a provádějí se méně často. Proto příště, když budete provádět studii, jejíž hlavním cílem je ujistit se, že nová verze není horší, nesouhlasíte s "nemožností vyvrátit nulovou hypotézu". Pokud chcete ověřit skutečně důležitou hypotézu, zvažte různé možnosti.
Zdroj: habr.com
