A Stitch Fix csapata azt javasolja, hogy a marketing- és termékkísérletek során alkalmazzuk a klinikai kutatások nem rosszabb teljesítményének (non-inferiority trials) megközelítését. Ez a megközelítés valóban alkalmazható, amikor egy új megoldást tesztelünk, amelynek előnyei nem mérhetők a tesztekkel.
A legegyszerűbb példa a költségek csökkentése. Például automatizáljuk az első óra ütemezésének folyamatát, de nem szeretnénk, ha a globális konverziós arány jelentősen csökkenne. Vagy tesztelünk olyan változtatásokat, amelyek egy felhasználói szegmensre irányulnak, miközben figyelemmel kísérjük, hogy a más szegmensek konverziós aránya ne csökkenjen túlságosan (több hipotézis tesztelésekor ne felejtsünk el a korrekciókról).
A nem rosszabb teljesítmény megfelelő határának kiválasztása további nehézségeket jelent a tesztdizájn szakaszában. A kérdés, hogy hogyan válasszuk ki a Δ-t, a cikkben nem igazán kerül részletes kifejtésre. Úgy tűnik, hogy ez a választás nem teljesen átlátható a klinikai kísérletekben. A nem rosszabb teljesítményről szóló orvosi publikációk arra utalnak, hogy csak a publikációk felében indokolják a határvonal kiválasztását, és ezeket az indoklásokat gyakran nem egyértelműek vagy nem részletesek.
Mindenesetre ez a megközelítés érdekesnek tűnik, mivel a szükséges mintaméret csökkentésével növelheti a tesztelési sebességet, ezáltal pedig a döntéshozatal sebességét is. Darja Mukhina, a Skyeng mobilalkalmazás termékanalitikus.
A Stitch Fix csapata szeret különböző dolgokat tesztelni. Az egész technológiai közösség alapvetően szeret kísérletezni. Melyik weboldal verzió vonzza jobban a felhasználókat - az A vagy a B? Az A verzió a javasolt modellből több pénzt hoz, mint a B? Szinte mindig a legegyszerűbb megközelítést alkalmazzuk a hipotézisek ellenőrzésére, amely az alap statisztikai tanfolyam része:
Bár ritkán használjuk ezt a kifejezést, ezt a tesztelési formát "a kiválóság hipotézisének tesztelése" néven nevezzük. Ebben a megközelítésben feltételezzük, hogy nincs különbség a két változat között. Ezt az elképzelést fenntartjuk, és csak akkor mondunk le róla, ha az összegyűjtött adatok elegendően meggyőzőek, vagyis megmutatják, hogy az egyik változat (A vagy B) jobb, mint a másik.
A hipotézis ellenőrzése a fölényességről számos probléma megoldására alkalmas. Csak akkor adjuk ki a B verzióját az ajánlási modellnek, ha az egyértelműen jobb, mint a már használt A verzió. De bizonyos esetekben ez a megközelítés nem működik olyan jól. Nézzünk meg néhány példát.
1) Külső szolgáltatást használunk, amely segít az hamis bankkártyák azonosításában. Találtunk egy másik szolgáltatást, amely jelentősen olcsóbb. Ha az olcsóbb szolgáltatás ugyanolyan jól működik, mint amit most használunk, akkor azt választjuk. Nem szükséges, hogy jobb legyen, mint a használt szolgáltatás.
2) Szeretnénk elhagyni az A adatszolgáltatót és helyettesíteni azt a B adatszolgáltatóval. Elhalaszthatjuk az A-tól való elválást, ha a B nagyon rossz eredményeket hoz, de az A folytatása nem tűnik lehetségesnek.
3) Szeretnénk átállni A modellezési megközelítésrőlB megközelítésre nem azért, mert jobb eredményeket várunk a B-től, hanem mert ez nagyobb operatív rugalmasságot ad számunkra. Nincs okunk feltételezni, hogy a B rosszabb lesz, de nem fogunk váltani, ha így van.
4) Néhány minőségi változtatást végeztünk a weboldal dizájnjában (B verzió), és úgy érezzük, hogy ez a verzió felülmúlja az A verziót. Nem várunk változásokat a konverziókban vagy bármely olyan kulcsfontosságú teljesítménymutatóban, amit általában a weboldalak értékelésére használunk. De úgy véljük, hogy vannak előnyök olyan szempontokban, amelyeket vagy nem lehet mérni, vagy a technológiánk nem elegendő az mérésükhöz.
Mindezekben az esetekben a fölényesség kutatása nem a legmegfelelőbb megoldás. De a legtöbb szakember ilyen helyzetekben alapértelmezettként használja. Gondosan végezzük el a kísérletet, hogy helyesen meghatározzuk a hatás mértékét. Ha igaz lenne, hogy az A és B verziók hasonlóan működnek, akkor valószínű, hogy nem fogjuk tudni elvetni a nullhipotézist. Következtetünk arra, hogy az A és B alapvetően egyformán működik? Nem! A nullhipotézis elvetésének képtelensége és a nullhipotézis elfogadása nem ugyanaz.
A minta nagyságának kiszámítása (amit természetesen elvégeztél) általában szigorúbb határokkal történik az I. tipusú hiba (a nullhipotézis téves elvetésének valószínűsége, gyakran alfa néven ismert) szempontjából, mint a II. tipusú hiba (a nullhipotézis elvetésére való képtelenség valószínűsége, feltéve, hogy a nullhipotézis téves, gyakran béta néven ismert). Az alfa tipikus értéke 0,05, míg a béta tipikus értéke 0,20, ami 0,80 statisztikai teljesítménynek felel meg. Ez azt jelenti, hogy nem észlelhetjük az általunk megadott hatás nagyságát 20% valószínűséggel, ami meglehetősen komoly információs hiányosságot jelent. Például nézzük meg az alábbi hipotéziseket:
H0: a hátizsákom NEM a szobámban van (3)
H1: a hátizsákom a szobámban van (4)
Ha átkutattam a szobámat és megtaláltam a hátizsákomat — remek, elvethetem a nullhipotézist. De ha átvizsgáltam a szobát és nem találtam meg a hátizsákot (1. ábra), milyen következtetést kellene levonnom? Biztos vagyok benne, hogy nincs ott? Megfelelően kerestem? Mi van, ha csak a szoba 80%-át kutattam át? Az, hogy arra a következtetésre jussunk, hogy a hátizsák biztosan nincs a szobában, meggondolatlan döntés lenne. Nem meglepő, hogy nem tudjuk „elfogadni a nullhipotézist.”
A terület, amit átkutattunk
Nem találtuk meg a hátizsákot — el kellene fogadnunk a nullhipotézist?
1. ábra. A szoba 80%-ának átkutatása körülbelül olyan, mint egy 80%-os teljesítményű kutatás végzése. Ha nem találtál hátizsákot a szoba 80%-ának átkutatása után, levonhatod a következtetést, hogy nincs ott?
Tehát mit tegyen az adat szakértő ebben a helyzetben? Nagyon megnövelheti a kutatás teljesítményét, de ehhez sokkal nagyobb mintára lesz szükség, és az eredmény még mindig kielégítőtlen lesz.
Szerencsére az ilyen problémákat már régóta tanulmányozzák a klinikai kutatások világában. A B gyógyszer olcsóbb, mint az A gyógyszer; várható, hogy a B gyógyszer kevesebb mellékhatást okoz, mint az A; a B gyógyszert könnyebb szállítani, mert nem kell hűtőben tárolni, míg az A-t kell. Ellenőrizzük a nem kisebb hatékonyságra vonatkozó hipotézist. Erre azért van szükség, hogy megmutassuk, hogy a B verzió ugyanolyan jó, mint az A verzió - legalábbis egy előre meghatározott „nem kisebb hatékonyság” határon, Δ-n belül. Hamarosan részletesebben beszélünk arról, hogyan állapítható meg ez a határ. De most tegyük fel, hogy ez a minimális gyakorlati szempontból jelentős különbség (a klinikai vizsgálatok kontextusában ezt általában klinikai jelentőséggel hívják).
A nem kisebb hatékonyságra vonatkozó hipotézisek mindent fejre állítanak:
Most, ahelyett, hogy azt feltételeznénk, hogy nincs különbség, azt feltételezzük, hogy a B verzió rosszabb, mint az A verzió, és ezt a feltételezést megőrizzük, amíg nem bizonyítjuk az ellenkezőjét. Ez az a pillanat, amikor érdemes használni az egyoldalú hipotézistesztelést! Gyakorlatilag ezt úgy lehet megtenni, hogy megbízhatósági intervallumot építünk, és megállapítjuk, hogy az intervallum valóban nagyobb-e, mint Δ (2. ábra).
Δ kiválasztása
Hogyan válasszuk ki helyesen Δ-t? A Δ kiválasztásának folyamata statisztikai indoklást és tárgyi értékelést foglal magában. A klinikai kutatások világában léteznek irányelvek, amelyek szerint a deltának a legkisebb klinikai szempontból jelentős különbséget kell képviselnie - olyat, amelynek gyakorlati jelentősége van. Íme egy idézet az európai útmutatásból, amely segítségével ellenőrizheti magát: „Ha a különbséget helyesen választották ki, a megbízhatósági intervallum, amely teljesen a –∆ és 0 között helyezkedik el…, még mindig elegendő a nem kisebb hatékonyság bemutatására. Ha ez az eredmény nem tűnik elfogadhatónak, az azt jelenti, hogy ∆-t nem választották meg megfelelően.”
A delta határozottan nem haladhatja meg az A verzió hatásának mértékét az igazi kontrollhoz (placebo / kezelés hiányában) viszonyítva, mivel ez arra vezet bennünket, hogy a B verzió rosszabb, mint az igazi kontroll, ugyanakkor „nem kevesebb hatékonyságot” mutat. Tegyük fel, hogy amikor az A verziót bemutatták, akkor a helyén 0 verzió volt, vagy a funkció egyáltalán nem létezett (ld. 3. ábra).
A fölénnyel kapcsolatos hipotézis ellenőrzése során E hatás mértékét észlelték (azaz feltételezhető μ^A−μ^0=E). Most A az új standardunk, és szeretnénk megbizonyosodni arról, hogy B nem marad el A mögött. Egy másik módja a μB−μA≤−Δ (nullhipotézis) felírásának: μB≤μA−Δ. Ha feltételezzük, hogy a μB értéke egyenlő vagy meghaladja az E-t, akkor μB ≤ μA−E ≤ placebo. Most látjuk, hogy a μB-re vonatkozó értékünk teljes mértékben meghaladja a μA−E-t, ami így teljesen megcáfolja a nullhipotézist, és lehetővé teszi számunkra a következtetést, hogy B nem marad el A mögött, ugyanakkor μB lehet ≤ μ placebo, ami nem az, amire szükségünk van (3. ábra).
3. ábra. A nem kevesebb hatékonysági határ választásának kockázatai. Ha a határ túl nagy, arra a következtetésre juthatunk, hogy B nem marad el A mögött, de ugyanakkor megkülönböztethetetlen a placebótól. Nem fogunk olyan gyógyszert cserélni, amely nyilvánvalóan hatékonyabb a placebónál (A), egy olyan gyógyszerre, amelynek ugyanakkora a hatékonysága, mint a placebónak.
α választás
Térjünk át az α választására. Használhatunk standard α = 0,05 értéket, de ez nem teljesen tis fair. Például, amikor online vásárol valamit, és egyszerre több kedvezménykódot használ, miközben azok nem összegezhetők – csak a fejlesztő hibázott, és Ön megúszta. A szabályok szerint az α értékének a fölénnyel kapcsolatos hipotézis ellenőrzésénél használt α értékének felének kell lennie, azaz 0,05 / 2 = 0,025.
Minta mérete
Hogyan lehet megbecsülni a minta méretét? Ha úgy gondolja, hogy az A és B közötti igazi átlagkülönbség 0, akkor a minta méretének kiszámítása ugyanolyan lesz, mint a fölénnyel kapcsolatos hipotézis ellenőrzése esetén, kivéve, hogy a hatás mértékét nem kevesebb hatékonyságként cseréli le, feltéve, hogy használja α nem kevesebb hatékonyság = 1/2α fölény (αnon-inferiority=1/2αsuperiority). Ha van ok arra, hogy B változat valamivel rosszabb lehet, mint A változat, de szeretné bizonyítani, hogy nem rosszabb, mint Δ, akkor szerencsés vagy! Valójában ez csökkenti a minta méretét, mert könnyebb bizonyítani, hogy B rosszabb, mint A, ha tényleg úgy gondolja, hogy valamivel rosszabb, nem pedig egyenértékű.
Példa a döntésre
Tegyük fel, hogy A változathoz képest a B változat nem rosszabb 0,1 pontnál egy 5 pontos ügyfél elégedettségi skálán... Lépjünk közel ehhez a feladathoz a fölény hipotézisén keresztül.
A fölény hipotézisének ellenőrzéséhez a minta méretét a következőképpen számolnánk:
Tehát, ha a csoportodban 2103 megfigyelés van, 90% -os biztonsággal biztos lehetsz abban, hogy észlelsz egy 0,10 vagy annál nagyobb hatást. De ha a 0,10 érték túl nagy számodra, lehet, hogy nem érdemes a fölény hipotézist tesztelni. Lehet, hogy megbízhatóság miatt úgy döntesz, hogy egy kisebb hatás (például 0,05) vizsgálatához szükséges kutatást végzel. Ebben az esetben 8407 megfigyelésre lenne szükséged, azaz a minta mérete majdnem 4-szeresére nőne. De mi van, ha ragaszkodunk az eredeti minta mérethez, de növeljük a hatékonyságot 0,99-re, hogy biztosak legyünk abban, hogy pozitív eredményt kapunk? Ebben az esetben az n egy csoport számára 3676 lenne, ami jobb, de a minta méretét több mint 50%-kal növeli. És végül, így sem tudjuk majd megcáfolni a nullhipotézist, nem pedig választ kapni a kérdésünkre.
Mi lenne, ha ehelyett a nem kisebb hatékonyság hipotézisét tesztelnénk?
A minta méretét ugyanazzal a képlettel számolják, kivéve a nevezőt.
A fölény hipotézisének tesztelésénél használt képlettől való eltérés a következő:
— Z1−α/2 helyett Z1−α-t használunk, de ha mindent szabályosan csinálsz, α = 0,05-öt α = 0,025-re cseréled, ami ugyanaz a szám (1,96)
— a nevezőben megjelenik (μB−μA)
— θ (a hatás mértéke) Δ-ra (a nem kisebb hatékonyság határára) cserélődik
Ha feltételezzük, hogy µB = µA, akkor (µB − µA) = 0, és a minta méretének kiszámítása a legalább ilyen hatékonyságú határra pontosan azt adja, amit a 0,1-es effektus nagyságú fölény kiszámításakor kapnánk, nagyszerű! Ugyanakkora léptékű kutatást végezhetünk különböző hipotézisekkel és eltérő következtetési megközelítésekkel, és választ kaphatunk arra a kérdésre, amelyre valóban választ szeretnénk kapni.
Most feltételezzük, hogy valójában nem gondoljuk, hogy µB = µA, és
úgy véljük, hogy µB egy kicsit rosszabb, talán 0,01 egységgel. Ez megnöveli a nevezőt, csökkentve a csoport minta méretét 1737-re.
Mi történik, ha a B verzió valójában jobb, mint az A verzió? Megcáfoljuk a nullhipotézist, miszerint B rosszabb, mint A, több mint Δ, és elfogadjuk az alternatív hipotézist, miszerint B, ha rosszabb is, nem rosszabb, mint Δ, és talán jobb is lehet. Próbálja meg ezt a következtetést egy keresztfunkcionális prezentációba illeszteni, és nézze meg, mi sül ki belőle (komolyan, próbálja meg). Olyan helyzetben, amikor meg kell határozni a perspektívát, senki sem akarja elfogadni, hogy "rosszabb, mint Δ, és talán jobb".
Ebben az esetben végezhetünk egy kutatást, amelyet röviden ‚hipotézisvizsgálatnak‘ nevezünk, hogy az egyik változat felülmúlja a másikat vagy alulmarad. Két hipotézissort alkalmaz:
Az első sor (ugyanaz, mint a nem alulmaradás hipotézisének vizsgálatánál):
A második sor (ugyanaz, mint a fölény hipotézisének vizsgálatánál):
A második hipotézist csak akkor teszteljük, ha az elsőt elvetettük. Sorozatesetleges tesztelés során fenntartjuk az elsőfajú hibák (α) összesített szintjét. A gyakorlatban ez 95%-os megbízhatósági intervallum létrehozásával érhető el az átlagok közötti különbségre, és ellenőrzésre, hogy a teljes intervallum meghaladja-e -Δ-t. Ha az intervallum nem haladja meg -Δ-t, nem tudjuk elvetni a nullhipotézist, és leállunk. Ha a teljes intervallum valóban meghaladja -Δ-t, folytatjuk és megnézzük, tartalmazza-e az intervallum a 0-t.
Van egy másik típusú kutatás, amelyet még nem tárgyaltunk – az ekvivalencia kutatás.
Az ilyen típusú kutatások helyettesíthetők a hipotezisek vizsgálatára vonatkozó kutatásokkal, amelyek nem kevesebb hatékonyságra vonatkoznak, és fordítva, de van egy fontos különbség közöttük. A nem kevesebb hatékonyságra vonatkozó hipotezis vizsgálat célja, hogy megmutassa, hogy B változat legalább annyira jó, mint A. Az ekvivalencia kutatás célja, hogy megmutassa, hogy B változat legalább annyira jó, mint A, és hogy A változat is legalább annyira jó, mint B, ami nehezebb. Lényegében azt próbáljuk meghatározni, hogy a különbségek átlagainak minden bizalmi intervalluma −Δ és Δ között van-e. Az ilyen kutatások nagyobb mintát igényelnek, és ritkábban hajtják végre őket. Tehát legközelebb, amikor olyan kutatást végzel, ahol a fő feladatod annak biztosítása, hogy az új verzió ne legyen rosszabb, ne fogadj el „a nullhipotézis megdöntésének képtelenségét”. Ha valóban fontos hipotezist szeretnél vizsgálni, fontold meg a különböző lehetőségeket.
Forrás: habr.com
