Статия на екипа на Stitch Fix предлага да се използва подход от клиничните изследвания с не по-малка ефективност (non-inferiority trials) в маркетинговите и продуктови A/B тестове. Този подход наистина е приложим, когато тестваме ново решение, което има предимства, които не могат да бъдат измерени с тестовете.
Най-простият пример е намаляването на разходите. Например, автоматизираме процеса на назначаване на първия урок, но не искаме да понижим значително общата конверсия. Или тестваме промени, които са насочени към един сегмент потребители, докато следим, за да не паднат конверсиите по другите сегменти значително (при тестване на няколко хипотези не забравяйте за поправките).
Изборът на подходяща граница на не по-малка ефективност добавя допълнителни трудности на етапа на дизайна на теста. Въпросът как да се избере Δ в статията не е особено добре разгледан. Изглежда, че този избор не е напълно прозрачен и в клиничните изпитания. медицинските публикации по не по-малка ефективност съобщават, че само в половината от публикациите изборът на граница е обоснован и често тези обосновки са нееднозначни или неподробни.
Във всеки случай, този подход изглежда интересен, тъй като чрез намаляване на необходимия размер на извадката може да увеличи скоростта на тестването и следователно и скоростта на вземане на решения. — Даря Мухина, продуктов анализатор на мобилното приложение Skyeng.
Екипът на Stitch Fix обича да тестира различни неща. Цялото технологично общество по принцип обича да провежда тестове. Коя версия на сайта привлича повече потребители – A или B? Принася ли версия A на препоръчителния модел повече пари от версия B? Почти винаги за проверка на хипотези използваме най-простия подход от основния курс по статистика:
Въпреки че рядко използваме този термин, такава форма на тестване се нарича „проверка на хипотезата за превъзходство“. При такъв подход предполагаме, че между двата варианта няма разлика. Придържаме се към тази идея и се отказваме от нея само ако получените данни се окажат достатъчно убедителни – тоест доказват, че един от вариантите (A или B) е по-добър от другия.
Проверка на хипотезата за превъзходство е подходяща за решаване на многобройни проблеми. Издаваме версия B на препоръчителен модел само ако тя е очевидно по-добра от вече използваната версия A. Но в някои случаи този подход не работи толкова добре. Нека да разгледаме няколко примера.
1) Използваме външен сервиз, който помага за идентифициране на фалшиви банкови карти. Намерихме друг сервиз, който е значително по-евтин. Ако по-евтиният сервиз работи толкова добре, колкото този, който използваме в момента, ще изберем него. Не е задължително той да бъде по-добър от използвания сервиз.
2) Искаме да се откажем от източника на данни A и да го заменим с източник на данни B. Можехме да отложим отказа от A, ако B дава много лоши резултати, но продължаването на използването на A не е възможно.
3) Бихме искали да преминем от подхода на моделиранеA към подход B не защото очакваме по-добри резултати от B, а защото това ни дава по-голяма оперативна гъвкавост. Нямаме основания да вярваме, че B ще бъде по-лош, но няма да направим преход, ако това се окаже така.
4) Направихме няколко качествени промени в дизайна на уебсайта (версия B) и смятаме, че тази версия превъзхожда версия A. Не очакваме промени в конверсии или в каквито и да е ключови показатели за ефективност, по които обикновено оценяваме уебсайта. Но смятаме, че има предимства в параметри, които или не могат да се измерят, или нашите технологии не са достатъчни за измерването им.
Във всички тези случаи изследването на превъзходството не е най-подходящото решение. Но повечето специалисти в такива ситуации го използват по подразбиране. Провеждаме внимателен експеримент, за да определим точно размера на ефекта. Ако е вярно, че версиите A и B работят по много сходен начин, съществува вероятност да не успеем да отхвърлим нулевата хипотеза. Извеждаме ли заключение, че A и B работят като цяло еднакво? Не! Невъзможността да отхвърлим нулевата хипотеза и приемането на нулевата хипотеза не е едно и също.
Изчисленията на обема на извадката (които, разбира се, сте провели) обикновено се извършват с по-строги граници за грешка от първи род (вероятността за неправилно отхвърляне на нулевата хипотеза, често наричана алфа), отколкото за грешка от втори род (вероятността за неспособност да се отхвърли нулевата хипотеза, при условие че нулевата хипотеза е погрешна, често наричана бета). Типичната стойност за алфа е 0,05, докато типичната стойност за бета е 0,20, което съответства на статистическа мощност от 0,80. Това означава, че можем да не открием истинското влияние на величината, която посочихме в нашите изчисления за мощност, с вероятност 20% и това е доста сериозен недостатък в информацията. Като пример, нека разгледаме следните хипотези:
H0: моят ранец НЕ е в моята стая (3)
H1: моят ранец е в моята стая (4)
Ако съм проверил стаята си и съм намерил раницата си — чудесно, мога да отхвърля нулевата хипотеза. Но ако съм проверил стаята и не съм успял да намеря раницата си (фигура 1), какво заключение трябва да направя? Сигурен ли съм, че я няма там? Достатъчно ли внимателно съм търсил? Какво ако съм проверил само 80% от стаята? Да се направи заключение, че раницата определено я няма в стаята, би било прибързано решение. Не е изненада, че не можем да "приемем нулевата хипотеза."
Областта, която сме проверили
Не сме намерили раницата — трябва ли да приемем нулевата хипотеза?
Фигура 1. Проверяването на 80% от стаята е приблизително същото като провеждането на изследване с мощност 80%. Ако не сте намерили раницата, разглеждайки 80% от стаята, може ли да се направи заключение, че я няма там?
Какво да направи специалистът по данни в тази ситуация? Можете значително да увеличите мощността на изследването, но тогава ще ви е необходима много по-голяма извадка, а резултатът все пак ще остане незадоволителен.
За щастие, подобни проблеми отдавна се изследват в света на клиничните изследвания. Препарат B е по-евтин от препарат A; очаква се, че препарат B ще предизвиква по-малко странични ефекти, отколкото препарат A; препарат B е по-лесен за транспортиране, тъй като не трябва да се съхранява в хладилник, докато препарат A – трябва. Нека проверим хипотезата за не по-малка ефективност. Това е необходимо, за да покажем, че версия B е толкова добра, колкото версия A — поне в рамките на определен предварително определен праг за “не по-малка ефективност”, Δ. Малко по-късно ще говорим по-подробно за това как да определим този праг. Но сега да предположим, че това е минималната значима разлика, която има практически смисъл (в контекста на клиничните изпитвания това обикновено се нарича клинична значимост).
Хипотезите за не по-малка ефективност обръщат всичко с главата надолу:
Сега вместо да предполагаме, че разлика няма, предполагаме, че версия B е по-лоша от версия A и ще се придържаме към това предположение, докато не покажем, че не е така. Точно тогава има смисъл да се използва тест за одностранна хипотеза! На практика това може да стане, като се изгради доверителен интервал и се определи дали интервалът е наистина по-голям от Δ (фигура 2).
Избор на Δ
Как да изберем правилно Δ? Процесът на избор на Δ включва статистическо обоснование и предметна оценка. В света на клиничните изследвания съществуват регулаторни насоки, според които делтата трябва да представлява най-малката клинично значима разлика — такава, която ще има значение на практика. Ето цитат от европейските ръководства, с който можете да се проверите: «Ако разликата е избрана правилно, доверителният интервал, който напълно лежи между –∆ и 0…, все още е достатъчен за демонстриране на не по-малка ефективност. Ако този резултат не изглежда приемлив, това означава, че ∆ не е избрана надлежно».
Делтата определено не трябва да надвишава размера на ефекта на версия A спрямо истинския контрол (плацебо / отсъствие на лечение), тъй като това ни води до извода, че версия B е по-лоша от истинския контрол, докато в същото време демонстрира "не по-малка ефективност". Нека предположим, че когато е представена версия A, на нейно място е била версия 0 или функцията изобщо не е съществувала (вж. фигура 3).
Според резултатите от проверката на хипотезата за превосходство е установен размер на ефекта E (т.е. предположително μ^A−μ^0=E). Сега A е нашият нов стандарт и искаме да се уверим, че B не отстъпва на A. Друг начин да запишем μB−μA≤−Δ (нулева хипотеза) е μB≤μA−Δ. Ако допуснем, че нашето равенство е равно на или надвишава E, то μB ≤ μA−E ≤ плацебо. Сега виждаме, че нашата оценка за μB напълно надхвърля μA−E, което напълно опровергава нулевата хипотеза и позволява да направим извод, че B не отстъпва на A, но в същото време μB може да бъде ≤ μ плацебо, което не е това, от което се нуждаем. (фигура 3).
Фигура 3. Демонстрация на рисковете от избора на граница на не по-малка ефективност. Ако пределът е твърде голям, може да се направи извод, че B не отстъпва на A, но същевременно е неразличим от плацебо. Няма да сменим лекарството, което е очевидно по-ефективно от плацебо (A), с такова, което има същата ефективност като плацебо.
Избор на α
Продължаваме с избора на α. Може да се използва стандартната стойност α = 0,05, но това не е напълно честно. Например, когато купувате нещо в интернет и използвате няколко кода за отстъпка, въпреки че те не трябва да се комбинират — просто разработчикът е допуснал грешка, а на вас това ви е минало. Според правилата стойността на α трябва да бъде равна на половината от стойността на α, използвана при проверката на хипотезата за превосходство, т.е. 0,05 / 2 = 0,025.
Размер на извадката
Как да оценим размера на извадката? Ако считате, че истинската разлика в средните между A и B е равна на 0, тогава изчисляването на размера на извадката ще бъде същото като при проверката на хипотезата за превосходство, с изключение на това, че заменяте размера на ефекта с предел на не по-малка ефективност, при условие, че използвате α не по-малка ефективност = 1/2 α превосходство (αnon-inferiority=1/2αsuperiority). Ако имате основание да смятате, че вариант B може да е малко по-лош от вариант A, но искате да докажете, че не е по-лош с повече от Δ, тогава имате късмет! Всъщност това намалява размера на вашата извадка, тъй като е по-лесно да се демонстрира, че B е по-лош от A, ако всъщност смятате, че е малко по-лош, а не равностоен.
Пример с решение
Да предположим, че искате да преминете на версия B при условие, че тя е по-лоша от версия A с не повече от 0,1 точки по 5-балната скала за удовлетвореност на клиентите… Нека се заемем с тази задача, използвайки хипотезата за превъзходство.
За проверка на хипотезата за превъзходство бихме изчислили размера на извадката по следния начин:
Тоест, ако в групата ви има 2103 наблюдения, можете да бъдете на 90 % уверени, че ще откриете ефект с размер 0,10 или повече. Но ако стойността 0,10 за вас е твърде висока, е възможно да не винаги да е уместно да проверявате хипотезата за превъзходство за нея. Може би, за надеждност, ще решите да проведете проучване за по-малък размер на ефекта, например 0,05. В такъв случай ще ви трябват 8407 наблюдения, което означава, че извадката ще се увеличи почти четири пъти. Но какво, ако спазим първоначалния си размер на извадката, но увеличим мощността до 0,99, за да няма съмнения, ако получим положителен резултат? В такъв случай n за една група ще бъде 3676, което вече е по-добре, но увеличава размера на извадката с повече от 50 %. И в резултат ние все пак просто няма да можем да отхвърлим нулевата хипотеза, а не да получим отговор на въпроса си.
Какво, ако вместо това проверим хипотезата за не по-малка ефективност?
Размерът на извадката ще се изчислява по същата формула, с изключение на знаменателя.
Разликите от формулата, използвана при проверката на хипотезата за превъзходство, са следните:
— Z1−α/2 се заменя с Z1−α, но ако правите всичко по правилата, заменяте α = 0,05 с α = 0,025, т.е. това е същото число (1,96)
— в знаменателя се появява (μB−μA)
— θ (размерът на ефекта) се заменя с Δ (праг на не по-малка ефективност)
Ако предположим, че µB = µA, то (µB − µA) = 0 и изчисляването на размера на пробата за границата на не по-малка ефективност е точно това, което бихме получили при изчисляване на превъзходството за размера на ефекта 0,1. Отлично! Можем да проведем изследване с един и същ мащаб, но с различни хипотези и различен подход към изводите, и ще получим отговор на въпроса, на който наистина искаме да отговорим.
Сега да предположим, че наистина не считаме, че µB = µA и
смятаме, че µB е малко по-лошо, може би с 0,01 единици. Това увеличава нашия знаменател, намалявайки размера на пробата за групата до 1737.
Какво ще се случи, ако версия B всъщност е по-добра от версия A? Ние опровергаваме нулевата хипотеза, че B е по-лоша от A с повече от Δ и приемаме алтернативната хипотеза, че B, дори да е по-лоша, не е по-лоша с повече от Δ и може да бъде по-добра. Опитайте да добавите това заключение в крос-функционалната презентация и вижте какво ще се случи (сериозно, опитайте). В ситуация, в която трябва да се ориентираме към перспективата, никой не иска да се съгласи на „по-лошо не повече от Δ и, може би, по-добро“.
В този случай можем да проведем изследване, което много кратко наричаме „проверка на хипотеза, че един вариант превъзхожда или отстъпва на другия“. В него се използват два комплекта хипотези:
Първи комплект (същият като при проверка на хипотеза за не по-малка ефективност):
Втори комплект (същият като при проверка на хипотеза за превъзходство):
Ние проверяваме втората хипотеза само в случай, че първата бъде отхвърлена. При последователно тестване запазваме общото ниво на грешки от първи род (α). На практика това може да бъде постигнато чрез създаване на 95 % доверителен интервал за разликата между средните и проверка, за да определим дали целият интервал надвишава -Δ. Ако интервалът не надвишава -Δ, не можем да отхвърлим нулевата стойност и спираме. Ако целият интервал наистина надвишава -Δ, ще продължим и ще видим съдържа ли интервалът 0.
Съществува и друг тип изследвания, които не обсъдихме – изследвания на еквивалентност.
Изследванията от този тип могат да бъдат заменени с изследвания, целящи да проверят хипотезата за не по-малка ефективност и обратно, но всъщност имат важно различие. Проучването, което проверява хипотезата за не по-малка ефикасност, има за цел да покаже, че вариант B е поне толкова добър, колкото A. А изследването за еквивалентност цели да демонстрира, че вариант B е поне толкова добър, колкото A, а вариант A е също толкова добър, колкото B, което е по-сложно. В същността си се опитваме да определим дали целият доверителен интервал за разликата между средните стойности е между −Δ и Δ. Тези изследвания изискват по-голям размер на извадката и се провеждат по-рядко. Затова следващия път, когато провеждате изследване, при което основната ви задача е да се уверите, че новата версия не е по-лоша, не се съгласявайте на „невъзможността да опровергаете нулевата хипотеза“. Ако искате да проверите наистина важна хипотеза, разгледайте различните опции.
Източник: habr.com
