Artykuł zespołu Stitch Fix sugeruje stosowanie podejścia badań klinicznych o nie mniejszej skuteczności (badania z równą skutecznością) w testach A/B marketingowych i produktowych. Takie podejście jest rzeczywiście stosowane, gdy testujemy nowe rozwiązanie, które ma zalety, które nie mogą być zmierzone za pomocą testów.
Najprostszy przykład — obniżenie kosztów. Na przykład automatyzujemy proces ustalania pierwszej lekcji, ale nie chcemy znacząco obniżyć konwersji ogólnej. Lub testujemy zmiany skierowane na jeden segment użytkowników, przy czym zwracamy uwagę, aby konwersje w innych segmentach nie spadły zbytnio (przy testowaniu kilku hipotez nie zapominamy o korektach).
Wybór odpowiedniej granicy nie mniejszej skuteczności wprowadza dodatkowe trudności na etapie projektowania testu. Pytanie, jak wybierać Δ, nie jest w artykule dobrze rozwinięte. Wydaje się, że ten wybór nie jest w pełni przejrzysty w badaniach klinicznych. W publikacjach medycznych dotyczących badań z równą skutecznością informuje się, że tylko w połowie publikacji wybór granicy jest uzasadniony, a te uzasadnienia często są niejednoznaczne lub niepełne.
W każdym razie, to podejście wydaje się interesujące, ponieważ dzięki zmniejszeniu wymaganego rozmiaru próbki może przyspieszyć testowanie, a co za tym idzie, przyspieszyć podejmowanie decyzji. Daria Muchina, analityk produktu w aplikacji mobilnej Skyeng.
Zespół Stitch Fix uwielbia testować różne rzeczy. Cała społeczność technologiczna w zasadzie lubi przeprowadzać testy. Która wersja strony przyciąga więcej użytkowników – A czy B? Czy wersja A modelu rekomendacyjnego przynosi więcej pieniędzy niż wersja B? Prawie zawsze do weryfikacji hipotez używamy najprostszej metody z podstawowego kursu statystyki:
Chociaż rzadko używamy tego terminu, taka forma testowania nazywa się „testowaniem hipotezy o przewadze”. W takim podejściu zakładamy, że między dwoma wariantami nie ma żadnej różnicy. Trzymamy się tej zasady i rezygnujemy z niej tylko wtedy, gdy uzyskane dane są wystarczająco przekonujące, aby to udowodnić – czyli pokazują, że jeden z wariantów (A lub B) jest lepszy od drugiego.
Sprawdzenie hipotezy o przewadze jest odpowiednie do rozwiązania wielu problemów. Wydajemy wersję B modelu rekomendacyjnego tylko wtedy, gdy jest ona wyraźnie lepsza od wersji A, którą już stosujemy. Jednak w niektórych przypadkach to podejście nie działa tak dobrze. Rozważmy kilka przykładów.
1) Korzystamy z zewnętrznej usługi, która pomaga identyfikować fałszywe karty bankowe. Znaleźliśmy inną usługę, która kosztuje znacznie mniej. Jeśli ta tańsza usługa działa tak samo dobrze, jak ta, której obecnie używamy, wybierzemy ją. Nie musi być lepsza od używanej usługi.
2) Chcemy zrezygnować z źródła danych A i zastąpić je źródłem danych B. Moglibyśmy odłożyć rezygnację z A, jeśli B daje bardzo słabe wyniki, ale kontynuowanie korzystania z A nie jest możliwe.
3) Chcielibyśmy przejść z podejścia do modelowaniaA na podejście B nie dlatego, że oczekujemy lepszych wyników z B, ale dlatego, że daje nam to większą elastyczność operacyjną. Nie mamy podstaw, by sądzić, że B będzie gorsze, ale nie przeprowadzimy zmiany, jeśli tak by było.
4) Wprowadziliśmy kilka jakościowych zmian w projekcie strony internetowej (wersja B) i uważamy, że ta wersja przewyższa wersję A. Nie spodziewamy się zmian w konwersji lub jakichkolwiek kluczowych wskaźnikach wydajności, według których zazwyczaj oceniamy stronę. Ale uważamy, że istnieją zalety w parametrach, które są albo niezmierzalne, albo nasze technologie nie są wystarczające, aby je zmierzyć.
Wszystkie te przypadki pokazują, że badanie przewagi nie jest najlepszym rozwiązaniem. Ale większość specjalistów w takich sytuacjach korzysta z niego domyślnie. Dokładnie przeprowadzamy eksperyment, aby prawidłowo określić wielkość efektu. Gdyby było prawdą, że wersje A i B działają w bardzo podobny sposób, istnieje prawdopodobieństwo, że nie uda nam się odrzucić hipotezy zerowej. Czy dochodzimy do wniosku, że A i B generalnie działają identycznie? Nie! Niemożność odrzucenia hipotezy zerowej a przyjęcie hipotezy zerowej to nie to samo.
Obliczenia dotyczące wielkości próby (które oczywiście przeprowadziłeś) zazwyczaj są prowadzone z bardziej rygorystycznymi granicami dla błędu pierwszego rodzaju (prawdopodobieństwo błędnego odrzucenia hipotezy zerowej, często nazywane alfa) niż dla błędu drugiego rodzaju (prawdopodobieństwo nieodrzucenia hipotezy zerowej, jeśli hipoteza zerowa jest fałszywa, często nazywane beta). Typowa wartość dla alfa wynosi 0,05, podczas gdy typowa wartość dla beta wynosi 0,20, co odpowiada mocy statystycznej 0,80. Oznacza to, że możemy nie wykryć prawdziwego wpływu wartości, którą określiliśmy w naszych obliczeniach mocy, z prawdopodobieństwem 20%, co stanowi dość poważną lukę w informacjach. Jako przykład rozważmy następujące hipotezy:
H0: mój plecak NIE znajduje się w moim pokoju (3)
H1: mój plecak znajduje się w moim pokoju (4)
Jeśli przeszukałem mój pokój i znalazłem plecak — świetnie, mogę odrzucić hipotezę zerową. Ale jeśli sprawdziłem pokój i nie znalazłem plecaka (rysunek 1), jaki wniosek mogę wyciągnąć? Czy jestem pewien, że go tam nie ma? Czy wystarczająco dokładnie szukałem? Co jeśli przeszukałem tylko 80% pokoju? Wyciągnięcie wniosku, że plecaka na pewno nie ma w pokoju, byłoby lekkomyślną decyzją. Nic dziwnego, że nie możemy "zaakceptować hipotezy zerowej."
Obszar, który przeszukaliśmy
Nie znaleźliśmy plecaka — czy powinniśmy zaakceptować hipotezę zerową?
Rysunek 1. Przeszukanie 80% pokoju — to mniej więcej to samo, co przeprowadzenie badania o mocy 80%. Jeśli nie znalazłeś plecaka, przeszukując 80% pokoju, czy można wyciągnąć wniosek, że go tam nie ma?
Co zatem powinien zrobić specjalista ds. danych w tej sytuacji? Możesz znacznie zwiększyć moc badania, ale wtedy będziesz potrzebował próby znacznie większej wielkości, a wynik wciąż może być niezadowalający.
Na szczęście, takie problemy są od dawna badane w świecie badań klinicznych. Preparat B jest tańszy niż preparat A; oczekuje się, że preparat B będzie powodował mniej działań niepożądanych niż preparat A; preparat B jest łatwiejszy w transporcie, ponieważ nie wymaga przechowywania w lodówce, podczas gdy preparat A – wymaga. Sprawdźmy hipotezę o nie mniejszej skuteczności. Jest to potrzebne, aby wykazać, że wersja B jest tak samo dobra jak wersja A – przynajmniej w granicach ustalonego wcześniej progu „nie mniejszej skuteczności”, Δ. Wkrótce omówimy, jak ustalić ten próg. Ale teraz załóżmy, że to minimalna różnica, która ma znaczenie praktyczne (w kontekście badań klinicznych zazwyczaj nazywa się to istotnością kliniczną).
Hipotezy o nie mniejszej skuteczności przewracają wszystko do góry nogami:
Teraz zamiast zakładać, że nie ma różnicy, zakładamy, że wersja B jest gorsza niż wersja A, i będziemy się trzymać tego założenia, dopóki nie udowodnimy, że jest inaczej. To właśnie w tym momencie ma sens stosowanie testowania hipotezy jednostronnej! W praktyce można to zrobić, budując przedział ufności i określając, czy ten przedział jest rzeczywiście większy niż Δ (rysunek 2).
Wybór Δ
Jak prawidłowo wybrać Δ? Proces wyboru Δ obejmuje uzasadnienie statystyczne oraz ocenę merytoryczną. W świecie badań klinicznych istnieją normatywne wytyczne, które wskazują, że delta powinna stanowić najmniejszą istotną klinicznie różnicę – taką, która ma znaczenie w praktyce. Oto cytat z europejskiego przewodnika, który można sobie przypomnieć: „Jeśli różnica została wybrana prawidłowo, przedział ufności, który w całości mieści się pomiędzy –∆ a 0…, nadal jest wystarczający do wykazania nie mniejszej skuteczności. Jeśli ten wynik nie wydaje się akceptowalny, oznacza to, że ∆ nie został wybrany prawidłowo.”
Delta zdecydowanie nie powinna przekraczać wartości efektu wersji A w porównaniu do prawdziwej kontroli (placebo / brak leczenia), ponieważ prowadzi to do wniosku, że wersja B jest gorsza niż prawdziwa kontrola, a jednocześnie wykazuje „nie mniejszą skuteczność”. Załóżmy, że gdy wersja A została wprowadzona, na jej miejscu była wersja 0 lub funkcja w ogóle nie istniała (patrz rysunek 3).
Na podstawie wyników testowania hipotezy o przewadze ustalono wartość efektu E (to znaczy zakładamy, że μ^A−μ^0=E). Teraz A jest naszym nowym standardem i chcemy upewnić się, że B nie ustępuje A. Innym sposobem zapisania μB−μA≤−Δ (hipoteza zerowa) jest μB≤μA−Δ. Jeśli założymy, że wyniki są równe lub większe niż E, to μB ≤ μA−E ≤ placebo. Teraz widzimy, że nasza ocena dla μB całkowicie przekracza μA−E, co całkowicie obala hipotezę zerową i pozwala na wniosek, że B nie ustępuje A, ale jednocześnie μB może być ≤ μ placebo, co nie jest tym, czego potrzebujemy. (rysunek 3).
Rysunek 3. Demonstrowanie ryzyk wyboru granicy nie mniejszej skuteczności. Jeśli granica jest zbyt duża, można dojść do wniosku, że B nie ustępuje A, ale jednocześnie jest nieodróżnialna od placebo. Nie zamienimy leku, który jest wyraźnie skuteczniejszy od placebo (A), na lek, który ma taką samą skuteczność jak placebo.
Wybór α
Przejdźmy do wyboru α. Można przyjąć standardową wartość α = 0,05, ale to nie jest do końca uczciwe. Na przykład, gdy kupujesz coś w internecie i używasz kilku kodów rabatowych jednocześnie, chociaż nie powinny się one sumować – to po prostu błąd dewelopera, a tobie to przeszło. Zgodnie z zasadami wartość α powinna być równa połowie wartości α stosowanej przy testowaniu hipotezy o przewadze, to znaczy 0,05 / 2 = 0,025.
Wielkość próby
Jak ocenić wielkość próby? Jeśli uważasz, że rzeczywista różnica średnich między A i B wynosi 0, to obliczenie wielkości próby będzie takie samo jak przy testowaniu hipotezy o przewadze, z wyjątkiem tego, że zastępujesz wielkość efektu granicą nie mniejszej skuteczności, pod warunkiem, że używasz αnie mniejsza efektywność = 1/2αprzewaga (αnon-inferiority=1/2αsuperiority). Jeśli masz powody sądzić, że opcja B może być nieco gorsza od opcji A, ale chcesz udowodnić, że nie jest gorsza o więcej niż Δ, masz szczęście! W rzeczywistości zmniejsza to wielkość Twojej próbki, ponieważ łatwiej jest wykazać, że B jest gorsze od A, jeśli uważasz, że jest nieco gorsze, a nie równoważne.
Przykład z rozwiązaniem
Załóżmy, że chcesz przejść na wersję B pod warunkiem, że jest ona gorsza od wersji A nie więcej niż 0,1 punktu w 5-stopniowej skali satysfakcji klientów… Podejdźmy do tego zadania, używając hipotezy o przewadze.
Aby sprawdzić hipotezę o przewadze, obliczymy wielkość próbki w następujący sposób:
To znaczy, jeśli w Twojej grupie będzie 2103 obserwacje, możesz być w 90% pewny, że odkryjesz efekt o wielkości 0,10 lub większym. Ale jeśli wartość 0,10 jest dla Ciebie zbyt duża, być może nie ma sensu testować hipotezy o przewadze. Może dla solidności zdecydujesz się przeprowadzić badanie dla mniejszego efektu, na przykład 0,05. W takim przypadku potrzebujesz 8407 obserwacji, co oznacza, że próbka zwiększy się prawie 4 razy. Ale co, jeśli będziemy trzymać się naszego pierwotnego rozmiaru próbki, ale zwiększymy moc do 0,99, abyśmy nie mieli wątpliwości, jeśli uzyskamy pozytywny wynik? W takim przypadku n dla jednej grupy wyniesie 3676, co już jest lepsze, ale zwiększa wielkość próbki o ponad 50%. A ostatecznie nadal po prostu nie będziemy w stanie obalić hipotezy zerowej, a nie uzyskać odpowiedzi na nasze pytanie.
Co jeśli zamiast tego sprawdzimy hipotezę o nie mniejszej efektywności?
Wielkość próbki będzie obliczana w oparciu o tę samą formułę z wyjątkiem mianownika.
Różnice w stosunku do formuły używanej przy testowaniu hipotezy o przewadze są następujące:
— Z1−α/2 jest zastępowane przez Z1−α, ale jeśli robisz wszystko zgodnie z zasadami, zastępujesz α = 0,05 na α = 0,025, więc to ta sama liczba (1,96)
— w mianowniku pojawia się (μB−μA)
— θ(wielkość efektu) jest zastępowana przez Δ (limit nie mniejszej efektywności)
Jeśli założymy, że µB = µA, to (µB − µA) = 0, a obliczenie rozmiaru próby dla nie mniejszej efektywności to dokładnie to, co uzyskalibyśmy przy obliczaniu przewagi dla wielkości efektu 0,1, doskonale! Możemy przeprowadzić badanie tej samej skali z różnymi hipotezami i innym podejściem do wniosków, i uzyskamy odpowiedź na pytanie, na które naprawdę chcemy odpowiedzieć.
Załóżmy teraz, że tak naprawdę nie uważamy, że µB = µA i
sądzimy, że µB jest trochę gorsze, może o 0,01 jednostki. To zwiększa nasz mianownik, zmniejszając rozmiar próby grupy do 1737.
Co się stanie, jeśli wersja B jest w rzeczywistości lepsza niż wersja A? Odrzucamy hipotezę zerową, że B jest gorsze niż A o więcej niż Δ, i przyjmujemy alternatywną hipotezę, że B, jeśli jest gorsze, to nie gorsze niż Δ, a może być lepsze. Spróbuj wprowadzić to wniosek do prezentacji międzyfunkcjonalnej i zobacz, co z tego wyniknie (poważnie, spróbuj). W sytuacji, gdy trzeba kierować się perspektywą, nikt nie chce zgodzić się na „gorsze nie więcej niż Δ i może lepsze”.
W takim przypadku możemy przeprowadzić badanie, które krótko nazywa się „sprawdzeniem hipotezy, że jedna opcja przewyższa drugą lub jej ustępuje”. Używa się w nim dwóch zestawów hipotez:
Pierwszy zestaw (taki sam jak w teście hipotezy o nie mniejszej efektywności):
Drugi zestaw (taki sam jak w teście hipotezy o przewadze):
Sprawdzamy drugą hipotezę tylko wtedy, gdy pierwsza zostanie odrzucona. W przypadku testowania sekwencyjnego zachowujemy ogólny poziom błędów pierwszego rodzaju (α). W praktyce można to osiągnąć, tworząc 95% przedział ufności dla różnicy między średnimi i sprawdzając, czy cały przedział przekracza -Δ. Jeśli przedział nie przekracza -Δ, nie możemy odrzucić wartości zerowej i zatrzymujemy się. Jeśli cały przedział rzeczywiście przekracza −Δ, przejdziemy dalej i sprawdzimy, czy przedział zawiera 0.
Jest jeszcze inny typ badań, którego nie omówiliśmy – badania ekwiwalencji.
Badania tego typu mogą być zastępowane badaniami mającymi na celu weryfikację hipotezy o co najmniej równej skuteczności, i odwrotnie, ale mają one ważną różnicę. Badanie weryfikujące hipotezę o co najmniej równej skuteczności ma na celu wykazanie, że opcja B jest co najmniej tak samo dobra jak A. Z kolei badanie równoważności ma na celu wykazanie, że opcja B jest co najmniej tak samo dobra jak A, a opcja A jest tak samo dobra jak B, co jest bardziej skomplikowane. W istocie, próbujemy określić, czy cały przedział ufności dla różnicy średnich leży między −Δ a Δ. Takie badania wymagają większej wielkości próby i są rzadziej przeprowadzane. Dlatego następnym razem, gdy przeprowadzisz badanie, w którym Twoim głównym celem jest upewnienie się, że nowa wersja nie jest gorsza, nie zgadzaj się na „nieskuteczność obalenia hipotezy zerowej”. Jeśli chcesz sprawdzić naprawdę ważną hipotezę, rozważ różne opcje.
Źródło: habr.com
