L'articolo del team di Stitch Fix suggerisce di utilizzare un approccio agli studi clinici di non inferiorità nei test A/B di marketing e prodotto. Questo approccio è effettivamente applicabile quando testiamo una nuova soluzione che presenta vantaggi non misurabili dai test.
Il più semplice esempio è la riduzione dei costi. Ad esempio, automatizziamo il processo di assegnazione della prima lezione, ma non vogliamo ridurre drasticamente la conversione complessiva. Oppure testiamo modifiche orientate a un segmento specifico di utenti, mentre monitoriamo affinché le conversioni negli altri segmenti non crollino (quando testiamo più ipotesi, non dimentichiamo di considerare le correzioni).
La scelta del giusto confine di non inferiorità aggiunge ulteriori difficoltà nella fase di progettazione del test. La questione di come scegliere Δ nell'articolo non è molto ben approfondita. Sembra che questa scelta non sia del tutto trasparente, neppure negli studi clinici. Nelle pubblicazioni mediche sulla non inferiorità, si riporta che solo nella metà delle pubblicazioni la scelta del confine è giustificata e spesso queste giustificazioni sono ambigue o poco dettagliate.
In ogni caso, questo approccio sembra interessante, poiché riducendo la dimensione necessaria del campione può aumentare la velocità di test, e quindi la velocità di assunzione delle decisioni. — Darya Mukhina, analista di prodotto dell'app mobile Skyeng.
Il team di Stitch Fix ama testare cose diverse. L'intera comunità tecnologica in generale ama condurre test. Quale versione del sito attira più utenti – A o B? Porta la versione A del modello raccomandativo più soldi rispetto alla versione B? Quasi sempre, per verificare le ipotesi, utilizziamo l'approccio più semplice dell'introduzione base alla statistica:
Anche se raramente utilizziamo questo termine, questa forma di test è chiamata "verifica dell'ipotesi di superiorità". Con questo approccio, supponiamo che tra le due opzioni non ci siano differenze. Manteniamo questa idea e la abbandoniamo solo se i dati ottenuti si rivelano sufficientemente convincenti per farlo – cioè dimostrano che una delle opzioni (A o B) è migliore dell'altra.
La verifica dell'ipotesti sulla superiorità è adatta per risolvere molti problemi. Rilasciamo la versione B del modello di raccomandazione solo se è chiaramente migliore della versione A già utilizzata. Ma in alcuni casi, questo approccio non funziona altrettanto bene. Consideriamo alcuni esempi.
1) Utilizziamo un servizio di terze parti, che aiuta a identificare le carte di credito false. Abbiamo trovato un altro servizio che costa significativamente meno. Se il servizio più economico funziona altrettanto bene quanto quello che stiamo attualmente utilizzando, lo sceglieremo. Non deve necessariamente essere migliore del servizio in uso.
2) Vogliamo abbandonare la fonte di dati A e sostituirla con la fonte di dati B. Potremmo ritardare l'abbandono di A se B produce risultati molto scadenti, ma continuare a utilizzare A non è fattibile.
3) Vorremmo passare dall'approccio di modellazioneA all'approccio B, non perché ci aspettiamo risultati migliori da B, ma perché ci offre maggiore flessibilità operativa. Non abbiamo motivo di credere che B sarà peggiore, ma non procederemo con la transizione se lo sarà.
4) Abbiamo apportato alcune modifiche qualitative al design del sito web (versione B) e riteniamo che questa versione superi la versione A. Non ci aspettiamo cambiamenti nel tasso di conversione o in alcun indicatore chiave di prestazione che utilizziamo normalmente per valutare il sito web. Ma riteniamo che ci siano vantaggi in parametri che sono o non misurabili, o per i quali non abbiamo tecnologie sufficienti per la misurazione.
In tutti questi casi, la ricerca della superiorità non è la soluzione più adatta. Ma la maggior parte degli esperti utilizza questo approccio per default in tali situazioni. Conduciamo un esperimento accurato per determinare correttamente l'ampiezza dell'effetto. Se fosse corretto che le versioni A e B funzionano in modo molto simile, c'è la possibilità che non riusciremo a rigettare l'ipotesi nulla. Possiamo concludere che A e B funzionano fondamentalmente allo stesso modo? No! L'impossibilità di rigettare l'ipotesi nulla e l'accettazione dell'ipotesi nulla non sono la stessa cosa.
I calcoli del volume del campione (che ovviamente avete effettuato), sono generalmente effettuati con limiti più rigorosi per l'errore di tipo I (la probabilità di rifiutare erroneamente l'ipotesi nulla, spesso chiamata alfa) rispetto all'errore di tipo II (la probabilità di non rifiutare l'ipotesi nulla quando l'ipotesi nulla è falsa, spesso chiamata beta). Un valore tipico per alfa è 0,05, mentre un valore tipico per beta è 0,20, il che corrisponde a una potenza statistica di 0,80. Ciò significa che possiamo non rilevare l'effetto reale della grandezza che abbiamo indicato nei nostri calcoli di potenza con una probabilità del 20%, e questo è un notevole vuoto informativo. Prendiamo come esempio le seguenti ipotesi:
H0: il mio zaino NON è nella mia stanza (3)
H1: il mio zaino è nella mia stanza (4)
Se ho perquisito la mia stanza e ho trovato il mio zaino — perfetto, posso rifiutare l'ipotesi nulla. Ma se ho ispezionato la stanza e non sono riuscito a trovare il mio zaino (figura 1), quale conclusione dovrei trarre? Sono sicuro che non ci sia? Ho cercato abbastanza a fondo? E se avessi controllato solo l'80% della stanza? Trarre la conclusione che non ci sia affatto zaino nella stanza sarebbe una decisione avventata. Non sorprende quindi che non possiamo "accettare l'ipotesi nulla".
L'area che abbiamo perquisito
Non abbiamo trovato lo zaino — dovremmo accettare l'ipotesi nulla?
Figura 1. Ispezionare l'80% della stanza è grossomodo come condurre uno studio con potenza dell'80%. Se non hai trovato lo zaino ispezionando l'80% della stanza, puoi concludere che non ci sia?
Allora, cosa dovrebbe fare un data specialist in questa situazione? Puoi aumentare significativamente la potenza dello studio, ma avrai bisogno di un campione di dimensioni molto maggiori e il risultato sarà comunque insoddisfacente.
Fortunatamente, tali problemi sono stati a lungo studiati nel campo della ricerca clinica. Il farmaco B è più economico del farmaco A; ci si aspetta che il farmaco B causi meno effetti collaterali rispetto al farmaco A; il farmaco B è più facile da trasportare perché non deve essere conservato in frigorifero, mentre il farmaco A deve esserlo. Verifichiamo l'ipotesi di una non minore efficacia. Questo è necessario per dimostrare che la versione B è altrettanto valida quanto la versione A, almeno entro un certo limite predefinito di “non minore efficacia”, Δ. Più avanti parleremo più nel dettaglio di come stabilire questo limite. Ma per ora supponiamo che questa sia la differenza minima che è praticamente significativa (nel contesto delle sperimentazioni cliniche è comunemente chiamata significatività clinica).
Le ipotesi di non minore efficacia capovolgono tutto:
Ora, invece di supporre che non ci sia differenza, presumiamo che la versione B sia peggiore della versione A, e ci atteniamo a questa supposta fino a quando non dimostriamo il contrario. Questo è esattamente il momento in cui ha senso utilizzare il test dell'ipotesi unilaterale! Nella pratica, questo può essere fatto costruendo un intervallo di confidenza e determinando se l'intervallo è davvero maggiore di Δ (Figura 2).
Scelta di Δ
Come scegliere correttamente Δ? Il processo di scelta di Δ implica una giustificazione statistica e una valutazione soggettiva. Nel mondo della ricerca clinica esistono raccomandazioni normative che indicano che Δ deve rappresentare la minima differenza clinicamente significativa — una che avrà importanza nella pratica. Ecco una citazione dalle linee guida europee con cui puoi confrontarti: «Se la differenza è stata scelta correttamente, l'intervallo di confidenza, che ricade completamente tra -∆ e 0..., è ancora valido per dimostrare la non minore efficacia. Se questo risultato non sembra accettabile, significa che ∆ non è stato scelto correttamente».
Il delta non dovrebbe superare l'entità dell'effetto della versione A rispetto al vero controllo (placebo / assenza di trattamento), poiché ciò ci porta a concludere che la versione B è peggiore rispetto al vero controllo, dimostrando al contempo una «efficacia pari o superiore». Supponiamo che quando è stata introdotta la versione A, al suo posto ci fosse la versione 0 o che la funzione non esistesse affatto (vedi figura 3).
Dalla verifica dell'ipotesi di superiorità è stata identificata l'entità dell'effetto E (cioè presumibilmente μ^A−μ^0=E). Ora A è il nostro nuovo standard e vogliamo assicurarci che B non sia inferiore ad A. Un altro modo per scrivere μB−μA≤−Δ (ipotesi nulla) è μB≤μA−Δ. Se assumiamo che questo sia uguale o superiore a E, allora μB ≤ μA−E ≤ placebo. Ora vediamo che la nostra stima per μB supera completamente μA−E, il che smentisce completamente l'ipotesi nulla e ci consente di concludere che B non è inferiore ad A, ma allo stesso tempo μB potrebbe essere ≤ μ placebo, il che non è ciò di cui abbiamo bisogno. (figura 3).
Figura 3. Dimostrazione dei rischi legati alla scelta della soglia di efficacia minima. Se il limite è troppo alto, si può giungere alla conclusione che B non è inferiore ad A, ma allo stesso tempo è indistinguibile dal placebo. Non cambieremo un farmaco che è chiaramente più efficace del placebo (A) con uno che ha la stessa efficacia del placebo.
Scelta di α
Passiamo alla scelta di α. Si può utilizzare il valore standard α = 0,05, ma questo non è del tutto corretto. Come quando fai un acquisto online e utilizzi più codici sconto anche se non dovrebbero sommarsi — è solo che lo sviluppatore ha commesso un errore e a te è andato bene. Per le regole, il valore di α dovrebbe essere pari alla metà del valore di α utilizzato nella verifica dell'ipotesi di superiorità, cioè 0,05 / 2 = 0,025.
Dimensione del campione
Come stimare la dimensione del campione? Se si ritiene che la vera differenza media tra A e B sia 0, allora il calcolo della dimensione del campione sarà lo stesso di quello utilizzato per la verifica dell'ipotesi di superiorità, eccezion fatta per il fatto che si sostituisce l'entità dell'effetto con la soglia di efficacia minima, a condizione che si utilizzi α efficacia minima = 1/2α superiorità (αnon-inferiority=1/2αsuperiority). Se hai motivi per credere che l'opzione B possa essere leggermente peggiore rispetto all'opzione A, ma desideri dimostrare che non è peggiore di Δ, allora sei fortunato! In effetti, ciò riduce la dimensione del tuo campione, poiché è più facile dimostrare che B è peggiore di A, se ritieni realmente che sia un po' peggiore e non equivalente.
Esempio con la soluzione
Supponiamo che tu voglia passare alla versione B a condizione che sia peggiore della versione A di non più di 0,1 punti su una scala di soddisfazione clienti a 5 punti... Affrontiamo questa questione utilizzando l'ipotesi di superiorità.
Per testare l'ipotesi di superiorità, calcoleremmo la dimensione del campione nel seguente modo:
Cioè, se hai 2103 osservazioni nel tuo gruppo, puoi essere sicuro al 90% di rilevare un effetto di grandezza 0,10 o maggiore. Ma se 0,10 è troppo grande per te, potrebbe non valere la pena testare l'ipotesi di superiorità. Potresti decidere di condurre uno studio per una dimensione d'effetto più piccola, ad esempio 0,05. In questo caso, avresti bisogno di 8407 osservazioni, quindi il campione aumenterebbe quasi di 4 volte. Ma cosa succede se ci atteniamo alla nostra dimensione del campione iniziale ma aumentiamo la potenza a 0,99, in modo che non abbiamo dubbi quando otteniamo un risultato positivo? In tal caso, n per un gruppo sarà 3676, che è già migliore, ma aumenta la dimensione del campione di oltre il 50%. E di conseguenza, non saremo comunque in grado di rifiutare l'ipotesi nulla, e non otterremo risposta alla nostra domanda.
E se invece testassimo l'ipotesi di non minore efficacia?
La dimensione del campione sarebbe calcolata secondo la stessa formula, tranne che per il denominatore.
Le differenze dalla formula utilizzata per testare l'ipotesi di superiorità sono le seguenti:
— Z1−α/2 è sostituito da Z1−α, ma se segui tutte le regole, sostituisci α = 0,05 con α = 0,025, cioè è lo stesso numero (1,96)
— nel denominatore compare (μB−μA)
— θ (grandezza dell'effetto) è sostituita da Δ (limite di non minore efficacia)
Se supponiamo che µB = µA, allora (µB − µA) = 0 e il calcolo della dimensione del campione per il limite di efficacia non inferiore è proprio ciò che otterremmo calcolando il superamento per una dimensione dell'effetto di 0,1, ottimo! Possiamo condurre una ricerca dello stesso tipo con diverse ipotesi e un approccio diverso alle conclusioni, e otterrà una risposta alla domanda a cui vogliamo davvero rispondere.
Ora supponiamo che in realtà non crediamo che µB = µA e
pensiamo che µB sia leggermente peggiore, forse di 0,01 unità. Questo aumenta il nostro denominatore, riducendo la dimensione del campione per il gruppo a 1737.
Cosa succede se la versione B è in realtà migliore della versione A? Rifiutiamo l'ipotesi nulla che B sia peggiore di A di più di Δ e accettiamo l'ipotesi alternativa secondo cui B, se è peggiore, non è peggiore di Δ e potrebbe essere migliore. Prova a riportare questa conclusione in una presentazione cross-funzionale e guarda cosa ne viene fuori (serio, prova). In situazioni in cui è necessario orientarsi sulla prospettiva, nessuno vuole accettare "peggiore non più di Δ e, forse, migliore".
In questo caso, possiamo condurre uno studio che viene sintetizzato brevemente con il termine "verifica dell'ipotesi che una delle opzioni superi l'altra o le sia inferiore". Utilizza due insiemi di ipotesi:
Il primo insieme (come nella verifica dell'ipotesi di non inferiorità):
Il secondo insieme (come nella verifica dell'ipotesi di superiorità):
Verifichiamo la seconda ipotesi solo se la prima viene rifiutata. Nella sperimentazione sequenziale, manteniamo il livello complessivo di errori di primo tipo (α). Nella pratica, ciò può essere realizzato creando un intervallo di confidenza del 95% per la differenza tra le medie e verificando se l'intero intervallo supera -Δ. Se l'intervallo non supera -Δ, non possiamo rifiutare l'ipotesi nulla e ci fermiamo. Se l'intero intervallo supera effettivamente -Δ, continuiamo e vediamo se l'intervallo contiene 0.
Esiste un altro tipo di studi che non abbiamo discusso: gli studi di equivalenza.
Studi di questo tipo possono essere sostituiti da studi per verificare l'ipotesi di equivalenza di efficacia e viceversa, ma presentano una differenza importante. Un trial per verificare l'ipotesi di equivalenza di efficacia è destinato a dimostrare che l'opzione B è almeno buona quanto A. Uno studio di equivalenza è volto a dimostrare che l'opzione B è almeno buona quanto A, e che l'opzione A è altrettanto buona quanto B, ciò che è più complesso. In sostanza, stiamo cercando di determinare se tutto l'intervallo di confidenza per la differenza delle medie si colloca tra −Δ e Δ. Tali studi richiedono una dimensione del campione maggiore e vengono condotti meno frequentemente. Pertanto, la prossima volta che condurrete uno studio in cui il vostro obiettivo principale è assicurare che la nuova versione non sia peggiore, non acconsentite a "impossibilità di rifiutare l'ipotesi nulla". Se desiderate testare un'ipotesi realmente significativa, considerare diverse opzioni.
Fonte: habr.com
