L'articolo del team di Stitch Fix propone di utilizzare l'approccio degli studi clinici di non inferiorità nei test A/B di marketing e prodotto. Questo approccio è realmente applicabile quando testiamo una nuova soluzione con vantaggi non misurabili nei test.
Un esempio semplice è la riduzione dei costi. Ad esempio, stiamo automatizzando il processo di assegnazione della prima lezione, ma non vogliamo ridurre drasticamente la conversione complessiva. Oppure stiamo testando modifiche mirate a un segmento di utenti, facendo attenzione affinché la conversione negli altri segmenti non cali troppo (quando testiamo più ipotesi non dimentichiamo le correzioni).
Scegliere il giusto limite di non inferiorità aggiunge difficoltà alla fase di progettazione del test. La questione di come scegliere Δ non è molto ben trattata nell'articolo. Sembra che questa scelta non sia del tutto trasparente, neppure negli studi clinici. Le pubblicazioni mediche sulla non inferiorità indicano che solo nella metà dei casi la scelta del limite è giustificata, e spesso queste motivazioni sono ambigue o poco dettagliate.
In ogni caso, questo approccio sembra interessante, poiché riducendo la dimensione necessaria del campione può aumentare la velocità di test, e quindi la velocità di decisione. — Darya Mukhina, analista di prodotto dell'app mobile Skyeng.
Il team di Stitch Fix ama testare diverse cose. In generale, la comunità tecnologica ama condurre esperimenti. Quale versione del sito attira più utenti – A o B? La versione A del modello di raccomandazione genera più ricavi rispetto alla versione B? Quasi sempre, per testare le ipotesi utilizziamo l'approccio più semplice del corso base di statistica:
Anche se usiamo raramente questo termine, questa forma di test è chiamata "verifica dell'ipotesi di superiorità". Con questo approccio, ipotizziamo che non ci sia differenza tra le due opzioni. Ci atteniamo a questa idea e ci rinunciamo solo se i dati ottenuti si rivelano abbastanza convincenti – cioè dimostrano che uno dei due opzioni (A o B) è migliore dell'altra.
La verifica dell'ipotesi di superiorità è adatta a risolvere diverse problematiche. Rilasciamo la versione B del modello raccomandato solo se è chiaramente migliore rispetto alla versione A già in uso. Tuttavia, in alcuni casi questo approccio funziona meno bene. Esaminiamo alcuni esempi.
1) Utilizziamo un servizio di terze parti, che aiuta a identificare carte bancarie false. Abbiamo trovato un altro servizio che costa significativamente meno. Se il servizio più economico funziona altrettanto bene quanto quello attuale, lo sceglieremo. Non è necessario che sia migliore del servizio in uso.
2) Vogliamo abbandonare la fonte di dati A e sostituirla con la fonte di dati B. Potremmo procrastinare l'abbandono di A se B produce risultati molto scadenti, ma continuare a utilizzare A non è un'opzione.
3) Vorremmo passare dall'approccio di modellazioneA all'approccio B non perché ci aspettiamo risultati migliori da B, ma perché ci offre una maggiore flessibilità operativa. Non abbiamo motivo di credere che B sarà peggiore, ma non procederemo con il cambiamento se lo sarà.
4) Abbiamo apportato alcune modifiche qualitative al design del sito web (versione B) e riteniamo che questa versione superi la versione A. Non ci aspettiamo cambiamenti nelle conversioni o in alcun indicatore chiave di performance che normalmente utilizziamo per valutare il sito web. Ma pensiamo che ci siano vantaggi nei parametri che sono o non misurabili, o per i quali le nostre tecnologie non sono sufficienti per la misurazione.
In tutti questi casi, la ricerca della superiorità non è la soluzione più adatta. Ma la maggior parte degli specialisti in tali situazioni la utilizza per default. Stiamo conducendo un esperimento accurato per determinare correttamente l'entità dell'effetto. Se fosse vero che le versioni A e B funzionano in modo molto simile, c'è la possibilità che non riuscissimo a rifiutare l'ipotesi nulla. Concludiamo che A e B funzionano in modo complessivo uguale? No! L'incapacità di rifiutare l'ipotesi nulla e l'accettazione dell'ipotesi nulla non sono la stessa cosa.
I calcoli della dimensione del campione (che tu, ovviamente, hai effettuato) vengono generalmente condotti con limiti più rigorosi per l'errore di primo tipo (la probabilità di un rifiuto erroneo dell'ipotesi nulla, spesso chiamata alfa) rispetto all'errore di secondo tipo (la probabilità di non rifiutare l'ipotesi nulla, dato che l'ipotesi nulla è falsa, spesso chiamata beta). Un valore tipico per alfa è 0,05, mentre un valore tipico per beta è 0,20, il che corrisponde a una potenza statistica di 0,80. Ciò significa che possiamo non rilevare l'effetto reale della dimensione che abbiamo specificato nei nostri calcoli di potenza con una probabilità del 20%, e ciò rappresenta una grave lacuna informativa. Come esempio, consideriamo queste ipotesi:
H0: il mio zaino NON si trova nella mia stanza (3)
H1: il mio zaino si trova nella mia stanza (4)
Se ho perquisito la mia stanza e trovato il mio zaino, è fantastico: posso rifiutare l'ipotesi nulla. Ma se ho esaminato la stanza e non sono riuscito a trovare il mio zaino (Figura 1), quale conclusione dovrei trarre? Sono sicuro che non ci sia? Ho cercato in modo sufficientemente accurato? E se ho controllato solo l'80% della stanza? Concludere che lo zaino non sia assolutamente presente nella stanza sarebbe una decisione avventata. Non sorprende che non possiamo "accettare l'ipotesi nulla".
L'area che abbiamo esaminato
Non abbiamo trovato lo zaino: dobbiamo accettare l'ipotesi nulla?
Figura 1. Perquisire l'80% della stanza è grosso modo come condurre uno studio con una potenza dell'80%. Se non hai trovato lo zaino esaminando l'80% della stanza, si può concludere che non ci sia?
Cosa deve quindi fare uno specialista dei dati in questa situazione? Puoi aumentare notevolmente la potenza dello studio, ma avrai bisogno di un campione di dimensioni molto maggiori, e il risultato sarà comunque insoddisfacente.
Fortunatamente, problemi di questo tipo sono stati studiati a lungo nel mondo della ricerca clinica. Il farmaco B è più economico del farmaco A; si prevede che il farmaco B causi meno effetti collaterali rispetto al farmaco A; il farmaco B è più facile da trasportare perché non necessita di essere conservato in frigorifero, mentre il farmaco A sì. Verifichiamo l'ipotesi di non minore efficacia. Questo è necessario per dimostrare che la versione B è altrettanto valida quanto la versione A — almeno entro un certo limite prestabilito di “non minore efficacia”, Δ. Tra poco parleremo più dettagliatamente di come stabilire questo limite. Ma ora supponiamo che si tratti della differenza minima che è praticamente significativa (nel contesto degli studi clinici, di solito è chiamata significatività clinica).
Le ipotesi di non minore efficacia capovolgono tutto.
Ora, invece di supporre che non ci siano differenze, partiamo dal presupposto che la versione B sia peggiore rispetto alla versione A e manterremo questa assunzione fino a quando non dimostriamo il contrario. È proprio in questo momento che ha senso utilizzare il test dell'ipotesi unidirezionale! Nella pratica, questo può essere fatto costruendo un intervallo di confidenza e determinando se l'intervallo è realmente maggiore di Δ (Figura 2).
Scelta di Δ
Come scegliere correttamente Δ? Il processo di selezione di Δ comprende giustificazione statistica e valutazione soggettiva. Nel mondo della ricerca clinica, ci sono linee guida normative che indicano che delta deve rappresentare la minima differenza clinicamente significativa — quella che avrà rilevanza pratica. Ecco una citazione dalle linee guida europee da utilizzare come riferimento: «Se la differenza è stata scelta correttamente, l'intervallo di confidenza che si colloca completamente tra -∆ e 0... è comunque sufficiente per dimostrare non inferiore efficacia. Se questo risultato non sembra accettabile, significa che ∆ non è stato scelto correttamente».
La variazione non deve certamente superare l'entità dell'effetto della versione A rispetto al controllo reale (placebo / assenza di trattamento), poiché ciò implica che la versione B sia peggiore del controllo reale e allo stesso tempo dimostri "non una minore efficacia". Supponiamo che quando è stata introdotta la versione A, al suo posto ci fosse la versione 0 o che la funzione non esistesse affatto (vedi figura 3).
Dalla verifica dell'ipotesi di superiorità è emerso l'effetto E (cioè presumibilmente μ^A−μ^0=E). Ora A è il nostro nuovo standard e vogliamo assicurarci che B non sia inferiore a A. Un altro modo di scrivere μB−μA≤−Δ (l'ipotesi nulla) è μB≤μA−Δ. Se ammettiamo che l'uguaglianza sia pari o superiore a E, allora μB ≤ μA−E ≤ placebo. Ora vediamo che la nostra stima per μB supera completamente μA−E, il che smentisce completamente l'ipotesi nulla e consente di concludere che B non è inferiore a A, ma allo stesso tempo μB può essere ≤ μ placebo, il che non è quello che ci serve. (figura 3).
Figura 3. Dimostrazione dei rischi associati alla scelta di un limite di efficacia non inferiore. Se il limite è troppo grande, si può concludere che B non è inferiore a A, ma allo stesso tempo è indistinguibile da un placebo. Non cambieremo un farmaco che è chiaramente più efficace di un placebo (A) con un farmaco che ha la stessa efficacia di un placebo.
Scelta di α
Passiamo alla scelta di α. Si può utilizzare il valore standard α = 0,05, ma non sarebbe del tutto corretto. È come quando acquisti qualcosa online e usi più codici sconto contemporaneamente, anche se non dovrebbero sommarsi — è solo che lo sviluppatore ha commesso un errore e tu sei riuscito a farla franca. Secondo le regole, il valore di α deve essere la metà del valore di α utilizzato per testare l'ipotesi di superiorità, quindi 0,05 / 2 = 0,025.
Dimensione del campione
Come calcolare la dimensione del campione? Se pensi che la vera differenza tra le medie A e B sia 0, allora il calcolo della dimensione del campione sarà lo stesso di quello per testare l'ipotesi di superiorità, tranne per il fatto che sostituisci la dimensione dell'effetto con il limite di efficacia non inferiore, a condizione che tu utilizzi l'efficacia non inferiore = 1/2l'eccellenza (l'inferiorità=1/2l'eccellenza). Se avete motivo di ritenere che l'opzione B possa essere leggermente peggiore dell'opzione A, ma desiderate dimostrare che è peggiore non più di Δ, allora siete fortunati! Infatti, questo riduce la dimensione del vostro campione, poiché è più facile dimostrare che B è peggiore di A se ritenete effettivamente che sia leggermente peggiore e non equivalente.
Esempio di decisione
Supponiamo che vogliate passare alla versione B a condizione che sia peggiore della versione A non più di 0,1 punti su una scala di soddisfazione dei clienti a 5 punti… Affrontiamo questo compito utilizzando l'ipotesi di superiorità.
Per verificare l'ipotesi di superiorità calcoleremmo la dimensione del campione nel seguente modo:
In altre parole, se nel tuo gruppo hai 2103 osservazioni, puoi essere sicuro al 90% di rilevare un effetto di grandezza 0,10 o superiore. Ma se per te il valore 0,10 è troppo grande, potrebbe non valere la pena testare l'ipotesi di superiorità. Potresti decidere di condurre uno studio per una grandezza di effetto più piccola, come 0,05, per maggiore affidabilità. In tal caso, avresti bisogno di 8407 osservazioni, il che significa che il campione aumenterebbe quasi di 4 volte. Ma cosa succede se mantenessimo la nostra dimensione del campione originale ma aumentassimo la potenza a 0,99, così da essere sicuri quando otteniamo un risultato positivo? In questo caso, n per un gruppo sarebbe 3676, che è già migliore, ma aumenta la dimensione del campione di oltre il 50%. E alla fine, non saremmo comunque in grado di rifiutare l'ipotesi nulla, né di ottenere una risposta alla nostra domanda.
Cosa succede se invece testiamo l'ipotesi di non minore efficacia?
La dimensione del campione sarà calcolata con la stessa formula, ad eccezione del denominatore.
Le differenze rispetto alla formula utilizzata per testare l'ipotesi di superiorità sono le seguenti:
— Z1−α/2 viene sostituito da Z1−α, ma se seguiamo le regole, sostituiamo α = 0,05 con α = 0,025, quindi si tratta dello stesso numero (1,96)
— nel denominatore compare (μB−μA)
— θ (dimensione dell'effetto) viene sostituito da Δ (limite di minore efficacia)
Se ipotizziamo che µB = µA, allora (µB − µA) = 0 e il calcolo della dimensione del campione per il limite di minore efficacia è proprio ciò che otterremmo calcolando il superamento per la dimensione dell'effetto 0,1, perfetto! Possiamo condurre uno studio della stessa ampiezza con ipotesi diverse e un approccio diverso alle conclusioni, e otterremo una risposta alla domanda a cui vogliamo veramente rispondere.
Adesso ipotizziamo che in realtà non crediamo che µB = µA e
pensiamo che µB sia leggermente peggiore, magari di 0,01 unità. Questo aumenta il nostro denominatore, riducendo la dimensione del campione del gruppo a 1737.
Cosa succede se la versione B è in realtà migliore della versione A? Smentiamo l'ipotesi nulla secondo cui B è peggiore di A di più di Δ e accettiamo l'ipotesi alternativa che B, se peggiore, non sia peggiore di Δ e potrebbe essere migliore. Prova a includere questa conclusione in una presentazione trasversale e vedi come va a finire (sul serio, prova). In una situazione in cui è necessario orientarsi verso una prospettiva, nessuno vuole acconsentire a "non peggiore di Δ e, forse, migliore".
In questo caso, possiamo condurre uno studio che si chiama molto brevemente "verifica dell'ipotesi che una delle opzioni superi l'altra o le sia inferiore". Vengono utilizzati due set di ipotesi:
Il primo set (lo stesso utilizzato nella verifica dell'ipotesi di pari efficacia):
Il secondo set (lo stesso utilizzato nella verifica dell'ipotesi di superiorità):
Verifichiamo la seconda ipotesi solo se la prima è rifiutata. Durante il test sequenziale manteniamo il livello generale degli errori di primo tipo (α). Nella pratica, ciò può essere raggiunto creando un intervallo di confidenza del 95% per la differenza tra le medie e controllando se l'intero intervallo supera -Δ. Se l'intervallo non supera -Δ, non possiamo rifiutare il valore nullo e ci fermiamo. Se l'intero intervallo supera effettivamente -Δ, continueremo e osserveremo se l'intervallo contiene 0.
Esiste un altro tipo di ricerca che non abbiamo discusso: la ricerca di equivalenza.
Gli studi di questo tipo possono essere sostituiti da ricerche per testare l'ipotesi dell'efficacia equivalente e viceversa, ma hanno una differenza fondamentale. Un trial per testare l'ipotesi dell'efficacia equivalente è progettato per dimostrare che la variante B è almeno buona quanto la variante A. D'altra parte, uno studio di equivalenza mira a dimostrare che la variante B è almeno buona quanto A e che A è altrettanto valida quanto B, il che è più complicato. In sostanza, stiamo cercando di determinare se l'intero intervallo di confidenza per la differenza delle medie si trova tra −Δ e Δ. Tali studi richiedono campioni più grandi e vengono eseguiti meno frequentemente. Pertanto, la prossima volta che condurrete una ricerca in cui il vostro obiettivo principale è assicurarvi che la nuova versione non sia peggiore, non accettate la "scomodità di rifiutare l'ipotesi nulla". Se volete testare un'ipotesi davvero importante, considerate diverse opzioni.
Fonte: habr.com
