<\/a><\/noindex>
La verifica dell'ipotesi di superiorit\u00e0 \u00e8 adatta a risolvere diverse problematiche. Rilasciamo la versione B del modello raccomandato solo se \u00e8 chiaramente migliore rispetto alla versione A gi\u00e0 in uso. Tuttavia, in alcuni casi questo approccio funziona meno bene. Esaminiamo alcuni esempi.<\/p>\n
1) Utilizziamo un servizio di terze parti<\/b>, che aiuta a identificare carte bancarie false. Abbiamo trovato un altro servizio che costa significativamente meno. Se il servizio pi\u00f9 economico funziona altrettanto bene quanto quello attuale, lo sceglieremo. Non \u00e8 necessario che sia migliore del servizio in uso. <\/p>\n
2) Vogliamo abbandonare la fonte di dati<\/b> A e sostituirla con la fonte di dati B. Potremmo procrastinare l'abbandono di A se B produce risultati molto scadenti, ma continuare a utilizzare A non \u00e8 un'opzione. <\/p>\n
3) Vorremmo passare dall'approccio di modellazione<\/b>A all'approccio B non perch\u00e9 ci aspettiamo risultati migliori da B, ma perch\u00e9 ci offre una maggiore flessibilit\u00e0 operativa. Non abbiamo motivo di credere che B sar\u00e0 peggiore, ma non procederemo con il cambiamento se lo sar\u00e0.<\/p>\n
4) Abbiamo apportato alcune modifiche qualitative<\/b> al design del sito web (versione B) e riteniamo che questa versione superi la versione A. Non ci aspettiamo cambiamenti nelle conversioni o in alcun indicatore chiave di performance che normalmente utilizziamo per valutare il sito web. Ma pensiamo che ci siano vantaggi nei parametri che sono o non misurabili, o per i quali le nostre tecnologie non sono sufficienti per la misurazione.<\/p>\n
In tutti questi casi, la ricerca della superiorit\u00e0 non \u00e8 la soluzione pi\u00f9 adatta. Ma la maggior parte degli specialisti in tali situazioni la utilizza per default. Stiamo conducendo un esperimento accurato per determinare correttamente l'entit\u00e0 dell'effetto. Se fosse vero che le versioni A e B funzionano in modo molto simile, c'\u00e8 la possibilit\u00e0 che non riuscissimo a rifiutare l'ipotesi nulla. Concludiamo che A e B funzionano in modo complessivo uguale? No! L'incapacit\u00e0 di rifiutare l'ipotesi nulla e l'accettazione dell'ipotesi nulla non sono la stessa cosa.<\/p>\n
I calcoli della dimensione del campione (che tu, ovviamente, hai effettuato) vengono generalmente condotti con limiti pi\u00f9 rigorosi per l'errore di primo tipo (la probabilit\u00e0 di un rifiuto erroneo dell'ipotesi nulla, spesso chiamata alfa) rispetto all'errore di secondo tipo (la probabilit\u00e0 di non rifiutare l'ipotesi nulla, dato che l'ipotesi nulla \u00e8 falsa, spesso chiamata beta). Un valore tipico per alfa \u00e8 0,05, mentre un valore tipico per beta \u00e8 0,20, il che corrisponde a una potenza statistica di 0,80. Ci\u00f2 significa che possiamo non rilevare l'effetto reale della dimensione che abbiamo specificato nei nostri calcoli di potenza con una probabilit\u00e0 del 20%, e ci\u00f2 rappresenta una grave lacuna informativa. Come esempio, consideriamo queste ipotesi:<\/p>\n
H0: il mio zaino NON si trova nella mia stanza (3)
Se ho perquisito la mia stanza e trovato il mio zaino, \u00e8 fantastico: posso rifiutare l'ipotesi nulla. Ma se ho esaminato la stanza e non sono riuscito a trovare il mio zaino (Figura 1), quale conclusione dovrei trarre? Sono sicuro che non ci sia? Ho cercato in modo sufficientemente accurato? E se ho controllato solo l'80% della stanza? Concludere che lo zaino non sia assolutamente presente nella stanza sarebbe una decisione avventata. Non sorprende che non possiamo \"accettare l'ipotesi nulla\".L'area che abbiamo esaminato
Figura 1. Perquisire l'80% della stanza \u00e8 grosso modo come condurre uno studio con una potenza dell'80%. Se non hai trovato lo zaino esaminando l'80% della stanza, si pu\u00f2 concludere che non ci sia?<\/i> <\/p>\n
Cosa deve quindi fare uno specialista dei dati in questa situazione? Puoi aumentare notevolmente la potenza dello studio, ma avrai bisogno di un campione di dimensioni molto maggiori, e il risultato sar\u00e0 comunque insoddisfacente.<\/p>\n
Fortunatamente, problemi di questo tipo sono stati studiati a lungo nel mondo della ricerca clinica. Il farmaco B \u00e8 pi\u00f9 economico del farmaco A; si prevede che il farmaco B causi meno effetti collaterali rispetto al farmaco A; il farmaco B \u00e8 pi\u00f9 facile da trasportare perch\u00e9 non necessita di essere conservato in frigorifero, mentre il farmaco A s\u00ec. Verifichiamo l'ipotesi di non minore efficacia. Questo \u00e8 necessario per dimostrare che la versione B \u00e8 altrettanto valida quanto la versione A \u2014 almeno entro un certo limite prestabilito di \u201cnon minore efficacia\u201d, \u0394. Tra poco parleremo pi\u00f9 dettagliatamente di come stabilire questo limite. Ma ora supponiamo che si tratti della differenza minima che \u00e8 praticamente significativa (nel contesto degli studi clinici, di solito \u00e8 chiamata significativit\u00e0 clinica).<\/p>\n
Le ipotesi di non minore efficacia capovolgono tutto.<\/p>\n
Scelta di \u0394<\/h3>\n \nCome scegliere correttamente \u0394? Il processo di selezione di \u0394 comprende giustificazione statistica e valutazione soggettiva. Nel mondo della ricerca clinica, ci sono linee guida normative che indicano che delta deve rappresentare la minima differenza clinicamente significativa \u2014 quella che avr\u00e0 rilevanza pratica. Ecco una citazione dalle linee guida europee da utilizzare come riferimento: \u00abSe la differenza \u00e8 stata scelta correttamente, l'intervallo di confidenza che si colloca completamente tra -\u2206 e 0... \u00e8 comunque sufficiente per dimostrare non inferiore efficacia. Se questo risultato non sembra accettabile, significa che \u2206 non \u00e8 stato scelto correttamente\u00bb.<\/p>\n
La variazione non deve certamente superare l'entit\u00e0 dell'effetto della versione A rispetto al controllo reale (placebo \/ assenza di trattamento), poich\u00e9 ci\u00f2 implica che la versione B sia peggiore del controllo reale e allo stesso tempo dimostri \"non una minore efficacia\". Supponiamo che quando \u00e8 stata introdotta la versione A, al suo posto ci fosse la versione 0 o che la funzione non esistesse affatto (vedi figura 3). <\/p>\n
Dalla verifica dell'ipotesi di superiorit\u00e0 \u00e8 emerso l'effetto E (cio\u00e8 presumibilmente \u03bc^A\u2212\u03bc^0=E). Ora A \u00e8 il nostro nuovo standard e vogliamo assicurarci che B non sia inferiore a A. Un altro modo di scrivere \u03bcB\u2212\u03bcA\u2264\u2212\u0394 (l'ipotesi nulla) \u00e8 \u03bcB\u2264\u03bcA\u2212\u0394. Se ammettiamo che l'uguaglianza sia pari o superiore a E, allora \u03bcB \u2264 \u03bcA\u2212E \u2264 placebo. Ora vediamo che la nostra stima per \u03bcB supera completamente \u03bcA\u2212E, il che smentisce completamente l'ipotesi nulla e consente di concludere che B non \u00e8 inferiore a A, ma allo stesso tempo \u03bcB pu\u00f2 essere \u2264 \u03bc placebo, il che non \u00e8 quello che ci serve. (figura 3).<\/p>\n
Figura 3. Dimostrazione dei rischi associati alla scelta di un limite di efficacia non inferiore. Se il limite \u00e8 troppo grande, si pu\u00f2 concludere che B non \u00e8 inferiore a A, ma allo stesso tempo \u00e8 indistinguibile da un placebo. Non cambieremo un farmaco che \u00e8 chiaramente pi\u00f9 efficace di un placebo (A) con un farmaco che ha la stessa efficacia di un placebo. <\/i><\/p>\nScelta di \u03b1 <\/h3>\n
\nPassiamo alla scelta di \u03b1. Si pu\u00f2 utilizzare il valore standard \u03b1 = 0,05, ma non sarebbe del tutto corretto. \u00c8 come quando acquisti qualcosa online e usi pi\u00f9 codici sconto contemporaneamente, anche se non dovrebbero sommarsi \u2014 \u00e8 solo che lo sviluppatore ha commesso un errore e tu sei riuscito a farla franca. Secondo le regole, il valore di \u03b1 deve essere la met\u00e0 del valore di \u03b1 utilizzato per testare l'ipotesi di superiorit\u00e0, quindi 0,05 \/ 2 = 0,025.<\/p>\n
Dimensione del campione <\/h3>\n \nCome calcolare la dimensione del campione? Se pensi che la vera differenza tra le medie A e B sia 0, allora il calcolo della dimensione del campione sar\u00e0 lo stesso di quello per testare l'ipotesi di superiorit\u00e0, tranne per il fatto che sostituisci la dimensione dell'effetto con il limite di efficacia non inferiore, a condizione che tu utilizzi l'efficacia non inferiore = 1\/2l'eccellenza <\/b>(l'inferiorit\u00e0=1\/2l'eccellenza). Se avete motivo di ritenere che l'opzione B possa essere leggermente peggiore dell'opzione A, ma desiderate dimostrare che \u00e8 peggiore non pi\u00f9 di \u0394, allora siete fortunati! Infatti, questo riduce la dimensione del vostro campione, poich\u00e9 \u00e8 pi\u00f9 facile dimostrare che B \u00e8 peggiore di A se ritenete effettivamente che sia leggermente peggiore e non equivalente.<\/p>\nEsempio di decisione <\/h3>\n
\nSupponiamo che vogliate passare alla versione B a condizione che sia peggiore della versione A non pi\u00f9 di 0,1 punti su una scala di soddisfazione dei clienti a 5 punti\u2026 Affrontiamo questo compito utilizzando l'ipotesi di superiorit\u00e0.<\/p>\n
Per verificare l'ipotesi di superiorit\u00e0 calcoleremmo la dimensione del campione nel seguente modo:<\/p>\n
Cosa succede se invece testiamo l'ipotesi di non minore efficacia? <\/p>\n
\u2014 Z1\u2212\u03b1\/2 viene sostituito da Z1\u2212\u03b1, ma se seguiamo le regole, sostituiamo \u03b1 = 0,05 con \u03b1 = 0,025, quindi si tratta dello stesso numero (1,96)<\/p>\n
\u2014 nel denominatore compare (\u03bcB\u2212\u03bcA)<\/p>\n
\u2014 \u03b8 (dimensione dell'effetto) viene sostituito da \u0394 (limite di minore efficacia)<\/p>\n
Se ipotizziamo che \u00b5B = \u00b5A, allora (\u00b5B \u2212 \u00b5A) = 0 e il calcolo della dimensione del campione per il limite di minore efficacia \u00e8 proprio ci\u00f2 che otterremmo calcolando il superamento per la dimensione dell'effetto 0,1, perfetto! Possiamo condurre uno studio della stessa ampiezza con ipotesi diverse e un approccio diverso alle conclusioni, e otterremo una risposta alla domanda a cui vogliamo veramente rispondere.<\/p>\n
Adesso ipotizziamo che in realt\u00e0 non crediamo che \u00b5B = \u00b5A e
Cosa succede se la versione B \u00e8 in realt\u00e0 migliore della versione A? Smentiamo l'ipotesi nulla secondo cui B \u00e8 peggiore di A di pi\u00f9 di \u0394 e accettiamo l'ipotesi alternativa che B, se peggiore, non sia peggiore di \u0394 e potrebbe essere migliore. Prova a includere questa conclusione in una presentazione trasversale e vedi come va a finire (sul serio, prova). In una situazione in cui \u00e8 necessario orientarsi verso una prospettiva, nessuno vuole acconsentire a \"non peggiore di \u0394 e, forse, migliore\".<\/p>\n
In questo caso, possiamo condurre uno studio che si chiama molto brevemente \"verifica dell'ipotesi che una delle opzioni superi l'altra o le sia inferiore\". Vengono utilizzati due set di ipotesi:<\/p>\n
Il primo set (lo stesso utilizzato nella verifica dell'ipotesi di pari efficacia): <\/p>\n
Esiste un altro tipo di ricerca che non abbiamo discusso: la ricerca di equivalenza. <\/p>\n
Gli studi di questo tipo possono essere sostituiti da ricerche per testare l'ipotesi dell'efficacia equivalente e viceversa, ma hanno una differenza fondamentale. Un trial per testare l'ipotesi dell'efficacia equivalente \u00e8 progettato per dimostrare che la variante B \u00e8 almeno buona quanto la variante A. D'altra parte, uno studio di equivalenza mira a dimostrare che la variante B \u00e8 almeno buona quanto A e che A \u00e8 altrettanto valida quanto B, il che \u00e8 pi\u00f9 complicato. In sostanza, stiamo cercando di determinare se l'intero intervallo di confidenza per la differenza delle medie si trova tra \u2212\u0394 e \u0394. Tali studi richiedono campioni pi\u00f9 grandi e vengono eseguiti meno frequentemente. Pertanto, la prossima volta che condurrete una ricerca in cui il vostro obiettivo principale \u00e8 assicurarvi che la nuova versione non sia peggiore, non accettate la \"scomodit\u00e0 di rifiutare l'ipotesi nulla\". Se volete testare un'ipotesi davvero importante, considerate diverse opzioni.habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b Stitch Fix \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434 \u043a\u043b\u0438\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 (non-inferiority trials) \u0432 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 A\/B \u0442\u0435\u0441\u0442\u0430\u0445. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0438\u043c\u0435\u044e\u0449\u0435\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043d\u0435\u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u0442\u0435\u0441\u0442\u0430\u043c\u0438. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0442\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u043a\u0430, \u043d\u043e \u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0440\u043e\u043d\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u0443\u044e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044e. \u0418\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26311,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-34958","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-novosti-interneta"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Quando](\"\/wp-content\/uploads\/2019\/06\/0ce4d602add079e55d1025a8d8b2122f.jpg\")