<\/a><\/noindex>
La verifica dell'ipotesti sulla superiorit\u00e0 \u00e8 adatta per risolvere molti problemi. Rilasciamo la versione B del modello di raccomandazione solo se \u00e8 chiaramente migliore della versione A gi\u00e0 utilizzata. Ma in alcuni casi, questo approccio non funziona altrettanto bene. Consideriamo alcuni esempi.<\/p>\n
1) Utilizziamo un servizio di terze parti<\/b>, che aiuta a identificare le carte di credito false. Abbiamo trovato un altro servizio che costa significativamente meno. Se il servizio pi\u00f9 economico funziona altrettanto bene quanto quello che stiamo attualmente utilizzando, lo sceglieremo. Non deve necessariamente essere migliore del servizio in uso. <\/p>\n
2) Vogliamo abbandonare la fonte di dati<\/b> A e sostituirla con la fonte di dati B. Potremmo ritardare l'abbandono di A se B produce risultati molto scadenti, ma continuare a utilizzare A non \u00e8 fattibile. <\/p>\n
3) Vorremmo passare dall'approccio di modellazione<\/b>A all'approccio B, non perch\u00e9 ci aspettiamo risultati migliori da B, ma perch\u00e9 ci offre maggiore flessibilit\u00e0 operativa. Non abbiamo motivo di credere che B sar\u00e0 peggiore, ma non procederemo con la transizione se lo sar\u00e0.<\/p>\n
4) Abbiamo apportato alcune modifiche qualitative<\/b> al design del sito web (versione B) e riteniamo che questa versione superi la versione A. Non ci aspettiamo cambiamenti nel tasso di conversione o in alcun indicatore chiave di prestazione che utilizziamo normalmente per valutare il sito web. Ma riteniamo che ci siano vantaggi in parametri che sono o non misurabili, o per i quali non abbiamo tecnologie sufficienti per la misurazione.<\/p>\n
In tutti questi casi, la ricerca della superiorit\u00e0 non \u00e8 la soluzione pi\u00f9 adatta. Ma la maggior parte degli esperti utilizza questo approccio per default in tali situazioni. Conduciamo un esperimento accurato per determinare correttamente l'ampiezza dell'effetto. Se fosse corretto che le versioni A e B funzionano in modo molto simile, c'\u00e8 la possibilit\u00e0 che non riusciremo a rigettare l'ipotesi nulla. Possiamo concludere che A e B funzionano fondamentalmente allo stesso modo? No! L'impossibilit\u00e0 di rigettare l'ipotesi nulla e l'accettazione dell'ipotesi nulla non sono la stessa cosa.<\/p>\n
I calcoli del volume del campione (che ovviamente avete effettuato), sono generalmente effettuati con limiti pi\u00f9 rigorosi per l'errore di tipo I (la probabilit\u00e0 di rifiutare erroneamente l'ipotesi nulla, spesso chiamata alfa) rispetto all'errore di tipo II (la probabilit\u00e0 di non rifiutare l'ipotesi nulla quando l'ipotesi nulla \u00e8 falsa, spesso chiamata beta). Un valore tipico per alfa \u00e8 0,05, mentre un valore tipico per beta \u00e8 0,20, il che corrisponde a una potenza statistica di 0,80. Ci\u00f2 significa che possiamo non rilevare l'effetto reale della grandezza che abbiamo indicato nei nostri calcoli di potenza con una probabilit\u00e0 del 20%, e questo \u00e8 un notevole vuoto informativo. Prendiamo come esempio le seguenti ipotesi:<\/p>\n
H0: il mio zaino NON \u00e8 nella mia stanza (3)
Se ho perquisito la mia stanza e ho trovato il mio zaino \u2014 perfetto, posso rifiutare l'ipotesi nulla. Ma se ho ispezionato la stanza e non sono riuscito a trovare il mio zaino (figura 1), quale conclusione dovrei trarre? Sono sicuro che non ci sia? Ho cercato abbastanza a fondo? E se avessi controllato solo l'80% della stanza? Trarre la conclusione che non ci sia affatto zaino nella stanza sarebbe una decisione avventata. Non sorprende quindi che non possiamo \"accettare l'ipotesi nulla\".L'area che abbiamo perquisito
Figura 1. Ispezionare l'80% della stanza \u00e8 grossomodo come condurre uno studio con potenza dell'80%. Se non hai trovato lo zaino ispezionando l'80% della stanza, puoi concludere che non ci sia?<\/i> <\/p>\n
Allora, cosa dovrebbe fare un data specialist in questa situazione? Puoi aumentare significativamente la potenza dello studio, ma avrai bisogno di un campione di dimensioni molto maggiori e il risultato sar\u00e0 comunque insoddisfacente.<\/p>\n
Fortunatamente, tali problemi sono stati a lungo studiati nel campo della ricerca clinica. Il farmaco B \u00e8 pi\u00f9 economico del farmaco A; ci si aspetta che il farmaco B causi meno effetti collaterali rispetto al farmaco A; il farmaco B \u00e8 pi\u00f9 facile da trasportare perch\u00e9 non deve essere conservato in frigorifero, mentre il farmaco A deve esserlo. Verifichiamo l'ipotesi di una non minore efficacia. Questo \u00e8 necessario per dimostrare che la versione B \u00e8 altrettanto valida quanto la versione A, almeno entro un certo limite predefinito di \u201cnon minore efficacia\u201d, \u0394. Pi\u00f9 avanti parleremo pi\u00f9 nel dettaglio di come stabilire questo limite. Ma per ora supponiamo che questa sia la differenza minima che \u00e8 praticamente significativa (nel contesto delle sperimentazioni cliniche \u00e8 comunemente chiamata significativit\u00e0 clinica).<\/p>\n
Le ipotesi di non minore efficacia capovolgono tutto:<\/p>\n
Scelta di \u0394<\/h3>\n \nCome scegliere correttamente \u0394? Il processo di scelta di \u0394 implica una giustificazione statistica e una valutazione soggettiva. Nel mondo della ricerca clinica esistono raccomandazioni normative che indicano che \u0394 deve rappresentare la minima differenza clinicamente significativa \u2014 una che avr\u00e0 importanza nella pratica. Ecco una citazione dalle linee guida europee con cui puoi confrontarti: \u00abSe la differenza \u00e8 stata scelta correttamente, l'intervallo di confidenza, che ricade completamente tra -\u2206 e 0..., \u00e8 ancora valido per dimostrare la non minore efficacia. Se questo risultato non sembra accettabile, significa che \u2206 non \u00e8 stato scelto correttamente\u00bb.<\/p>\n
Il delta non dovrebbe superare l'entit\u00e0 dell'effetto della versione A rispetto al vero controllo (placebo \/ assenza di trattamento), poich\u00e9 ci\u00f2 ci porta a concludere che la versione B \u00e8 peggiore rispetto al vero controllo, dimostrando al contempo una \u00abefficacia pari o superiore\u00bb. Supponiamo che quando \u00e8 stata introdotta la versione A, al suo posto ci fosse la versione 0 o che la funzione non esistesse affatto (vedi figura 3). <\/p>\n
Dalla verifica dell'ipotesi di superiorit\u00e0 \u00e8 stata identificata l'entit\u00e0 dell'effetto E (cio\u00e8 presumibilmente \u03bc^A\u2212\u03bc^0=E). Ora A \u00e8 il nostro nuovo standard e vogliamo assicurarci che B non sia inferiore ad A. Un altro modo per scrivere \u03bcB\u2212\u03bcA\u2264\u2212\u0394 (ipotesi nulla) \u00e8 \u03bcB\u2264\u03bcA\u2212\u0394. Se assumiamo che questo sia uguale o superiore a E, allora \u03bcB \u2264 \u03bcA\u2212E \u2264 placebo. Ora vediamo che la nostra stima per \u03bcB supera completamente \u03bcA\u2212E, il che smentisce completamente l'ipotesi nulla e ci consente di concludere che B non \u00e8 inferiore ad A, ma allo stesso tempo \u03bcB potrebbe essere \u2264 \u03bc placebo, il che non \u00e8 ci\u00f2 di cui abbiamo bisogno. (figura 3).<\/p>\n
Figura 3. Dimostrazione dei rischi legati alla scelta della soglia di efficacia minima. Se il limite \u00e8 troppo alto, si pu\u00f2 giungere alla conclusione che B non \u00e8 inferiore ad A, ma allo stesso tempo \u00e8 indistinguibile dal placebo. Non cambieremo un farmaco che \u00e8 chiaramente pi\u00f9 efficace del placebo (A) con uno che ha la stessa efficacia del placebo. <\/i><\/p>\nScelta di \u03b1 <\/h3>\n
\nPassiamo alla scelta di \u03b1. Si pu\u00f2 utilizzare il valore standard \u03b1 = 0,05, ma questo non \u00e8 del tutto corretto. Come quando fai un acquisto online e utilizzi pi\u00f9 codici sconto anche se non dovrebbero sommarsi \u2014 \u00e8 solo che lo sviluppatore ha commesso un errore e a te \u00e8 andato bene. Per le regole, il valore di \u03b1 dovrebbe essere pari alla met\u00e0 del valore di \u03b1 utilizzato nella verifica dell'ipotesi di superiorit\u00e0, cio\u00e8 0,05 \/ 2 = 0,025.<\/p>\n
Dimensione del campione <\/h3>\n \nCome stimare la dimensione del campione? Se si ritiene che la vera differenza media tra A e B sia 0, allora il calcolo della dimensione del campione sar\u00e0 lo stesso di quello utilizzato per la verifica dell'ipotesi di superiorit\u00e0, eccezion fatta per il fatto che si sostituisce l'entit\u00e0 dell'effetto con la soglia di efficacia minima, a condizione che si utilizzi \u03b1 efficacia minima = 1\/2\u03b1 superiorit\u00e0 <\/b>(\u03b1non-inferiority=1\/2\u03b1superiority). Se hai motivi per credere che l'opzione B possa essere leggermente peggiore rispetto all'opzione A, ma desideri dimostrare che non \u00e8 peggiore di \u0394, allora sei fortunato! In effetti, ci\u00f2 riduce la dimensione del tuo campione, poich\u00e9 \u00e8 pi\u00f9 facile dimostrare che B \u00e8 peggiore di A, se ritieni realmente che sia un po' peggiore e non equivalente.<\/p>\nEsempio con la soluzione <\/h3>\n
\nSupponiamo che tu voglia passare alla versione B a condizione che sia peggiore della versione A di non pi\u00f9 di 0,1 punti su una scala di soddisfazione clienti a 5 punti... Affrontiamo questa questione utilizzando l'ipotesi di superiorit\u00e0.<\/p>\n
Per testare l'ipotesi di superiorit\u00e0, calcoleremmo la dimensione del campione nel seguente modo:<\/p>\n
E se invece testassimo l'ipotesi di non minore efficacia? <\/p>\n
\u2014 Z1\u2212\u03b1\/2 \u00e8 sostituito da Z1\u2212\u03b1, ma se segui tutte le regole, sostituisci \u03b1 = 0,05 con \u03b1 = 0,025, cio\u00e8 \u00e8 lo stesso numero (1,96)<\/p>\n
\u2014 nel denominatore compare (\u03bcB\u2212\u03bcA)<\/p>\n
\u2014 \u03b8 (grandezza dell'effetto) \u00e8 sostituita da \u0394 (limite di non minore efficacia)<\/p>\n
Se supponiamo che \u00b5B = \u00b5A, allora (\u00b5B \u2212 \u00b5A) = 0 e il calcolo della dimensione del campione per il limite di efficacia non inferiore \u00e8 proprio ci\u00f2 che otterremmo calcolando il superamento per una dimensione dell'effetto di 0,1, ottimo! Possiamo condurre una ricerca dello stesso tipo con diverse ipotesi e un approccio diverso alle conclusioni, e otterr\u00e0 una risposta alla domanda a cui vogliamo davvero rispondere.<\/p>\n
Ora supponiamo che in realt\u00e0 non crediamo che \u00b5B = \u00b5A e
Cosa succede se la versione B \u00e8 in realt\u00e0 migliore della versione A? Rifiutiamo l'ipotesi nulla che B sia peggiore di A di pi\u00f9 di \u0394 e accettiamo l'ipotesi alternativa secondo cui B, se \u00e8 peggiore, non \u00e8 peggiore di \u0394 e potrebbe essere migliore. Prova a riportare questa conclusione in una presentazione cross-funzionale e guarda cosa ne viene fuori (serio, prova). In situazioni in cui \u00e8 necessario orientarsi sulla prospettiva, nessuno vuole accettare \"peggiore non pi\u00f9 di \u0394 e, forse, migliore\".<\/p>\n
In questo caso, possiamo condurre uno studio che viene sintetizzato brevemente con il termine \"verifica dell'ipotesi che una delle opzioni superi l'altra o le sia inferiore\". Utilizza due insiemi di ipotesi:<\/p>\n
Il primo insieme (come nella verifica dell'ipotesi di non inferiorit\u00e0): <\/p>\n
Esiste un altro tipo di studi che non abbiamo discusso: gli studi di equivalenza. <\/p>\n
Studi di questo tipo possono essere sostituiti da studi per verificare l'ipotesi di equivalenza di efficacia e viceversa, ma presentano una differenza importante. Un trial per verificare l'ipotesi di equivalenza di efficacia \u00e8 destinato a dimostrare che l'opzione B \u00e8 almeno buona quanto A. Uno studio di equivalenza \u00e8 volto a dimostrare che l'opzione B \u00e8 almeno buona quanto A, e che l'opzione A \u00e8 altrettanto buona quanto B, ci\u00f2 che \u00e8 pi\u00f9 complesso. In sostanza, stiamo cercando di determinare se tutto l'intervallo di confidenza per la differenza delle medie si colloca tra \u2212\u0394 e \u0394. Tali studi richiedono una dimensione del campione maggiore e vengono condotti meno frequentemente. Pertanto, la prossima volta che condurrete uno studio in cui il vostro obiettivo principale \u00e8 assicurare che la nuova versione non sia peggiore, non acconsentite a \"impossibilit\u00e0 di rifiutare l'ipotesi nulla\". Se desiderate testare un'ipotesi realmente significativa, considerare diverse opzioni.habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b Stitch Fix \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434 \u043a\u043b\u0438\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 (non-inferiority trials) \u0432 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 A\/B \u0442\u0435\u0441\u0442\u0430\u0445. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0438\u043c\u0435\u044e\u0449\u0435\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043d\u0435\u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u0442\u0435\u0441\u0442\u0430\u043c\u0438. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0442\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u043a\u0430, \u043d\u043e \u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0440\u043e\u043d\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u0443\u044e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044e. \u0418\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26311,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-34958","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Quando](\"\/wp-content\/uploads\/2019\/06\/0ce4d602add079e55d1025a8d8b2122f.jpg\")