<\/a><\/noindex>
La v\u00e9rification de l'hypoth\u00e8se de sup\u00e9riorit\u00e9 est adapt\u00e9e \u00e0 la r\u00e9solution de nombreux probl\u00e8mes. Nous ne publions une version B du mod\u00e8le de recommandation que si elle est manifestement meilleure que la version A actuellement utilis\u00e9e. Mais dans certains cas, cette approche ne fonctionne pas aussi bien. Examinons quelques exemples.<\/p>\n
1) Nous utilisons un service tiers<\/b>, qui aide \u00e0 identifier les cartes bancaires contrefaites. Nous avons trouv\u00e9 un autre service, qui co\u00fbte beaucoup moins cher. Si le service moins cher fonctionne aussi bien que celui que nous utilisons actuellement, nous le choisirons. Il n'est pas n\u00e9cessaire qu'il soit meilleur que le service utilis\u00e9. <\/p>\n
2) Nous souhaitons abandonner la source de donn\u00e9es<\/b> A et la remplacer par la source de donn\u00e9es B. Nous pourrions envisager de retarder l'abandon de A si B produit des r\u00e9sultats tr\u00e8s mauvais, mais continuer \u00e0 utiliser A n'est pas une option viable. <\/p>\n
3) Nous aimerions passer de l'approche de mod\u00e9lisation<\/b>A \u00e0 l'approche B, non pas parce que nous attendons de meilleurs r\u00e9sultats de B, mais parce que cela nous donne une plus grande flexibilit\u00e9 op\u00e9rationnelle. Nous n'avons pas de raisons de croire que B sera pire, mais nous ne proc\u00e9derons pas au changement si tel est le cas.<\/p>\n
4) Nous avons apport\u00e9 plusieurs am\u00e9liorations qualitatives<\/b> au design du site web (version B) et nous consid\u00e9rons que cette version est sup\u00e9rieure \u00e0 la version A. Nous ne nous attendons pas \u00e0 des changements dans le taux de conversion ou dans les indicateurs cl\u00e9s de performance que nous utilisons habituellement pour \u00e9valuer le site. Mais nous pensons qu'il y a des avantages en termes de param\u00e8tres qui sont soit inestimables, soit pour lesquels notre technologie n'est pas suffisante pour mesurer.<\/p>\n
Dans tous ces cas, l'\u00e9tude de la sup\u00e9riorit\u00e9 n'est pas la solution la plus appropri\u00e9e. Mais la plupart des sp\u00e9cialistes l'utilisent par d\u00e9faut dans de telles situations. Nous menons une exp\u00e9rience rigoureuse pour d\u00e9terminer correctement la magnitude de l'effet. Si les versions A et B fonctionnent de mani\u00e8re tr\u00e8s similaire, il est probable que nous ne parviendrons pas \u00e0 rejeter l'hypoth\u00e8se nulle. Tirons-nous la conclusion que A et B fonctionnent globalement de la m\u00eame mani\u00e8re ? Non ! L'incapacit\u00e9 \u00e0 rejeter l'hypoth\u00e8se nulle et l'acceptation de l'hypoth\u00e8se nulle ne sont pas la m\u00eame chose.<\/p>\n
Les calculs de la taille de l'\u00e9chantillon que vous avez, bien s\u00fbr, effectu\u00e9s, sont g\u00e9n\u00e9ralement r\u00e9alis\u00e9s avec des limites plus strictes pour l'erreur de premier type (la probabilit\u00e9 de rejeter \u00e0 tort l'hypoth\u00e8se nulle, souvent appel\u00e9e alpha), que pour l'erreur de second type (la probabilit\u00e9 de ne pas rejeter l'hypoth\u00e8se nulle, \u00e9tant donn\u00e9 que l'hypoth\u00e8se nulle est fausse, souvent appel\u00e9e b\u00eata). Une valeur typique pour alpha est de 0,05, tandis qu'une valeur typique pour b\u00eata est de 0,20, ce qui correspond \u00e0 une puissance statistique de 0,80. Cela signifie que nous pouvons ne pas d\u00e9tecter l'effet r\u00e9el de l'ampleur que nous avons indiqu\u00e9e dans nos calculs de puissance avec une probabilit\u00e9 de 20 %, et c'est un manque d'information assez s\u00e9rieux. Prenons comme exemple les hypoth\u00e8ses suivantes :<\/p>\n
H0 : mon sac \u00e0 dos n'est PAS dans ma chambre (3)
Si j'ai fouill\u00e9 ma chambre et trouv\u00e9 mon sac \u00e0 dos, super, je peux rejeter l'hypoth\u00e8se nulle. Mais si j'ai regard\u00e9 dans la chambre et n'ai pas pu trouver mon sac \u00e0 dos (figure 1), quelle conclusion dois-je tirer ? Suis-je certain qu'il n'y est pas ? Ai-je cherch\u00e9 suffisamment soigneusement ? Et si je n'avais regard\u00e9 que 80 % de la chambre ? Tirer la conclusion que le sac \u00e0 dos n'est certainement pas dans la chambre serait une d\u00e9cision imprudente. Il n'est donc pas surprenant que nous ne puissions pas \u00ab accepter l'hypoth\u00e8se nulle \u00bb.La zone que nous avons fouill\u00e9e
Figure 1. Fouiller 80 % de la chambre revient \u00e0 mener une \u00e9tude avec une puissance de 80 %. Si vous n'avez pas trouv\u00e9 de sac \u00e0 dos en examinant 80 % de la chambre, peut-on conclure qu'il n'y en a pas ?<\/i> <\/p>\n
Que doit donc faire un sp\u00e9cialiste des donn\u00e9es dans cette situation ? Vous pouvez augmenter consid\u00e9rablement la puissance de l'\u00e9tude, mais alors vous aurez besoin d'un \u00e9chantillon beaucoup plus grand, et le r\u00e9sultat sera quand m\u00eame insatisfaisant.<\/p>\n
Heureusement, ces probl\u00e8mes sont bien \u00e9tudi\u00e9s dans le monde des recherches cliniques. Le m\u00e9dicament B est moins cher que le m\u00e9dicament A ; on s'attend \u00e0 ce que le m\u00e9dicament B provoque moins d'effets secondaires que le m\u00e9dicament A ; le m\u00e9dicament B est plus facile \u00e0 transporter car il n'a pas besoin d'\u00eatre r\u00e9frig\u00e9r\u00e9, contrairement au m\u00e9dicament A. V\u00e9rifions l'hypoth\u00e8se de l'efficacit\u00e9 non inf\u00e9rieure. Cela est n\u00e9cessaire pour d\u00e9montrer que la version B est tout aussi bonne que la version A \u2014 du moins dans une certaine limite pr\u00e9d\u00e9termin\u00e9e de \u00ab non-inf\u00e9riorit\u00e9 \u00bb, \u0394. Plus tard, nous parlerons en d\u00e9tail de la fa\u00e7on de fixer cette limite. Mais pour le moment, supposons qu'il s'agit de la diff\u00e9rence minimale, qui est pratiquement significative (dans le contexte des essais cliniques, cela s'appelle g\u00e9n\u00e9ralement la signification clinique).<\/p>\n
Les hypoth\u00e8ses de non-inf\u00e9riorit\u00e9 renversent tout :<\/p>\n
Choix de \u0394<\/h3>\n \nComment bien choisir \u0394 ? Le processus de choix de \u0394 implique une justification statistique et une \u00e9valuation substantielle. Dans le monde des recherches cliniques, il existe des recommandations r\u00e9glementaires qui stipulent que delta doit repr\u00e9senter la plus petite diff\u00e9rence cliniquement significative \u2014 celle qui aura de l'importance en pratique. Voici une citation des directives europ\u00e9ennes que vous pouvez utiliser pour vous auto-v\u00e9rifier : \u00ab Si la diff\u00e9rence a \u00e9t\u00e9 choisie correctement, l'intervalle de confiance qui est enti\u00e8rement compris entre \u2013\u2206 et 0..., reste suffisant pour d\u00e9montrer la non-inf\u00e9riorit\u00e9. Si ce r\u00e9sultat ne semble pas acceptable, cela signifie que \u2206 n'a pas \u00e9t\u00e9 choisi de mani\u00e8re appropri\u00e9e \u00bb.<\/p>\n
Le delta ne doit certainement pas d\u00e9passer l'effet de la version A par rapport au vrai contr\u00f4le (placebo \/ absence de traitement), car cela nous am\u00e8ne \u00e0 la conclusion que la version B est inf\u00e9rieure au vrai contr\u00f4le tout en montrant une \u00ab efficacit\u00e9 non inf\u00e9rieure \u00bb. Supposons qu'au moment de l'introduction de la version A, il y avait la version 0 ou que la fonction n'existait pas du tout (voir figure 3). <\/p>\n
D'apr\u00e8s les r\u00e9sultats du test d'hypoth\u00e8se de sup\u00e9riorit\u00e9, l'effet E a \u00e9t\u00e9 identifi\u00e9 (c'est-\u00e0-dire suppos\u00e9ment \u03bc^A\u2212\u03bc^0=E). Maintenant, A est notre nouvelle r\u00e9f\u00e9rence, et nous voulons nous assurer que B n'est pas inf\u00e9rieur \u00e0 A. Une autre fa\u00e7on d'\u00e9crire \u03bcB\u2212\u03bcA\u2264\u2212\u0394 (hypoth\u00e8se nulle) est \u03bcB\u2264\u03bcA\u2212\u0394. Si nous supposons que faire est \u00e9gal ou sup\u00e9rieur \u00e0 E, alors \u03bcB \u2264 \u03bcA\u2212E \u2264 placebo. Nous voyons maintenant que notre estimation pour \u03bcB d\u00e9passe compl\u00e8tement \u03bcA\u2212E, ce qui r\u00e9fute compl\u00e8tement l'hypoth\u00e8se nulle et permet de conclure que B n'est pas inf\u00e9rieur \u00e0 A, mais en m\u00eame temps \u03bcB peut \u00eatre \u2264 \u03bc placebo, ce qui n'est pas ce que nous recherchons. (figure 3).<\/p>\n
Figure 3. Illustration des risques li\u00e9s au choix d'une limite d'efficacit\u00e9 non inf\u00e9rieure. Si la limite est trop \u00e9lev\u00e9e, on peut conclure que B n'est pas inf\u00e9rieur \u00e0 A, mais qu'il est \u00e9galement indiscernable du placebo. Nous ne changerons pas un m\u00e9dicament qui est clairement plus efficace que le placebo (A) pour un m\u00e9dicament qui a la m\u00eame efficacit\u00e9 que le placebo. <\/i><\/p>\nChoix de \u03b1 <\/h3>\n
\nPassons au choix de \u03b1. On peut utiliser la valeur standard \u03b1 = 0,05, mais ce n'est pas tout \u00e0 fait juste. C'est comme lorsque vous achetez quelque chose en ligne et que vous utilisez plusieurs codes de r\u00e9duction en m\u00eame temps, m\u00eame s'ils ne doivent pas \u00eatre cumul\u00e9s \u2014 c'est simplement une erreur du d\u00e9veloppeur et vous avez r\u00e9ussi \u00e0 en profiter. Selon les r\u00e8gles, le valeur de \u03b1 doit \u00eatre \u00e9gale \u00e0 la moiti\u00e9 de la valeur de \u03b1 utilis\u00e9e lors du test de l'hypoth\u00e8se de sup\u00e9riorit\u00e9, c'est-\u00e0-dire 0,05 \/ 2 = 0,025.<\/p>\n
Taille de l'\u00e9chantillon <\/h3>\n \nComment \u00e9valuer la taille de l'\u00e9chantillon ? Si vous pensez que la vraie diff\u00e9rence des moyennes entre A et B est \u00e9gale \u00e0 0, alors le calcul de la taille de l'\u00e9chantillon sera le m\u00eame que lors du test de l'hypoth\u00e8se de sup\u00e9riorit\u00e9, sauf que vous remplacerez la taille de l'effet par la limite d'efficacit\u00e9 non inf\u00e9rieure, \u00e0 condition que vous utilisiez \u03b1 non inf\u00e9rieure efficacit\u00e9 = 1 \/ 2\u03b1 sup\u00e9riorit\u00e9 <\/b>(\u03b1non-inferiority=1\/2\u03b1superiority). Si vous avez des raisons de croire que l'option B pourrait \u00eatre l\u00e9g\u00e8rement inf\u00e9rieure \u00e0 l'option A, mais que vous souhaitez prouver qu'elle n'est pas pire de plus de \u0394, alors vous avez de la chance ! En fait, cela r\u00e9duit la taille de votre \u00e9chantillon, car il est plus facile de d\u00e9montrer que B est inf\u00e9rieur \u00e0 A si vous pensez r\u00e9ellement qu'il est l\u00e9g\u00e8rement inf\u00e9rieur et non \u00e9quivalent.<\/p>\nExemple avec une d\u00e9cision <\/h3>\n
\nSupposons que vous souhaitiez passer \u00e0 la version B \u00e0 condition qu'elle soit inf\u00e9rieure \u00e0 la version A de pas plus de 0,1 point sur une \u00e9chelle de satisfaction client de 5 points... Approchons ce probl\u00e8me en utilisant l'hypoth\u00e8se de sup\u00e9riorit\u00e9.<\/p>\n
Pour tester l'hypoth\u00e8se de sup\u00e9riorit\u00e9, nous calculerions la taille de l'\u00e9chantillon de la mani\u00e8re suivante :<\/p>\n
Que faire si nous testions plut\u00f4t l'hypoth\u00e8se d'une efficacit\u00e9 non inf\u00e9rieure ? <\/p>\n
\u2014 Z1\u2212\u03b1\/2 est remplac\u00e9 par Z1\u2212\u03b1, mais si vous suivez les r\u00e8gles, vous remplacez \u03b1 = 0,05 par \u03b1 = 0,025, c'est-\u00e0-dire que c'est le m\u00eame nombre (1,96)<\/p>\n
\u2014 le d\u00e9nominateur contient (\u03bcB\u2212\u03bcA)<\/p>\n
\u2014 \u03b8 (taille de l'effet) est remplac\u00e9 par \u0394 (limite d'efficacit\u00e9 non inf\u00e9rieure)<\/p>\n
Si nous supposons que \u00b5B = \u00b5A, alors (\u00b5B \u2212 \u00b5A) = 0 et le calcul de la taille de l'\u00e9chantillon pour un seuil d'efficacit\u00e9 non inf\u00e9rieure correspond exactement \u00e0 ce que nous obtiendrions en calculant le d\u00e9passement pour une taille d'effet de 0,1, excellent ! Nous pouvons mener une \u00e9tude de la m\u00eame ampleur avec diff\u00e9rentes hypoth\u00e8ses et une autre approche des conclusions, et nous obtiendrons la r\u00e9ponse \u00e0 la question \u00e0 laquelle nous voulons vraiment r\u00e9pondre.<\/p>\n
Maintenant, supposons que nous ne pensons en fait pas que \u00b5B = \u00b5A et
Que se passe-t-il si la version B est en r\u00e9alit\u00e9 meilleure que la version A ? Nous r\u00e9futons l'hypoth\u00e8se nulle stipulant que B est pire que A de plus de \u0394 et acceptons l'hypoth\u00e8se alternative que B, si elle est moins bonne, n'est pas pire que \u0394 et peut-\u00eatre meilleure. Essayez d'int\u00e9grer cette conclusion dans une pr\u00e9sentation interfonctionnelle et voyez ce que cela donne (s\u00e9rieusement, essayez). Dans une situation o\u00f9 il faut se concentrer sur la perspective, personne ne veut accepter \u00ab pas pire que \u0394 et peut-\u00eatre mieux \u00bb.<\/p>\n
Dans ce cas, nous pouvons mener une \u00e9tude qui s'appelle tr\u00e8s bri\u00e8vement \u00ab test d'hypoth\u00e8se sur le fait qu'une option d\u00e9passe l'autre ou lui c\u00e8de \u00bb. Elle utilise deux ensembles d'hypoth\u00e8ses :<\/p>\n
Le premier ensemble (identique \u00e0 celui utilis\u00e9 pour tester l'hypoth\u00e8se de non-inf\u00e9riorit\u00e9) : <\/p>\n
Il existe un autre type d'\u00e9tudes que nous n'avons pas abord\u00e9 \u2013 les \u00e9tudes d'\u00e9quivalence. <\/p>\n
Les recherches de ce type peuvent \u00eatre remplac\u00e9es par des \u00e9tudes visant \u00e0 tester l'hypoth\u00e8se de non-inf\u00e9riorit\u00e9, mais elles comportent une distinction importante. Un essai pour tester une hypoth\u00e8se de non-inf\u00e9riorit\u00e9 vise \u00e0 montrer que l'option B est au moins aussi bonne que A. En revanche, une \u00e9tude d'\u00e9quivalence vise \u00e0 prouver que l'option B est au moins aussi bonne que A, tout en d\u00e9montrant que A est \u00e9galement aussi bon que B, ce qui est plus complexe. En substance, nous essayons de d\u00e9terminer si tout l'intervalle de confiance pour la diff\u00e9rence des moyennes se situe entre \u2212\u0394 et \u0394. Ces \u00e9tudes n\u00e9cessitent des tailles d'\u00e9chantillon plus importantes et sont donc r\u00e9alis\u00e9es moins fr\u00e9quemment. Ainsi, la prochaine fois que vous menerez une \u00e9tude o\u00f9 votre objectif principal est de vous assurer que la nouvelle version n'est pas inf\u00e9rieure, ne vous contentez pas de la \"non-r\u00e9futation de l'hypoth\u00e8se nulle\". Si vous souhaitez tester une hypoth\u00e8se r\u00e9ellement significative, envisagez diff\u00e9rentes options.habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b Stitch Fix \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434 \u043a\u043b\u0438\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 (non-inferiority trials) \u0432 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 A\/B \u0442\u0435\u0441\u0442\u0430\u0445. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0438\u043c\u0435\u044e\u0449\u0435\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043d\u0435\u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u0442\u0435\u0441\u0442\u0430\u043c\u0438. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0442\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u043a\u0430, \u043d\u043e \u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0440\u043e\u043d\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u0443\u044e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044e. \u0418\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26311,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-34958","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Quand](\"\/wp-content\/uploads\/2019\/06\/0ce4d602add079e55d1025a8d8b2122f.jpg\")