आपण कनिष्ठता नसलेल्या गृहीतकाची चाचणी कधी करावी?

स्टिच फिक्स टीमचा एक लेख विपणन आणि उत्पादन A/B चाचण्यांमध्ये गैर-कनिष्ठता चाचण्यांचा दृष्टिकोन वापरण्याचा सल्ला देतो. हा दृष्टीकोन खरोखरच लागू होतो जेव्हा आम्ही नवीन समाधानाची चाचणी घेत असतो ज्याचे फायदे आहेत जे चाचण्यांद्वारे मोजले जात नाहीत.

सर्वात सोपा उदाहरण म्हणजे खर्च कमी करणे. उदाहरणार्थ, आम्ही पहिला धडा नियुक्त करण्याची प्रक्रिया स्वयंचलित करतो, परंतु आम्ही एंड-टू-एंड रूपांतरण लक्षणीयरीत्या कमी करू इच्छित नाही. किंवा आम्ही वापरकर्त्यांच्या एका विभागाला उद्देशून असलेल्या बदलांची चाचणी करतो, इतर विभागांसाठी रूपांतरणे जास्त कमी होत नाहीत याची खात्री करून घेतो (अनेक गृहितकांची चाचणी करताना, सुधारणांबद्दल विसरू नका).

योग्य नॉन-कनिष्ठता मार्जिन निवडणे चाचणी डिझाइन टप्प्यात अतिरिक्त आव्हाने जोडते. Δ कसे निवडायचे हा प्रश्न लेखात फारसा कव्हर केलेला नाही. असे दिसते की ही निवड क्लिनिकल चाचण्यांमध्ये देखील पूर्णपणे पारदर्शक नाही. विहंगावलोकन गैर-कनिष्ठतेवरील वैद्यकीय प्रकाशने अहवाल देतात की केवळ अर्धी प्रकाशने सीमा निवडीचे समर्थन करतात आणि बहुतेकदा ही औचित्ये अस्पष्ट असतात किंवा तपशीलवार नसतात.

कोणत्याही परिस्थितीत, हा दृष्टिकोन मनोरंजक आहे कारण ... आवश्यक नमुना आकार कमी करून, ते चाचणीची गती वाढवू शकते आणि त्यामुळे निर्णय घेण्याची गती वाढवू शकते. - डारिया मुखिना, Skyeng मोबाइल अनुप्रयोगासाठी उत्पादन विश्लेषक.

स्टिच फिक्स टीमला वेगवेगळ्या गोष्टींची चाचणी घ्यायला आवडते. संपूर्ण तंत्रज्ञान समुदायाला तत्त्वतः चाचण्या चालवायला आवडतात. साइटची कोणती आवृत्ती अधिक वापरकर्त्यांना आकर्षित करते - ए किंवा बी? शिफारस मॉडेलची आवृत्ती A आवृत्ती B पेक्षा अधिक पैसे कमवते का? गृहीतके तपासण्यासाठी, आम्ही जवळजवळ नेहमीच मूलभूत सांख्यिकी अभ्यासक्रमातील सर्वात सोपा दृष्टीकोन वापरतो:

जरी आपण हा शब्द क्वचितच वापरत असलो तरी चाचणीच्या या प्रकाराला "श्रेष्ठता गृहितक चाचणी" असे म्हणतात. या दृष्टिकोनासह, आम्ही असे गृहीत धरतो की दोन पर्यायांमध्ये फरक नाही. आम्ही या कल्पनेला चिकटून राहिलो आणि डेटा पुरेसा सक्तीचा असेल तरच तो सोडून देतो—म्हणजेच, हे दाखवते की पर्यायांपैकी एक (A किंवा B) दुसऱ्यापेक्षा चांगला आहे.

विविध प्रकारच्या समस्यांसाठी श्रेष्ठतेच्या गृहीतकाची चाचणी करणे योग्य आहे. आम्ही शिफारस मॉडेलची आवृत्ती B जर आधीच वापरात असलेल्या आवृत्ती A पेक्षा स्पष्टपणे चांगली असेल तरच रिलीझ करतो. परंतु काही प्रकरणांमध्ये, हा दृष्टीकोन इतका चांगला कार्य करत नाही. चला काही उदाहरणे पाहू.

1) आम्ही तृतीय पक्ष सेवा वापरतो, जे बनावट बँक कार्ड ओळखण्यात मदत करते. आम्हाला आणखी एक सेवा सापडली ज्याची किंमत लक्षणीयरीत्या कमी आहे. आम्ही सध्या वापरत असलेल्या स्वस्त सेवेप्रमाणे काम करत असल्यास, आम्ही ती निवडू. तुम्ही वापरत असलेल्या सेवेपेक्षा ती चांगली असण्याची गरज नाही.

2) आम्ही डेटा स्रोत सोडून देऊ इच्छितो A आणि त्यास डेटा स्रोत B ने बदला. जर B खूप वाईट परिणाम देत असेल तर आम्ही A सोडण्यास उशीर करू शकतो, परंतु A वापरणे सुरू ठेवणे शक्य नाही.

३) आम्ही मॉडेलिंगच्या दृष्टिकोनातून पुढे जाऊ इच्छितोA ते B चा दृष्टीकोन आम्ही B कडून चांगल्या परिणामांची अपेक्षा करतो म्हणून नाही तर ते आम्हाला अधिक ऑपरेशनल लवचिकता देते म्हणून. आमचा असा विश्वास असण्याचे कोणतेही कारण नाही की बी आणखी वाईट होईल, परंतु जर असे असेल तर आम्ही संक्रमण करणार नाही.

4) आम्ही अनेक गुणात्मक बदल केले आहेत वेबसाइट डिझाइनमध्ये (आवृत्ती B) आणि विश्वास ठेवतो की ही आवृत्ती आवृत्ती A पेक्षा श्रेष्ठ आहे. आम्हाला रूपांतरण किंवा कोणत्याही प्रमुख कार्यप्रदर्शन निर्देशकांमध्ये बदल अपेक्षित नाही ज्याद्वारे आम्ही वेबसाइटचे मूल्यमापन करतो. परंतु आमचा विश्वास आहे की पॅरामीटर्समध्ये असे फायदे आहेत जे एकतर मोजता येत नाहीत किंवा आमचे तंत्रज्ञान मोजण्यासाठी पुरेसे नाही.

या सर्व प्रकरणांमध्ये, श्रेष्ठता संशोधन हा सर्वात योग्य उपाय नाही. परंतु अशा परिस्थितीत बहुतेक विशेषज्ञ ते डीफॉल्टनुसार वापरतात. प्रभावाचा आकार योग्यरित्या निर्धारित करण्यासाठी आम्ही काळजीपूर्वक प्रयोग करतो. जर हे खरे असेल की आवृत्त्या A आणि B सारख्याच प्रकारे कार्य करतात, तर अशी शक्यता आहे की आपण शून्य गृहितक नाकारू शकू. A आणि B मुळात सारखेच कार्य करतात असा निष्कर्ष काढतो का? नाही! शून्य परिकल्पना नाकारण्यात अयशस्वी होणे आणि शून्य गृहितके स्वीकारणे या एकाच गोष्टी नाहीत.

नमुना आकाराची गणना (जी अर्थातच, तुम्ही केली आहे) सामान्यत: प्रकार I त्रुटीसाठी (शून्य गृहितके नाकारण्यात अयशस्वी होण्याची संभाव्यता, ज्याला अल्फा म्हणतात) प्रकार II त्रुटी (नाकारण्यात अयशस्वी होण्याची संभाव्यता) पेक्षा कठोर मर्यादांसह केली जाते. शून्य गृहीतक, शून्य गृहीतक खोटे असल्याची अट दिलेली असते, ज्याला अनेकदा बीटा म्हणतात). अल्फा साठी विशिष्ट मूल्य 0,05 आहे, तर बीटा साठी विशिष्ट मूल्य 0,20 आहे, 0,80 च्या सांख्यिकीय शक्तीशी संबंधित आहे. याचा अर्थ असा की 20% शक्यता आहे की आम्ही आमच्या पॉवर कॅल्क्युलेशनमध्ये निर्दिष्ट केलेल्या प्रमाणाचा खरा परिणाम गमावू आणि ही माहितीमध्ये खूप गंभीर अंतर आहे. उदाहरण म्हणून, खालील गृहितकांचा विचार करूया:

H0: माझी बॅकपॅक माझ्या खोलीत नाही (3)
H1: माझा बॅकपॅक माझ्या खोलीत आहे (4)

जर मी माझी खोली शोधली आणि माझा बॅकपॅक सापडला, तर मी शून्य गृहितक नाकारू शकतो. पण जर मी खोलीभोवती पाहिले आणि माझा बॅकपॅक सापडला नाही (आकृती 1), मी कोणता निष्कर्ष काढू? मला खात्री आहे की ते तेथे नाही? मी पुरेसा कठीण दिसत आहे का? मी फक्त 80% खोली शोधली तर? बॅकपॅक खोलीत नक्कीच नाही असा निष्कर्ष काढणे हा एक अविचारी निर्णय असेल. आश्चर्य नाही की आपण "शून्य गृहितक स्वीकारू शकत नाही."

आम्ही शोधले ते क्षेत्र
आम्हाला बॅकपॅक सापडला नाही - आम्ही शून्य गृहितक स्वीकारावे?

आकृती 1: खोलीचा 80% शोध घेणे हे 80% पॉवरवर शोधण्यासारखेच आहे. जर तुम्हाला 80% खोली पाहिल्यानंतर बॅकपॅक सापडला नाही, तर तुम्ही असा निष्कर्ष काढू शकता की ते तेथे नाही?

तर अशा परिस्थितीत डेटा सायंटिस्टने काय करावे? आपण अभ्यासाची शक्ती मोठ्या प्रमाणात वाढवू शकता, परंतु नंतर आपल्याला खूप मोठ्या नमुना आकाराची आवश्यकता असेल आणि परिणाम अद्याप असमाधानकारक असेल.

सुदैवाने, क्लिनिकल संशोधनाच्या जगात अशा समस्यांचा दीर्घकाळ अभ्यास केला गेला आहे. औषध B औषध A पेक्षा स्वस्त आहे; औषध B हे औषध A पेक्षा कमी दुष्परिणाम होण्याची अपेक्षा आहे; औषध B वाहतूक करणे सोपे आहे कारण ते रेफ्रिजरेटेड करण्याची आवश्यकता नाही, परंतु औषध A हे करते. चला गैर-कनिष्ठतेच्या गृहीतकाची चाचणी घेऊ. हे दर्शविण्यासाठी आहे की आवृत्ती B आवृत्ती A प्रमाणेच चांगली आहे—किमान काही पूर्वनिर्धारित नॉनइनफिरिऑरिटी मार्जिनमध्ये, Δ. ही मर्यादा कशी सेट करायची याबद्दल आम्ही थोड्या वेळाने अधिक बोलू. परंतु आत्ता असे गृहीत धरूया की हा सर्वात लहान फरक आहे जो व्यावहारिकदृष्ट्या अर्थपूर्ण आहे (क्लिनिकल चाचण्यांच्या संदर्भात, याला सामान्यतः क्लिनिकल महत्त्व म्हणतात).

गैर-कनिष्ठता गृहितक सर्वकाही त्याच्या डोक्यावर फिरते:

आता, कोणताही फरक नाही असे मानण्याऐवजी, आवृत्ती B आवृत्ती A पेक्षा वाईट आहे असे आम्ही गृहीत धरू आणि असे नाही हे दाखवून देईपर्यंत आम्ही या गृहितकाला चिकटून राहू. हाच तो क्षण आहे जेव्हा एकतर्फी गृहीतक चाचणी वापरण्यात अर्थ प्राप्त होतो! व्यवहारात, हे आत्मविश्वास मध्यांतर तयार करून आणि मध्यांतर Δ (आकृती 2) पेक्षा जास्त आहे की नाही हे निर्धारित करून केले जाऊ शकते.

Δ निवडा

योग्य Δ कसे निवडायचे? Δ निवड प्रक्रियेमध्ये सांख्यिकीय औचित्य आणि ठोस मूल्यमापन समाविष्ट आहे. क्लिनिकल रिसर्चच्या जगात, डेल्टाने सर्वात लहान वैद्यकीयदृष्ट्या महत्त्वपूर्ण फरक दर्शविला पाहिजे असे नियामक मार्गदर्शक तत्त्वे आहेत - जे व्यवहारात फरक करेल. स्वत:ची चाचणी घेण्यासाठी युरोपियन मार्गदर्शक तत्त्वांमधील एक कोट येथे आहे: “जर फरक योग्यरित्या निवडला गेला असेल, तर आत्मविश्वास मध्यांतर –∆ आणि 0… या दरम्यान पूर्णत: निकृष्टता दाखवण्यासाठी पुरेसे आहे. हा निकाल स्वीकारार्ह वाटत नसल्यास, याचा अर्थ ∆ योग्यरित्या निवडला गेला नाही.”

डेल्टा निश्चितपणे खर्‍या नियंत्रणाच्या सापेक्ष आवृत्ती A च्या प्रभावाच्या आकारापेक्षा जास्त नसावा (प्लेसबो/उपचार नाही), कारण यामुळे आम्हाला असे म्हणता येते की आवृत्ती B ही खर्‍या नियंत्रणापेक्षा वाईट आहे, त्याच वेळी "नॉन-कनिष्ठता" दर्शवते. .” आपण असे गृहीत धरू की जेव्हा आवृत्ती A सादर केली गेली तेव्हा ती आवृत्ती 0 ने बदलली गेली किंवा वैशिष्ट्य अजिबात अस्तित्वात नाही (चित्र 3 पहा).

श्रेष्ठतेच्या गृहीतकाच्या चाचणीच्या परिणामांवर आधारित, परिणाम आकार E प्रकट झाला (म्हणजे, बहुधा μ^A−μ^0=E). आता A आमचे नवीन मानक आहे, आणि आम्हाला खात्री करायची आहे की B हे A प्रमाणे चांगले आहे. μB−μA≤−Δ (शून्य गृहितक) लिहिण्याचा दुसरा मार्ग म्हणजे μB≤μA−Δ. जर आपण असे गृहीत धरले की do E च्या बरोबरीचे किंवा मोठे आहे, तर μB ≤ μA−E ≤ प्लेसबो. आता आपण पाहतो की μB साठी आमचा अंदाज पूर्णपणे μA−E पेक्षा जास्त आहे, ज्यामुळे शून्य गृहीतक पूर्णपणे नाकारले जाते आणि आम्हाला B हा A इतका चांगला आहे असा निष्कर्ष काढण्याची परवानगी देते, परंतु त्याच वेळी μB ≤ μ प्लेसबो असू शकतो, जो μB नाही. केस. आम्हाला काय हवे आहे. (आकृती 3).

आकृती 3. कनिष्ठता मार्जिन निवडण्याच्या जोखमींचे प्रात्यक्षिक. जर कटऑफ खूप जास्त असेल, तर असा निष्कर्ष काढला जाऊ शकतो की B हा A पेक्षा निकृष्ट आहे, परंतु त्याच वेळी प्लेसबोपासून वेगळे करता येत नाही. आम्ही प्लेसबो (A) पेक्षा स्पष्टपणे अधिक प्रभावी असलेल्या औषधाची अदलाबदल करणार नाही जे प्लेसबो सारखे प्रभावी आहे.

α ची निवड

चला α निवडण्याकडे वळूया. आपण मानक मूल्य α = 0,05 वापरू शकता, परंतु हे पूर्णपणे न्याय्य नाही. जसे की, उदाहरणार्थ, जेव्हा तुम्ही काही ऑनलाइन खरेदी करता आणि एकाच वेळी अनेक सवलत कोड वापरता, जरी ते एकत्र केले जाऊ नयेत - विकसकाने नुकतीच चूक केली आणि तुम्ही त्यातून सुटलात. नियमांनुसार, α चे मूल्य α च्या निम्म्या मूल्याच्या बरोबरीचे असावे जे श्रेष्ठत्व गृहीतकेची चाचणी करताना वापरले जाते, म्हणजेच 0,05 / 2 = 0,025.

नमुन्याचा आकार

नमुना आकाराचा अंदाज कसा लावायचा? जर तुमचा विश्वास असेल की A आणि B मधील खरा सरासरी फरक 0 आहे, तर नमुना आकाराची गणना श्रेष्ठतेच्या गृहीतकाची चाचणी करताना सारखीच असते, त्याशिवाय तुम्ही प्रभाव आकार नॉनइनफिरिऑरिटी मार्जिनने बदलता, परंतु तुम्ही वापरता α-कनिष्ठ कार्यक्षमता = 1/2α श्रेष्ठता (αnon-inferiority=1/2αश्रेष्ठता). पर्याय B हा पर्याय A पेक्षा किंचित वाईट आहे असे मानण्याचे कारण असल्यास, परंतु तो Δ पेक्षा अधिक वाईट नाही हे सिद्ध करायचे असेल, तर तुम्ही नशीबवान आहात! यामुळे तुमचा नमुन्याचा आकार कमी होतो कारण B हा A पेक्षा वाईट आहे हे दाखवणे सोपे आहे जर तुम्हाला असे वाटत असेल की ते समान ऐवजी किंचित वाईट आहे.

समाधानासह उदाहरण

समजा तुम्हाला आवृत्ती B वर श्रेणीसुधारित करायचे आहे, बशर्ते ते 0,1-बिंदू ग्राहक समाधान स्केलवर आवृत्ती A पेक्षा 5 बिंदूपेक्षा अधिक वाईट नसेल... श्रेष्ठता गृहितक वापरून या समस्येकडे जाऊ या.

श्रेष्ठता गृहीतक तपासण्यासाठी, आम्ही खालीलप्रमाणे नमुना आकाराची गणना करू:

म्हणजेच, तुमच्या गटामध्ये 2103 निरीक्षणे असल्यास, तुम्हाला 90% खात्री असू शकते की तुम्हाला 0,10 किंवा त्याहून मोठा प्रभाव सापडेल. परंतु जर तुमच्यासाठी 0,10 खूप जास्त असेल, तर ते श्रेष्ठतेच्या गृहीतकाची चाचणी घेण्यासारखे असू शकत नाही. सुरक्षिततेसाठी, तुम्ही 0,05 सारख्या लहान प्रभाव आकारासाठी अभ्यास चालवण्याचा निर्णय घेऊ शकता. या प्रकरणात, आपल्याला 8407 निरीक्षणांची आवश्यकता असेल, म्हणजेच, नमुना जवळजवळ 4 पट वाढेल. पण जर आम्ही आमच्या मूळ नमुन्याच्या आकाराला चिकटून राहिलो, पण पॉवर 0,99 पर्यंत वाढवली तर सकारात्मक परिणाम मिळाल्यास आम्ही सुरक्षित राहू? या प्रकरणात, एका गटासाठी n 3676 असेल, जे आधीपासूनच चांगले आहे, परंतु नमुना आकार 50% पेक्षा जास्त वाढवते. आणि परिणामी, आम्ही अद्याप शून्य गृहीतकांचे खंडन करू शकणार नाही आणि आम्हाला आमच्या प्रश्नाचे उत्तर मिळणार नाही.

त्याऐवजी आम्ही गैर-कनिष्ठतेच्या गृहीतकाची चाचणी केली तर?

भाजक वगळता समान सूत्र वापरून नमुना आकार मोजला जाईल.
श्रेष्ठतेच्या गृहीतकाची चाचणी करण्यासाठी वापरल्या जाणार्‍या सूत्रातील फरक खालीलप्रमाणे आहेत:

— Z1−α/2 ची जागा Z1−α ने घेतली आहे, परंतु तुम्ही नियमांनुसार सर्वकाही केल्यास, तुम्ही α = 0,05 ला α = 0,025 ने बदलता, म्हणजेच ती समान संख्या आहे (1,96)

— (μB−μA) भाजकामध्ये दिसते

— θ (प्रभाव आकार) Δ ने बदलला आहे (कनिष्ठतेचा मार्जिन)

जर आपण असे गृहीत धरले की µB = µA, तर (µB − µA) = 0 आणि नॉनफिरिऑरिटी मार्जिनसाठी नमुना आकाराची गणना 0,1 च्या प्रभावाच्या आकारासाठी श्रेष्ठतेची गणना केल्यास आपल्याला नक्की मिळेल, छान! आम्ही वेगवेगळ्या गृहितकांसह आणि निष्कर्षांसाठी भिन्न दृष्टीकोनांसह समान आकाराचा अभ्यास करू शकतो आणि आम्हाला खरोखर ज्या प्रश्नाचे उत्तर हवे आहे त्याचे उत्तर आम्हाला मिळेल.

आता समजा की µB = µA आणि
आम्हाला वाटते की µB थोडे वाईट आहे, कदाचित 0,01 युनिट्सने. हे आमचे भाजक वाढवते, प्रति गट नमुना आकार 1737 पर्यंत कमी करते.

आवृत्ती B ही आवृत्ती A पेक्षा खरोखर चांगली असल्यास काय होईल? B A पेक्षा Δ पेक्षा जास्त वाईट आहे हे शून्य गृहितक आम्ही नाकारतो आणि B, वाईट असल्यास, A पेक्षा Δ ने वाईट नाही आणि कदाचित चांगले असू शकते हे पर्यायी गृहितक स्वीकारतो. हा निष्कर्ष क्रॉस-फंक्शनल प्रेझेंटेशनमध्ये ठेवण्याचा प्रयत्न करा आणि काय होते ते पहा (गंभीरपणे, प्रयत्न करा). अग्रेषित परिस्थितीत, कोणीही "Δ पेक्षा अधिक वाईट आणि कदाचित चांगले नाही" यावर तोडगा काढू इच्छित नाही.

या प्रकरणात, आम्ही एक अभ्यास आयोजित करू शकतो, ज्याला अगदी थोडक्यात म्हणतात "एक पर्याय दुसऱ्यापेक्षा श्रेष्ठ किंवा कनिष्ठ आहे या गृहितकाची चाचणी करणे." हे गृहितकांचे दोन संच वापरते:

पहिला संच (कनिष्ठता नसलेल्या गृहितकाची चाचणी घेण्यासारखेच):

दुसरा संच (श्रेष्ठतेच्या गृहीतकाची चाचणी करताना समान):

पहिली कल्पना नाकारली गेली तरच आम्ही दुसऱ्या गृहीतकाची चाचणी करतो. क्रमाक्रमाने चाचणी करताना, आम्ही एकूण प्रकार I त्रुटी दर (α) राखतो. व्यवहारात, संपूर्ण मध्यांतर -Δ पेक्षा जास्त आहे की नाही हे निर्धारित करण्यासाठी साधन आणि चाचणीमधील फरकासाठी 95% आत्मविश्वास मध्यांतर तयार करून हे साध्य केले जाऊ शकते. जर मध्यांतर -Δ पेक्षा जास्त नसेल, तर आम्ही शून्य मूल्य नाकारू शकत नाही आणि थांबवू शकत नाही. जर संपूर्ण मध्यांतर खरोखर −Δ पेक्षा मोठे असेल, तर आम्ही पुढे चालू ठेवू आणि मध्यांतरात 0 आहे का ते पाहू.

संशोधनाचा आणखी एक प्रकार आहे ज्यावर आपण चर्चा केलेली नाही - समतुल्य अभ्यास.

या प्रकारच्या अभ्यासांची जागा निकृष्टतेच्या अभ्यासाने आणि त्याउलट केली जाऊ शकते, परंतु प्रत्यक्षात त्यांच्यात एक महत्त्वाचा फरक आहे. कनिष्ठता चाचणीचा उद्देश B हा पर्याय A सारखा चांगला आहे हे दाखवण्याचे उद्दिष्ट आहे. समतुल्यतेच्या चाचणीचे उद्दिष्ट B हा पर्याय A इतका चांगला आहे. पर्याय A B प्रमाणे चांगला आहे, जो अधिक कठीण आहे. मूलत:, आम्‍ही हे निर्धारित करण्‍याचा प्रयत्‍न करत आहोत की, −Δ आणि Δ मधील फरकासाठी संपूर्ण आत्मविश्वास अंतराल आहे. अशा अभ्यासांना मोठ्या नमुना आकाराची आवश्यकता असते आणि ते कमी वेळा आयोजित केले जातात. त्यामुळे पुढच्या वेळी तुम्ही एखादा अभ्यास कराल ज्यामध्ये तुमचे मुख्य उद्दिष्ट हे सुनिश्चित करणे आहे की नवीन आवृत्ती आणखी वाईट नाही, तेव्हा "शून्य गृहितक नाकारण्यात अयशस्वी" यावर समाधान मानू नका. तुम्हाला खरोखर महत्त्वाच्या गृहीतकाची चाचणी करायची असल्यास, भिन्न पर्यायांचा विचार करा.

स्त्रोत: www.habr.com