Wani labarin daga ƙungiyar Stitch Fix yana ba da shawarar yin amfani da tsarin gwaji mara ƙanƙanta a cikin tallace-tallace da gwajin A/B samfurin. Wannan hanya tana aiki da gaske lokacin da muke gwada sabon bayani wanda ke da fa'idodin da ba za a iya auna su ta hanyar gwaji ba.
Misali mafi sauki shine asarar kashi. Misali, bari mu sarrafa tsarin sanya darasi na farko, amma ba ma so mu sauke juzu'i zuwa ƙarshe da yawa. Ko kuma mu gwada canje-canjen da aka mayar da hankali kan bangare ɗaya na masu amfani, yayin da tabbatar da cewa jujjuyawar ga sauran sassan ba sa yin raguwa da yawa (lokacin gwada hasashe da yawa, kar a manta game da gyare-gyare).
Zaɓin madaidaicin iyaka mara ƙasƙanci yana ƙara ƙarin ƙalubale a matakin ƙirar gwaji. Tambayar yadda za a zabi Δ ba a rufe shi sosai a cikin labarin. Da alama cewa wannan zaɓin ba cikakke ba ne a cikin gwaji na asibiti ko dai. wallafe-wallafen likita a kan rahotannin da ba na ƙasƙanci ba cewa rabin wallafe-wallafen ne kawai ke tabbatar da zaɓin iyaka kuma sau da yawa waɗannan hujjoji ba su da tabbas ko ba dalla-dalla ba.
A kowane hali, wannan hanya tana da ban sha'awa, kamar Ta hanyar rage girman samfurin da ake buƙata, zai iya ƙara saurin gwaji, kuma, saboda haka, saurin yanke shawara. - Daria Mukhina, manazarcin samfur na Skyeng mobile app.
Ƙungiyar Stitch Fix tana son gwada abubuwa daban-daban. Duk al'ummar fasaha na son gudanar da gwaje-gwaje. Wane nau'in rukunin yanar gizon ne ke jan hankalin ƙarin masu amfani - A ko B? Shin sigar A na samfurin mai ba da shawara yana samun kuɗi fiye da sigar B? Kusan koyaushe, don gwada hasashe, muna amfani da hanya mafi sauƙi daga ainihin darasin ƙididdiga:
Kodayake ba kasafai muke amfani da kalmar ba, ana kiran wannan nau'in gwaji "gwajin hasashen fifiko". Tare da wannan hanya, muna ɗauka cewa babu bambanci tsakanin zaɓuɓɓuka biyu. Mun tsaya tare da wannan ra'ayin kuma kawai muyi watsi da shi idan binciken ya kasance mai gamsarwa don tabbatar da shi - wato, yana nuna cewa zaɓi ɗaya (A ko B) ya fi ɗayan.
Gwajin hasashen fifiko ya dace don magance matsaloli iri-iri. Muna fitar da sigar B na ƙirar mai ba da shawara kawai idan ta fi kyau a fili fiye da sigar A da aka riga aka yi amfani da ita. Amma a wasu lokuta, wannan hanyar ba ta aiki sosai. Bari mu kalli wasu ‘yan misalai.
1) Muna amfani da sabis na ɓangare na uku, wanda ke taimakawa wajen gano katunan banki na bogi. Mun sami wani sabis wanda farashinsa ya ragu sosai. Idan sabis mai rahusa yana aiki kamar wanda muke amfani dashi a halin yanzu, za mu zaɓi shi. Ba lallai ne ya fi sabis ɗin da kuke amfani da shi ba.
2) Muna son sauke tushen bayanan A kuma musanya shi da tushen bayanai B. Za mu iya jinkirta barin A idan B ya haifar da sakamako mara kyau, amma ba zai yiwu a ci gaba da amfani da A ba.
3) Muna so mu matsa daga tsarin ƙirar ƙiraHanyar A zuwa B, ba don muna tsammanin kyakkyawan sakamako daga B ba, amma saboda yana ba mu ƙarin sassaucin aiki. Ba mu da dalilin yin imani cewa B zai kasance mafi muni, amma ba za mu canza ba idan ya kasance.
4) Mun yi wasu ingancin canje-canje ƙirar gidan yanar gizon (Sigar B) kuma mun yi imani cewa wannan sigar ta fi sigar A. Ba ma tsammanin canje-canje a cikin juzu'i ko kowane KPI waɗanda muke auna ma'aunin gidan yanar gizo akai-akai. Amma mun yi imanin cewa akwai fa'idodi a cikin sigogi waɗanda ba za a iya ƙididdige su ba, ko kuma fasahar mu ba ta isa ta aunawa ba.
A duk waɗannan lokuta, ingantaccen bincike ba shine mafi kyawun mafita ba. Amma yawancin ƙwararru a irin waɗannan yanayi suna amfani da shi ta hanyar tsoho. Muna gudanar da gwajin a hankali don sanin girman tasirin daidai. Idan gaskiya ne cewa nau'ikan A da B suna aiki ta hanyoyi masu kama da juna, da alama ba za mu iya ƙin yarda da hasashen banza ba. Shin mun kammala cewa A da B gabaɗaya suna aiki iri ɗaya ne? A'a! Rashin ƙin yarda da hasashe maras tushe da karɓar hasashe mara tushe ba abu ɗaya bane.
Ƙididdigar girman samfurin (wanda kuka yi, ba shakka) yana da iyakacin iyaka akan Kuskuren Nau'in I (yiwuwar yin watsi da ra'ayi mara kyau, sau da yawa ana kiransa alpha) fiye da Kuskuren Nau'in II (Yiwuwar kasawa ƙin ƙin yarda da null). hasashe, da aka ba da yanayin cewa hasashe na banza ƙarya ne, galibi ana kiransa beta). Matsakaicin ƙima na alpha shine 0,05 yayin da ƙima na yau da kullun don beta shine 0,20, wanda yayi daidai da ikon ƙididdiga na 0,80. Wannan yana nufin cewa ƙila ba za mu iya gano ainihin tasirin ƙimar da muka nuna a cikin lissafin ikonmu tare da yuwuwar 20% ba kuma wannan babban gibi ne a cikin bayanai. A matsayin misali, bari mu yi la’akari da waɗannan hasashe:
H0: Jakar baya baya cikin dakina (3)
H1: Jakar baya tana cikin dakina (4)
Idan na bincika dakina na sami jakar baya, babba, zan iya sauke hasashe mara amfani. Amma idan na duba dakin kuma na kasa samun jakunkuna na (Hoto na 1), menene ƙarshe zan zana? Na tabbata ba a can? Na yi bincike sosai? Idan na bincika kashi 80% na ɗakin fa? Don kammala cewa babu shakka babu jakar baya a cikin ɗakin zai zama yanke shawara mai gaggawa. Ba mamaki ba za mu iya "karɓi hasashe maras tushe ba".
Wurin da muka bincika
Ba mu sami jakar baya ba - ya kamata mu yarda da hasashe mara amfani?
Hoto 1. Neman kashi 80% na daki kusan daidai yake da yin bincike tare da iko 80%. Idan baku sami jakar baya ba bayan duba kusan kashi 80% na ɗakin, za ku iya yanke cewa babu?
To menene ya kamata masanin kimiyyar bayanai ya yi a cikin wannan yanayin? Kuna iya ƙara ƙarfin binciken sosai, amma sannan za ku buƙaci girman samfurin da ya fi girma, kuma sakamakon zai kasance mara gamsarwa.
Abin farin ciki, an dade ana nazarin irin waɗannan matsalolin a duniyar binciken asibiti. Drug B ya fi arha fiye da magani A; Ana sa ran maganin B zai haifar da ƙarancin illa fiye da miyagun ƙwayoyi A; miyagun ƙwayoyi B ya fi sauƙi don sufuri saboda baya buƙatar a sanyaya shi, amma magani A yana da. Mu gwada hasashe na rashin kaskanci. Wannan shine don nuna cewa sigar B tana da kyau kamar sigar A-aƙalla cikin wasu ƙayyadaddun iyaka “ba ƙarancin inganci”, Δ. Za mu ƙara magana game da yadda za a saita wannan iyaka kaɗan daga baya. Amma a yanzu, bari mu ɗauka cewa wannan shine ƙaramin bambanci wanda ke da mahimmanci a zahiri (a cikin mahallin gwaji na asibiti, galibi ana kiran wannan mahimmancin asibiti).
Hasashe game da ƙarancin inganci suna juyar da komai a ƙasa:
Yanzu, maimakon ɗaukan cewa babu bambanci, muna ɗauka cewa sigar B ta fi sigar A, kuma za mu tsaya kan wannan zato har sai mun nuna cewa ba haka lamarin yake ba. Wannan shine ainihin batun lokacin da yake da ma'ana don amfani da gwajin hasashe mai gefe ɗaya! A aikace, ana iya yin wannan ta hanyar gina tazarar amincewa da kuma ƙayyade ko tazarar ta fi Δ (Hoto 2).
Zabi Δ
Yadda za a zabi Δ daidai? Tsarin zaɓi na Δ ya haɗa da hujjar ƙididdiga da ƙima mai mahimmanci. A cikin duniyar bincike na asibiti, akwai ƙa'idodi na al'ada waɗanda ke ba da shawarar cewa delta ya kamata ya zama mafi ƙarancin bambance-bambancen asibiti - wanda zai zama mahimmanci a aikace. Anan akwai magana daga littafin jagorar Turai don gwada kanku da: “Idan an zaɓi bambancin daidai, tazarar amincewa da ke tsakanin –∆ da 0… har yanzu ya isa ya nuna ƙarancin inganci. Idan wannan sakamakon bai yi kama da karbuwa ba, yana nufin cewa ba a zaɓi ∆ yadda ya kamata ba.
Ba lallai ba ne delta ya wuce girman tasirin sigar A dangane da kulawa ta gaskiya (placebo / babu magani), saboda wannan yana haifar da mu ga ƙarshe cewa Sigar B ya fi muni da iko na gaskiya, yayin da a lokaci guda yana nuna "babu ƙarancin inganci. ". A ce lokacin da aka gabatar da sigar A, sigar 0 tana wurinsa, ko fasalin bai wanzu ba kwata-kwata (duba Hoto na 3).
Dangane da sakamakon gwajin hasashen fifiko, girman tasirin E ya bayyana (wato, mai yiwuwa μ^A-μ^0=E). Yanzu A shine sabon ma'aunin mu, kuma muna so mu tabbatar da B yana da kyau kamar A. Wata hanyar da za a rubuta μB-μA≤−Δ (ƙananan ra'ayi) shine μB≤μA-Δ. Idan muka ɗauka cewa yin daidai yake da ko ya fi E, to μB ≤ μA-E ≤ placebo. Yanzu mun ga cewa ƙimar mu na μB ya fi μA-E gabaɗaya, wanda haka gaba ɗaya ya karyata ra'ayi mara kyau kuma ya ba mu damar kammala cewa B ba ƙasa da A ba, amma a lokaci guda, μB na iya zama ≤ μ placebo, wanda ba shine abin da muke bukata ba. (Hoto na 3).
Hoto 3. Nuna haɗarin zabar iyakar da ba ta da inganci. Idan iyaka ya yi girma, ana iya ƙarasa da cewa B baya ƙasa da A, amma a lokaci guda ba a iya bambanta da placebo. Ba za mu canza wani magani wanda ya fi tasiri a fili fiye da placebo (A) don maganin da ke da tasiri kamar placebo.
Zabi α
Mu wuce zuwa zabin α. Kuna iya amfani da daidaitaccen ƙimar α = 0,05, amma wannan ba cikakke ba ne. Kamar misali, lokacin da ka sayi wani abu a Intanet kuma ka yi amfani da lambobin rangwame da yawa a lokaci ɗaya, kodayake bai kamata a haɗa su ba - mai haɓakawa kawai ya yi kuskure, kuma kun tafi tare da shi. Dangane da ka'idodin, ƙimar α dole ne ya zama daidai da rabin ƙimar α, wanda ake amfani da shi wajen gwada hasashen fifiko, watau 0,05/2 = 0,025.
Girman samfurin
Yadda za a kimanta girman samfurin? Idan kun ɗauka cewa ainihin ma'anar ma'anar tsakanin A da B shine 0, to, lissafin girman samfurin daidai yake da a cikin gwajin hasashen fifiko, sai dai kun maye gurbin girman tasirin tare da iyakacin ƙarancin inganci, in dai kuna iya. amfani α ba ƙaramin inganci = 1/2 α fifiko (α mara-ƙasa = 1/2α fifiko). Idan kuna da dalili don yin imani da cewa zaɓin B zai iya zama dan kadan fiye da zaɓi A, amma kuna so ku tabbatar da cewa bai wuce Δ mafi muni ba, to kuna cikin sa'a! A sakamakon haka, wannan yana rage girman samfurin ku saboda yana da sauƙi don nuna cewa B ya fi muni fiye da A idan kuna tunanin yana da dan kadan, ba daidai ba.
Misalin Magani
Bari mu ce kuna son haɓakawa zuwa sigar B, muddin bai wuce maki 0,1 mafi muni ba fiye da sigar A akan ma'aunin gamsuwar abokin ciniki mai maki 5 ... Bari mu kusanci wannan matsalar ta amfani da hasashen fifiko.
Don gwada hasashen fifiko, za mu lissafta girman samfurin kamar haka:
Wato, idan kuna da abubuwan lura 2103 a cikin rukuni, zaku iya tabbatar da kashi 90% cewa za ku sami tasirin 0,10 ko fiye. Amma idan 0,10 ya yi yawa a gare ku, ƙila ba zai cancanci gwada hasashen fifiko gare shi ba. Kuna iya tabbatar da gudanar da binciken don ƙaramin tasiri, kamar 0,05. A wannan yanayin, kuna buƙatar lura 8407, wato, samfurin zai ƙara kusan sau 4. Amma idan muka tsaya ga girman samfurin mu na asali amma ƙara ƙarfin zuwa 0,99 don haka ba mu shakka idan mun sami sakamako mai kyau? A wannan yanayin, n don rukuni ɗaya zai zama 3676, wanda ya riga ya fi kyau, amma yana ƙara girman samfurin fiye da 50%. Kuma a sakamakon haka, har yanzu ba za mu iya karyata hasashen banza ba, kuma ba za mu sami amsar tambayarmu ba.
Idan a maimakon haka mun gwada hasashe na rashin inganci fa?
Za a ƙididdige girman samfurin ta amfani da dabara iri ɗaya sai dai ma'auni.
Bambance-bambance daga dabarar da aka yi amfani da ita wajen gwada hasashen fifiko sune kamar haka:
- Z1-α / 2 an maye gurbinsu da Z1-α, amma idan kun yi komai bisa ga ka'idoji, kun maye gurbin α = 0,05 tare da α = 0,025, wato, wannan lambar ɗaya ce (1,96)
- yana bayyana a cikin ma'auni (μB-μA)
- θ (girman sakamako) an maye gurbinsu da Δ (iyakar ƙarancin inganci)
Idan muka ɗauka cewa µB = µA, to (µB - µA) = 0 kuma ƙididdige girman samfurin don ƙarancin ƙarancin ƙarancin shine daidai abin da za mu samu lokacin ƙididdige fifiko don girman sakamako na 0,1, mai girma! Za mu iya yin nazari na ma'auni ɗaya tare da hasashe daban-daban da kuma hanya daban-daban na ƙarshe kuma za mu sami amsar tambayar da muke son amsawa.
Yanzu ɗauka ba mu yarda da gaske cewa µB = µA da
muna tsammanin µB ya ɗan yi muni, watakila ta raka'a 0,01. Wannan yana ƙara ƙimar mu, yana rage girman samfurin kowane rukuni zuwa 1737.
Me zai faru idan sigar B ta fi sigar A? Mun ƙi hasashe mara kyau cewa B ya fi A da fiye da ∆ kuma mun yarda da madadin hasashen cewa B, idan ya fi muni, bai fi ∆ muni ba kuma zai iya zama mafi kyau. Gwada sanya wannan ƙarshe a cikin gabatarwar aikin giciye kuma duba abin da ya faru (da gaske, gwada shi). A cikin halin da ake ciki inda kake buƙatar zama mai daidaitawa zuwa gaba, babu wanda yake so ya daidaita don "mafi muni fiye da Δ kuma mai yiwuwa mafi kyau."
A wannan yanayin, zamu iya gudanar da binciken da ake kira a takaice "gwajin hasashen cewa daya daga cikin zabin ya fi daya ko kasa da wancan." Yana amfani da nau'i biyu na hasashe:
Saitin farko (daidai da lokacin gwada hasashe na rashin inganci):
Saiti na biyu (daidai da lokacin gwada hasashen fifiko):
Muna gwada hasashe na biyu ne kawai idan aka ƙi na farko. A cikin gwaje-gwaje na jere, muna kiyaye matakin gabaɗayan kurakuran Nau'in I (α). A aikace, ana iya samun wannan ta hanyar ƙirƙirar tazarar amincewa ta 95% don bambanci tsakanin hanyoyin da dubawa don ganin idan duk tazara ya fi -Δ. Idan tazara bai wuce -Δ ba, ba za mu iya ƙin ƙimar sifili ba kuma mu tsaya. Idan duk tazara ta fi girma -Δ, za mu ci gaba kuma mu ga idan tazarar ta ƙunshi 0.
Akwai wani nau'in binciken da ba mu tattauna ba - nazarin daidaito.
Nazarin irin wannan nau'in za'a iya maye gurbinsu ta hanyar karatu don gwada hasashe na rashin tasiri da akasin haka, amma su kansu suna da muhimmiyar bambanci. Gwajin da ba na ƙasƙanci ba yana nufin nuna cewa zaɓin B yana da kyau aƙalla kamar A. Kuma nazarin daidaito yana nufin nuna cewa zaɓin B yana da kyau kamar A, zaɓin A kuma yana da kyau kamar B, wanda ya fi wahala. . A zahiri, muna ƙoƙarin tantance ko gaba ɗaya tazarar amincewa ga bambanci tsakanin hanyoyin ya ta'allaka ne tsakanin -∆ da ∆. Irin waɗannan karatun suna buƙatar girma samfurin kuma ana gudanar da su ƙasa akai-akai. Don haka lokaci na gaba da za ku yi nazari inda babban abin da ke damun ku shine tabbatar da cewa sabon sigar yana da kyau, kar ku daidaita don "kasawar karyata hasashen banza." Idan kuna son gwada hasashe mai mahimmanci, la'akari da zaɓuɓɓuka daban-daban.
source: www.habr.com