Дар мақолаи гурӯҳи Stitch Fix истифодаи усули озмоишҳои беэътиноӣ дар маркетинг ва санҷишҳои маҳсулоти A/B пешниҳод карда мешавад. Ин равиш воқеан вақте татбиқ мешавад, ки мо ҳалли наверо меозмем, ки манфиатҳоеро доранд, ки бо санҷишҳо чен карда намешаванд.
Мисоли оддитарин кам кардани хароҷот аст. Масалан, мо раванди таъини дарси аввалро автоматӣ мекунем, аммо мо намехоҳем, ки табдили охири ба охир ба таври назаррас кам кунем. Ё мо тағиротҳоеро, ки ба як сегменти корбарон нигаронида шудаанд, месанҷем, дар ҳоле ки боварӣ ҳосил мекунем, ки табдилот барои сегментҳои дигар чандон коҳиш наёбад (ҳангоми санҷиши якчанд гипотеза, дар бораи ислоҳот фаромӯш накунед).
Интихоби дурусти маржаи пастсифат дар марҳилаи тарҳрезии санҷиш мушкилоти иловагиро илова мекунад. Масъалаи чӣ гуна интихоб кардани Δ дар мақола чандон хуб инъикос нашудааст. Чунин ба назар мерасад, ки ин интихоб дар озмоишҳои клиникӣ низ комилан шаффоф нест. Нашрияҳои тиббӣ дар бораи беэътиноӣ гузориш медиҳанд, ки танҳо нисфи нашрияҳо интихоби сарҳадро асоснок мекунанд ва аксар вақт ин асосҳо норавшананд ё муфассал нестанд.
Дар ҳар сурат, ин равиш ҷолиб ба назар мерасад, зеро... бо кам кардани андозаи зарурии интихоб, он метавонад суръати санҷиш ва аз ин рӯ, суръати қабули қарорҳоро зиёд кунад. — Дарья Мухина, таҳлилгари маҳсулот барои замимаи мобилии Skyeng.
Дастаи Stitch Fix озмоиши чизҳои гуногунро дӯст медорад. Тамоми ҷомеаи технологӣ усулан гузаронидани санҷишҳоро дӯст медорад. Кадом версияи сайт корбаронро бештар ҷалб мекунад - А ё В? Оё версияи А-и модели тавсияшаванда назар ба версияи В пули бештар меорад? Барои санҷидани фарзияҳо, мо қариб ҳамеша соддатарин равиши курси оморро истифода мебарем:
Гарчанде ки мо ин истилоҳро кам истифода мебарем, ин шакли санҷишро "озмоиши гипотезаи бартарӣ" меноманд. Бо ин равиш, мо тахмин мезанем, ки байни ду вариант фарқият вуҷуд надорад. Мо ба ин ақида содиқ мемонем ва танҳо он вақт даст мекашем, ки агар маълумот барои ин кор кофӣ бошад, яъне он нишон медиҳад, ки яке аз вариантҳо (А ё В) беҳтар аз дигараш аст.
Санҷиши гипотезаи бартарӣ барои ҳалли мушкилоти гуногун мувофиқ аст. Мо танҳо версияи В-и модели тавсияшударо мебарорем, агар он аз версияи А, ки аллакай истифода мешавад, беҳтар бошад.Аммо дар баъзе мавридҳо ин равиш чандон хуб кор намекунад. Биёед якчанд мисолро дида бароем.
1) Мо хидмати тарафи сеюмро истифода мебарем, ки барои муайян кардани кортҳои қалбакии бонкӣ кӯмак мекунад. Мо хидмати дигаре ёфтем, ки арзиши он ба таври назаррас камтар аст. Агар хидмати арзонтар мисли хидмате, ки мо ҳоло истифода мебарем, кор кунад, мо онро интихоб мекунем. Он набояд аз хидмате, ки шумо истифода мебаред, беҳтар бошад.
2) Мо мехоҳем аз манбаи маълумот даст кашем A ва онро бо манбаи додаҳои B иваз кунед. Агар B натиҷаҳои хеле бад ба бор орад, мо метавонем даст кашидан аз Аро ба таъхир андозем, аммо идома додани истифодаи A имконнопазир аст.
3) Мо мехоҳем аз равиши моделсозӣ гузаремМуносибати A ба B на аз он сабаб, ки мо аз B натиҷаҳои беҳтарро интизорем, балки барои он ки он ба мо чандирии бештари амалиётӣ медиҳад. Мо ягон асос надорем, ки Б бадтар мешавад, вале агар ин тавр бошад, мо ба гузариш намеравем.
4) Мо якчанд тағйироти сифатӣ ба амал овардем ба тарроҳии вебсайт (версияи B) дохил кунед ва боварӣ доред, ки ин версия аз версияи A болотар аст. Мо интизор нестем, ки тағирот дар табдил ё ягон нишондиҳандаи асосии кор, ки тавассути он мо маъмулан вебсайтро арзёбӣ мекунем. Аммо мо боварӣ дорем, ки дар параметрҳо фоидаҳо мавҷуданд, ки ё ченнашавандаанд ё технологияи мо барои чен кардан кофӣ нест.
Дар ҳамаи ин ҳолатҳо, тадқиқоти бартарият ҳалли мувофиқтарин нест. Аммо аксари мутахассисон дар чунин ҳолатҳо онро ба таври нобаёнӣ истифода мебаранд. Мо барои дуруст муайян кардани андозаи таъсир таҷрибаро бодиққат мегузаронем. Агар дуруст мебуд, ки версияҳои A ва B бо тарзҳои хеле шабеҳ кор мекунанд, имкони он вуҷуд дорад, ки мо гипотезаи ночизро рад карда натавонистем. Оё мо ба хулосае омадаем, ки A ва B асосан якхела иҷро мекунанд? Не! Рад накардани гипотезаи сифр ва қабули гипотезаи сифр як чиз нестанд.
Ҳисобкунии андозаи намуна (ки, албатта, шумо анҷом додаед) одатан бо маҳдудиятҳои сахттар барои хатогиҳои навъи I (эҳтимолияти рад накардани гипотезаи сифр, ки аксар вақт алфа номида мешавад) нисбат ба хатогии навъи II (эҳтимолияти рад накардан) анҷом дода мешавад. гипотезаи нопурра, бо шарте, ки гипотезаи сифр нодуруст аст, аксар вақт бета номида мешавад). Арзиши маъмулии алфа 0,05 аст, дар ҳоле ки арзиши маъмулии бета 0,20 аст, ки ба қудрати омории 0,80 мувофиқ аст. Ин маънои онро дорад, ки эҳтимолияти 20% вуҷуд дорад, ки мо таъсири воқеии миқдореро, ки дар ҳисобҳои қувваи худ нишон додаем, аз даст медиҳем ва ин холигии хеле ҷиддӣ дар иттилоот аст. Ба сифати мисол гипотезахои зеринро дида мебароем:
H0: ҷузвдони ман дар ҳуҷраи ман нест (3)
H1: ҷузвдони ман дар ҳуҷраи ман аст (4)
Агар ман ҳуҷраи худро кофтам ва ҷузвдони худро пайдо кунам, олиҷаноб, ман метавонам фарзияи бефоидаро рад кунам. Аммо агар ман ба гирду атрофи ҳуҷра нигаристам ва ҷузвдони худро наёбам (расми 1), ман бояд чӣ гуна хулоса бароям? Оё ман боварӣ дорам, ки он ҷо нест? Оё ман ба қадри кофӣ сахт нигоҳ кардам? Чӣ мешавад, агар ман танҳо 80% ҳуҷраро ҷустуҷӯ кунам? Ба хулосае омадан, ки ҷузвдон бешубҳа дар ҳуҷра нест, як қарори бесаводона хоҳад буд. Тааҷҷубовар нест, ки мо "гипотезаи ночизро қабул карда наметавонем".
Майдоне, ки мо ҷустуҷӯ кардем
Мо ҷузвдонро наёфтем - оё мо бояд гипотезаи нулро қабул кунем?
Тасвири 1: Ҷустуҷӯи 80% ҳуҷра тақрибан ба ҷустуҷӯи 80% қувваи барқ шабеҳ аст. Агар шумо ҷузвдони 80% ҳуҷраро наёфтед, оё шумо метавонед ба хулосае ояд, ки он ҷо нест?
Пас, дар ин вазъият як олими маълумот бояд чӣ кор кунад? Шумо метавонед қудрати омӯзишро хеле зиёд кунед, аммо он гоҳ ба шумо миқдори зиёди намуна лозим мешавад ва натиҷа ҳанӯз ҳам ғайриқаноатбахш хоҳад буд.
Хушбахтона, чунин мушкилот дар ҷаҳони тадқиқоти клиникӣ кайҳо боз омӯхта шудаанд. Доруи В нисбат ба доруи А арзонтар аст; Интизор меравад, ки доруи В нисбат ба доруи А камтар таъсироти номатлуб расонад; Интиқоли доруи В осонтар аст, зеро онро дар яхдон нигоҳ доштан лозим нест, аммо доруи А. Биёед фарзияи пастсифатро санҷем. Ин барои нишон додани он аст, ки версияи B мисли версияи А хуб аст - ҳадди аққал дар доираи баъзе маржаи пешакии номуайяншуда, Δ. Мо дар бораи чӣ гуна муқаррар кардани ин маҳдудият каме дертар сӯҳбат хоҳем кард. Аммо ҳоло биёед фарз кунем, ки ин хурдтарин фарқиятест, ки амалан муҳим аст (дар заминаи озмоишҳои клиникӣ, ин одатан аҳамияти клиникӣ номида мешавад).
Гипотезаҳои пастсифат ҳама чизро ба сари худ мегардонанд:
Акнун, ба ҷои он ки фарз кунем, ки ҳеҷ тафовуте вуҷуд надорад, мо фарз мекунем, ки версияи B бадтар аз версияи А аст ва мо то он даме, ки мо нишон надиҳем, ки ин тавр нест, ин фарзияро риоя хоҳем кард. Ин маҳз лаҳзаест, ки истифодаи санҷиши яктарафаи гипотеза маъно дорад! Дар амал ин корро тавассути сохтани фосилаи эътимод ва муайян кардани он, ки ин фосила воқеан аз Δ бузургтар аст, анҷом додан мумкин аст (расми 2).
Δ-ро интихоб кунед
Чӣ тавр интихоб кардани Δ дуруст? Раванди интихоби Δ асосноккунии оморӣ ва арзёбии моҳиятиро дар бар мегирад. Дар ҷаҳони тадқиқоти клиникӣ, дастурҳои танзимкунанда мавҷуданд, ки дикта мекунанд, ки дельта бояд хурдтарин фарқияти аз ҷиҳати клиникӣ муҳимро нишон диҳад - як фарқият дар амалия. Ин аст иқтибос аз дастурҳои аврупоӣ барои санҷидани худ: “Агар фарқият дуруст интихоб шуда бошад, фосилаи боварӣ, ки комилан байни –∆ ва 0… аст, ҳанӯз ҳам барои нишон додани пастӣ кофӣ аст. Агар ин натиҷа қобили қабул набошад, ин маънои онро дорад, ки ∆ дуруст интихоб нашудааст.”
Делта бешубҳа набояд аз андозаи таъсири версияи А нисбат ба назорати ҳақиқӣ зиёд бошад (плацебо/табобат нест), зеро ин моро водор мекунад, ки гӯем, ки версияи В аз назорати ҳақиқӣ бадтар аст ва ҳамзамон “қафомонӣ нест”. .» Фарз мекунем, ки вақте ки версияи A ҷорӣ карда шуд, он бо версияи 0 иваз карда шуд ё ин хусусият умуман вуҷуд надошт (ниг. Расми 3).
Дар асоси натиљањои санљиши фарзияи бартарї андозаи таъсир E ошкор карда шуд (яъне тахминан μ^A−μ^0=E). Ҳоло A стандарти нави мост ва мо мехоҳем боварӣ ҳосил кунем, ки B мисли A хуб аст. Роҳи дигари навиштани μB−μA≤−Δ (гипотезаи сифр) μB≤μA−Δ мебошад. Агар мо фарз кунем, ки do ба E баробар ё калонтар аст, пас μB ≤ μA−E ≤ плацебо. Ҳоло мо мебинем, ки тахмини мо барои μB комилан аз μA−E зиёд аст, ки ин фарзияи ночизро комилан рад мекунад ва ба мо имкон медиҳад, ки ба хулосае оянд, ки B ба мисли А хуб аст, аммо дар айни замон μB метавонад ≤ μ плацебо бошад, ки ин нест. ба мо чй лозим. (Расми 3).
Тасвири 3. Намоиши хатарҳои интихоби маржаи ғайриқонунӣ. Агар буриш хеле баланд бошад, метавон хулоса кард, ки B аз А камтар аст, аммо дар айни замон аз плацебо фарқ намекунад. Мо доруеро, ки аз плацебо (A) самараноктар аст, ба доруе, ки ба мисли плацебо самаранок аст, иваз намекунем.
Интихоби α
Биёед ба интихоби α гузарем. Шумо метавонед арзиши стандартии α = 0,05 -ро истифода баред, аммо ин комилан одилона нест. Масалан, вақте ки шумо чизеро онлайн мехаред ва якбора якчанд рамзи тахфифро истифода мебаред, гарчанде ки онҳо набояд якҷоя карда шаванд - таҳиякунанда танҳо хато кард ва шумо аз он халос шудед. Тибқи қоидаҳо, арзиши α бояд ба нисфи арзиши α, ки ҳангоми санҷиши гипотезаи бартарӣ истифода мешавад, баробар бошад, яъне 0,05 / 2 = 0,025.
Андозаи намуна
Ҳаҷми намунаро чӣ тавр ҳисоб кардан мумкин аст? Агар шумо боварӣ дошта бошед, ки фарқияти воқеии байни A ва B 0 аст, пас ҳисобкунии андозаи интихоб ҳамон тавре аст, ки ҳангоми санҷиши гипотезаи бартарӣ, ба истиснои он ки шумо андозаи таъсирро бо маржаи камӣ иваз мекунед, ба шарте ки шумо Самаранокии αғайри паст = 1/2αбартарӣ (αн-пастӣ=1/2αбартарӣ). Агар шумо асос дошта бошед, ки варианти B нисбат ба варианти А каме бадтар бошад, аммо шумо мехоҳед исбот кунед, ки он на бештар аз Δ бадтар аст, пас шумо хушбахт ҳастед! Ин воқеан андозаи намунаи шуморо кам мекунад, зеро нишон додани он осонтар аст, ки B нисбат ба A бадтар аст, агар шумо воқеан фикр кунед, ки он на баробар аст, балки каме бадтар аст.
Мисол бо ҳалли
Фарз мекунем, ки шумо мехоҳед ба версияи В навсозӣ кунед, ба шарте ки он аз рӯи ҷадвали 0,1-холии қаноатмандии муштариён аз версияи А на бештар аз 5 хол бадтар бошад... Биёед ба ин масъала бо истифода аз гипотезаи бартарият муроҷиат кунем.
Барои санҷидани гипотезаи бартарӣ, мо андозаи интихобро ба таври зерин ҳисоб мекунем:
Яъне, агар шумо дар гурӯҳи худ 2103 мушоҳида дошта бошед, шумо метавонед 90% боварӣ дошта бошед, ки шумо андозаи эффекти 0,10 ё калонтарро хоҳед ёфт. Аммо агар 0,10 барои шумо хеле баланд бошад, шояд барои санҷидани фарзияи бартарият арзише надошта бошад. Барои дар канори бехатар будан, шумо метавонед тасмим гиред, ки тадқиқотро барои андозаи камтари эффект, ба монанди 0,05 иҷро кунед. Дар ин ҳолат ба шумо 8407 мушоҳида лозим мешавад, яъне намуна тақрибан 4 маротиба зиёд мешавад. Аммо агар мо ба андозаи аслии намунаи худ часпида бошем, аммо қудратро то 0,99 зиёд кунем, то дар сурати гирифтани натиҷаи мусбӣ мо бехатар бошем? Дар ин ҳолат, n барои як гурӯҳ 3676 хоҳад буд, ки аллакай беҳтар аст, аммо андозаи интихобро бештар аз 50% зиёд мекунад. Ва дар натиҷа, мо то ҳол танҳо гипотезаи ночизро рад карда наметавонем ва ба саволи худ ҷавоб нахоҳем гирифт.
Чӣ мешавад, агар мо ба ҷои он гипотезаи ғайриқонуниро санҷида бошем?
Андозаи интихоб бо истифода аз ҳамон формула ҳисоб карда мешавад, ба истиснои махраҷ.
Фарқиятҳо аз формулае, ки барои санҷиши гипотезаи бартарият истифода мешаванд, инҳоянд:
— Z1−α/2 бо Z1−α иваз карда мешавад, аммо агар шумо ҳама чизро мувофиқи қоида иҷро кунед, шумо α = 0,05-ро бо α = 0,025 иваз мекунед, яъне ҳамон адад аст (1,96)
— (μB−μA) дар махраҷ пайдо мешавад
— θ (андозаи таъсир) бо Δ иваз карда мешавад (маржаи камбудӣ)
Агар мо фарз кунем, ки μB = µA, пас (μB - µA) = 0 ва ҳисобкунии андозаи намуна барои маржаи камбағалӣ маҳз ҳамон чизест, ки мо бартариятро барои андозаи эффекти 0,1 ҳисоб мекардем, олиҷаноб! Мо метавонем омӯзиши як андозаро бо фарзияҳои гуногун ва бархӯрди дигар ба хулосаҳо анҷом диҳем ва мо ба саволе, ки воқеан посух додан мехоҳем, посух хоҳем гирифт.
Акнун фарз кунем, ки мо аслан фикр намекунем, ки μB = µA ва
Мо фикр мекунем, ки µB каме бадтар аст, шояд 0,01 адад. Ин нишондиҳандаи моро зиёд мекунад ва андозаи интихобро барои як гурӯҳ то 1737 кам мекунад.
Чӣ мешавад, агар версияи B воқеан беҳтар аз версияи А бошад? Мо фарзияи ночизро рад мекунем, ки B аз А ба андозаи бештар аз Δ бадтар аст ва фарзияи алтернативӣ қабул мекунад, ки B, агар бадтар бошад, аз А аз Δ бадтар нест ва шояд беҳтар бошад. Кӯшиш кунед, ки ин хулосаро ба презентатсияи функсионалӣ гузоред ва бубинед, ки чӣ мешавад (ҷиддӣ, кӯшиш кунед). Дар вазъияти оянда, ҳеҷ кас намехоҳад, ки бо "на бештар аз Δ бадтар ва шояд беҳтар" розӣ шавад.
Дар ин ҳолат, мо метавонем тадқиқоте гузаронем, ки онро хеле мухтасар "озмоиши фарзияи он, ки яке аз вариантҳо аз дигараш бартарӣ ё пасттар аст" номида мешавад. Он ду маҷмӯи гипотезаҳоро истифода мебарад:
Маҷмӯи аввал (ҳамон ба санҷиши гипотезаи ғайриқонунӣ):
Маҷмӯи дуюм (ҳамон тавре ки ҳангоми санҷиши гипотезаи бартарӣ):
Мо гипотезаи дуюмро танҳо дар сурати рад кардани гипотезаи аввал месанҷем. Ҳангоми санҷиши пайдарпай, мо сатҳи умумии хатогиҳои Навъи I-ро нигоҳ медорем (α). Дар амал инро тавассути сохтани фосилаи эътимоди 95% барои фарқияти байни воситаҳо ва санҷиш барои муайян кардани он, ки тамоми фосила аз -Δ зиёдтар аст, ба даст овардан мумкин аст. Агар фосила аз -Δ зиёд набошад, мо наметавонем арзиши нулро рад кунем ва қатъ кунем. Агар тамоми фосила воқеан аз −Δ калонтар бошад, мо идома медиҳем ва мебинем, ки оё фосила 0 дорад.
Як намуди дигари тадқиқот вуҷуд дорад, ки мо онро баррасӣ накардаем - омӯзиши эквивалентӣ.
Ин намуди таҳқиқотро метавон бо таҳқиқоти беэътиноӣ ва баръакс иваз кард, аммо онҳо дар асл фарқияти муҳим доранд. Озмоиши беэътиноӣ ҳадафи он нишон додани он аст, ки варианти B ҳадди ақалл мисли A хуб аст. Озмоиши баробарӣ ҳадафи он нишон медиҳад, ки варианти B ҳадди аққал ба мисли A хуб аст. Варианти А ба мисли B хуб аст, ки мушкилтар аст. Аслан, мо кӯшиш мекунем, ки муайян кунем, ки оё тамоми фосилаи эътимод барои фарқият дар байни −Δ ва Δ аст. Чунин тадқиқотҳо миқдори зиёди интихобро талаб мекунанд ва камтар гузаронида мешаванд. Пас, дафъаи оянда шумо тадқиқоте анҷом медиҳед, ки дар он ҳадафи асосии шумо кафолат додани он аст, ки версияи нав бадтар нест, бо "натавонӣ рад кардани гипотезаи бефоида" розӣ нашавед. Агар шумо хоҳед, ки фарзияи воқеан муҳимро санҷед, вариантҳои гуногунро баррасӣ кунед.
Манбаъ: will.com