Hiji artikel ti tim Stitch Fix nyarankeun ngagunakeun pendekatan non-inferiority percobaan dina pamasaran jeung produk A / B tés. Pendekatan ieu leres-leres lumaku nalika urang nguji solusi énggal anu ngagaduhan kauntungan anu henteu diukur ku tés.
Conto pangbasajanna nyaéta pangurangan biaya. Contona, urang ngajadikeun otomatis prosés assigning palajaran kahiji, tapi urang teu hayang nyata ngurangan konversi tungtung-to-tungtung. Atanapi urang nguji parobahan anu ditujukeun pikeun hiji bagean pangguna, bari mastikeun yén konvérsi pikeun bagéan sanés henteu turun pisan (nalika nguji sababaraha hipotesis, ulah hilap ngeunaan amandemen).
Milih margin non-inferioritas anu leres nambihan tantangan tambahan salami fase desain tés. Patarosan kumaha carana milih Δ teu pisan ogé katutupan dina artikel. Sigana mah pilihan ieu henteu sapinuhna transparan dina uji klinis ogé. publikasi médis on laporan non-inferiority yén ngan satengah tina publikasi menerkeun pilihan wates, sarta mindeng justifications ieu ambigu atanapi henteu lengkep.
Dina sagala hal, pendekatan ieu sigana metot sabab ... ku cara ngurangan ukuran sampel nu diperlukeun, éta bisa ningkatkeun laju nguji, sarta, ku kituna, laju nyieun kaputusan. — Daria Mukhina, analis produk pikeun aplikasi mobile Skyeng.
Tim Stitch Fix resep nguji hal anu béda. Sakabeh komunitas téhnologi mikanyaah ngajalankeun tés dina prinsipna. Versi situs mana anu narik langkung seueur pangguna - A atanapi B? Naha versi A tina modél rekomendasi langkung seueur artos tibatan versi B? Pikeun nguji hipotesis, urang ampir sok nganggo pendekatan pangbasajanna tina kursus statistik dasar:
Sanaos urang jarang nganggo istilah, bentuk tés ieu disebut "uji hipotésis kaunggulan." Kalayan pendekatan ieu, urang nganggap yén teu aya bédana antara dua pilihan. Urang nempel sareng ideu ieu sareng ngan ukur ngantunkeun upami datana cekap pikeun ngalakukeunana-nyaéta, éta nunjukkeun yén salah sahiji pilihan (A atanapi B) langkung saé tibatan anu sanés.
Nguji hipotésis kaunggulan cocog pikeun rupa-rupa masalah. Urang ngan ngarilis versi B tina model rekomendasi lamun eta jelas leuwih hade tinimbang versi A nu geus dipake. Tapi dina sababaraha kasus, pendekatan ieu teu jalan jadi ogé. Hayu urang nempo sababaraha conto.
1) Kami nganggo jasa pihak katilu, nu mantuan ngaidentipikasi kartu bank palsu. Kami mendakan jasa sanés anu hargana langkung murah. Upami jasa anu langkung mirah tiasa dianggo sareng anu ayeuna kami anggo, kami bakal milih éta. Henteu kedah langkung saé tibatan jasa anu anjeun anggo.
2) Urang rék abandon sumber data A tur ngaganti ku sumber data B. Urang bisa reureuh abandoning A lamun B ngahasilkeun hasil pisan goréng, tapi teu mungkin neruskeun migunakeun A.
3) Urang hoyong pindah tina pendekatan modelingPendekatan A ka B henteu kusabab urang ngarepkeun hasil anu langkung saé ti B, tapi kusabab éta masihan kami kalenturan operasional anu langkung ageung. Urang teu boga alesan pikeun yakin yén B bakal parah, tapi urang moal nyieun transisi lamun ieu hal.
4) Urang geus nyieun sababaraha parobahan kualitatif kana rarancang ramatloka (versi B) sarta yakin yén versi ieu punjul ti versi A. Urang ulah ngaharepkeun parobahan dina konvérsi atawa salah sahiji indikator kinerja konci ku nu urang ilaharna evaluate ramatloka a. Tapi kami yakin yén aya mangpaat dina parameter anu boh unmeasurable atawa téhnologi urang teu cukup pikeun ngukur.
Dina sadaya kasus ieu, panalungtikan kaunggulan sanes solusi anu paling pas. Tapi sabagéan ageung spesialis dina kaayaan sapertos kitu ngagunakeun éta sacara standar. Urang sacara saksama ngalaksanakeun ékspérimén pikeun nangtoskeun ukuran éfék anu leres. Upami leres yén versi A sareng B dianggo dina cara anu sami, aya kamungkinan yén urang bakal gagal nampik hipotésis nol. Naha urang nyimpulkeun yén A sareng B ngalaksanakeun dasarna sami? Henteu! Gagalna nampik hipotésis nol sareng nampi hipotésis nol sanés hal anu sami.
Itungan ukuran sampel (anu, tangtosna, anjeun geus dipigawé) umumna dipigawé kalawan bounds tighter pikeun kasalahan Tipe I (kamungkinan gagal pikeun nolak null hypothesis, mindeng disebut alfa) ti kasalahan Tipe II (kamungkinan gagal. nolak hipotésis nol, tinangtu kaayaan yén hipotésis nol téh palsu, mindeng disebut béta). Nilai has pikeun alfa nyaéta 0,05, sedengkeun nilai has pikeun béta nyaéta 0,20, pakait sareng kakuatan statistik 0,80. Ieu ngandung harti yén aya 20% kasempetan yén urang bakal sono pangaruh sabenerna kuantitas kami geus dieusian dina itungan kakuatan urang, tur éta gap cukup serius dina informasi. Salaku conto, hayu urang nganggap hipotesis di handap ieu:
H0: ransel abdi TEU aya di kamar abdi (3)
H1: ransel abdi aya di kamar abdi (4)
Mun kuring searched kamar kuring sarta kapanggih ransel kuring, hébat, Abdi tiasa nampik null hypothesis. Tapi lamun kuring nempo sabudeureun kamar tur teu bisa manggihan ransel kuring (Gambar 1), naon kacindekan kuring kudu tarik? Naha kuring yakin éta henteu aya? Naha kuring kasampak cukup teuas? Kumaha upami kuring ngan ukur milarian 80% kamar? Concluding yén ransel pasti moal di kamar bakal kaputusan baruntus. Teu heran urang teu bisa "narima null hypothesis."
Wewengkon anu urang milarian
Kami henteu mendakan ransel - naha urang kedah nampi hipotésis nol?
Gambar 1: Milarian 80% kamar kasarna sami sareng milarian kakuatan 80%. Mun anjeun teu manggihan ransel sanggeus pilari 80% tina kamar, anjeun tiasa disimpulkeun yen teu aya?
Janten naon anu kedah dilakukeun ku élmuwan data dina kaayaan ieu? Anjeun tiasa pisan ningkatkeun kakuatan pangajaran, tapi teras anjeun peryogi ukuran sampel anu langkung ageung sareng hasilna tetep henteu nyugemakeun.
Untungna, masalah sapertos ieu geus lila ditalungtik di dunya panalungtikan klinis. Ubar B langkung mirah tibatan ubar A; Narkoba B diperkirakeun nyababkeun efek samping anu langkung sakedik tibatan Narkoba A; ubar B leuwih gampang diangkut sabab teu perlu refrigerated, tapi ubar A. Hayu urang nguji hipotésis non-inferiority. Ieu pikeun nunjukkeun yén vérsi B ogé saé sareng vérsi A—sahenteuna dina sababaraha margin noninferioritas anu tos ditetepkeun, Δ. Urang bakal ngobrol langkung seueur ngeunaan kumaha nyetél wates ieu engké. Tapi pikeun ayeuna hayu urang nganggap yén ieu téh bédana pangleutikna anu praktis bermakna (dina konteks uji klinis, ieu biasana disebut signifikansi klinis).
Hipotesis non-inferiority ngahurungkeun sagalana dina sirah na:
Ayeuna, tinimbang nganggap yén teu aya bédana, urang bakal nganggap yén versi B leuwih goreng ti versi A, sarta kami bakal lengket kalayan asumsi ieu dugi kami demonstrate yén ieu teu masalahna. Ieu persis momen nalika asup akal ngagunakeun uji hipotésis hiji sisi! Dina prakna, ieu bisa dilakukeun ku cara ngawangun interval kapercayaan jeung nangtukeun naha interval sabenerna leuwih gede ti Δ (Gambar 2).
Pilih Δ
Kumaha carana milih Δ katuhu? Prosés pamilihan Δ kalebet leresan statistik sareng évaluasi substantif. Dina dunya panalungtikan klinis, aya tungtunan pangaturan anu ngarahkeunnana yén délta kedah ngawakilan bédana signifikan klinis pangleutikna-hiji anu bakal nyieun béda dina prakna. Ieu mangrupikeun kutipan tina pedoman Éropa pikeun nguji diri anjeun: "Upami bédana parantos dipilih leres, interval kapercayaan anu sadayana aya antara -∆ sareng 0… masih cekap pikeun nunjukkeun henteu inferioritas. Upami hasil ieu sigana henteu ditarima, éta hartosna ∆ henteu dipilih sacara pas.
Délta pasti moal ngaleuwihan ukuran éfék versi A relatif ka kontrol leres (placebo / euweuh perlakuan), saprak ieu ngabalukarkeun urang nyebutkeun yén versi B leuwih goreng ti kontrol leres, bari dina waktos anu sareng demonstrating "non-inferiority". .” Hayu urang nganggap yén nalika versi A diwanohkeun, eta diganti ku versi 0 atawa fitur nu teu aya pisan (tingali Gambar 3).
Dumasar kana hasil nguji hipotésis kaunggulan, ukuran éfék E diungkabkeun (nyaéta, sigana μ^A−μ^0=E). Ayeuna A nyaéta standar anyar urang, sarta kami hayang mastikeun yén B téh alus sakumaha A. Cara séjén nulis μB−μA≤−Δ (null hypothesis) nyaeta μB≤μA−Δ. Lamun urang nganggap yén do sarua atawa leuwih gede ti E, lajeng μB ≤ μA−E ≤ placebo. Ayeuna urang tingali yén perkiraan kami pikeun μB lengkep ngaleuwihan μA−E, anu ku kituna lengkep nolak hipotésis nol sareng ngamungkinkeun urang nyimpulkeun yén B sae sareng A, tapi dina waktos anu sami μB tiasa janten ≤ μ plasebo, anu sanés pasualan naon anu urang peryogikeun. (Gambar 3).
Gambar 3. Demonstrasi tina resiko milih margin noninferiority. Upami cutoffna luhur teuing, tiasa disimpulkeun yén B henteu langkung handap tina A, tapi dina waktos anu sami teu tiasa dibédakeun tina plasebo. Kami moal tukeur ubar anu jelas langkung efektif tibatan plasebo (A) pikeun ubar anu efektif sapertos plasebo.
Pilihan α
Hayu urang ngaléngkah ka milih α. Anjeun tiasa nganggo nilai standar α = 0,05, tapi ieu teu sagemblengna adil. Siga, contona, nalika anjeun mésér hiji hal dina Internét sareng nganggo sababaraha kode diskon sakaligus, sanaos aranjeunna henteu kedah digabungkeun - pamekar ngan ukur ngalakukeun kasalahan, sareng anjeun ngajauhan éta. Nurutkeun aturan, nilai α kudu sarua jeung satengah nilai α anu digunakeun nalika nguji hipotésis kaunggulan, nyaéta 0,05/2 = 0,025.
Ukuran sampel
Kumaha estimasi ukuran sampel? Upami anjeun yakin yén bédana rata-rata anu leres antara A sareng B nyaéta 0, maka itungan ukuran sampel sami sareng nalika nguji hipotésis kaunggulan, kecuali anjeun ngagentos ukuran éfék sareng margin noninferiority, upami anjeun nganggo efisiensi αnon-inferior = 1/2αsuperioritas (αnon-inferioritas=1/2αsuperioritas). Upami anjeun gaduh alesan pikeun yakin yén pilihan B tiasa langkung parah tibatan pilihan A, tapi anjeun hoyong ngabuktikeun yén éta langkung parah ku henteu langkung ti Δ, maka anjeun untung! Ieu sabenerna ngurangan ukuran sampel anjeun sabab leuwih gampang pikeun demonstrate yén B leuwih goreng ti A lamun sabenerna pikir éta rada goréng tinimbang sarua.
Contona jeung solusi
Hayu urang nyebutkeun rék ningkatkeun ka versi B, disadiakeun yén éta téh teu leuwih ti 0,1 titik leuwih goreng ti versi A dina skala kapuasan customer 5-titik ... Hayu urang ngadeukeutan masalah ieu ngagunakeun hipotesa kaunggulan.
Pikeun nguji hipotésis kaunggulan, urang bakal ngitung ukuran sampel saperti kieu:
Nyaéta, upami anjeun gaduh 2103 observasi dina grup anjeun, anjeun tiasa 90% yakin yén anjeun bakal mendakan ukuran pangaruh 0,10 atanapi langkung ageung. Tapi lamun 0,10 teuing tinggi pikeun anjeun, eta bisa jadi teu patut nguji hipotesa kaunggulan pikeun. Janten dina sisi anu aman, anjeun tiasa mutuskeun pikeun ngajalankeun pangajian pikeun ukuran pangaruh anu langkung alit, sapertos 0,05. Dina hal ieu, anjeun bakal kudu 8407 observasi, nyaeta, sampel bakal ningkat ampir 4 kali. Tapi kumaha lamun urang nyangkut kana ukuran sampel aslina urang, tapi ngaronjat kakuatan ka 0,99 ku kituna urang bakal aman lamun urang meunang hasil positif? Dina hal ieu, n pikeun hiji grup bakal 3676, nu geus hadé, tapi ngaronjatkeun ukuran sampel leuwih ti 50%. Sarta salaku hasilna, urang masih saukur moal bisa refute null hypothesis, sarta kami moal nampi jawaban kana patarosan urang.
Kumaha upami urang nguji hipotésis noninferiority?
Ukuran sampel bakal diitung ngagunakeun rumus sarua iwal pangbagi.
Bédana tina rumus anu digunakeun pikeun nguji hipotésis kaunggulan nyaéta kieu:
- Z1−α/2 diganti ku Z1−α, tapi lamun ngalakukeun sagalana nurutkeun aturan, Anjeun ngaganti α = 0,05 jeung α = 0,025, nyaeta, jumlah anu sarua (1,96)
— (μB−μA) muncul dina pangbagi
— θ (ukuran éfék) diganti ku Δ (margin non-inferioritas)
Upami urang nganggap yén µB = µA, teras (µB − µA) = 0 sareng itungan ukuran sampel pikeun margin noninferiority persis naon anu bakal urang kéngingkeun upami urang ngitung kaunggulan pikeun ukuran pangaruh 0,1, saé! Urang tiasa ngalakukeun ulikan ngeunaan ukuran anu sarua kalawan hipotesis béda jeung pendekatan béda mun conclusions, sarta kami bakal meunang jawaban kana patarosan urang rék ngajawab.
Ayeuna anggap urang teu sabenerna mikir yén µB = µA jeung
Kami nganggap yén µB rada parah, meureun ku 0,01 unit. Ieu ngaronjatkeun pangbagi urang, ngurangan ukuran sampel per grup ka 1737.
Naon kajadian lamun versi B sabenerna leuwih hade tinimbang versi A? Urang nolak hipotesa nol yén B leuwih goreng ti A ku leuwih ti Δ sarta narima hipotesa alternatif nu B, lamun goréng, teu leuwih goreng ti A ku Δ tur bisa jadi hadé. Coba nempatkeun kacindekan ieu kana presentasi cross-fungsi sareng tingali naon anu kajantenan (serius, cobian). Dina kaayaan anu maju, teu aya anu hoyong netepkeun "henteu langkung ti Δ parah sareng panginten langkung saé."
Dina hal ieu, urang tiasa ngalaksanakeun hiji ulikan, nu disebut sakeudeung "nguji hipotésis yén salah sahiji pilihan téh unggul atawa inferior ti séjén". Éta ngagunakeun dua sét hipotésis:
Set kahiji (sarua jeung nguji hipotésis non-inferiority):
Set kadua (sarua jeung nalika nguji hipotésis kaunggulan):
Urang nguji hipotésis kadua ngan lamun anu kahiji ditolak. Nalika nguji sacara berurutan, urang ngajaga tingkat kasalahan Tipe I (α). Dina prakna, ieu bisa dihontal ku nyieun interval kapercayaan 95% pikeun bédana antara sarana jeung nguji pikeun nangtukeun naha sakabéh interval leuwih gede ti -Δ. Lamun interval teu ngaleuwihan -Δ, urang moal bisa nolak nilai null jeung eureun. Lamun sakabéh interval memang leuwih badag batan −Δ, urang bakal neruskeun tur tingal lamun interval ngandung 0.
Aya tipe séjén panalungtikan nu urang teu dibahas - studi equivalence.
Jenis studi ieu bisa diganti ku studi noninferiority sarta sabalikna, tapi maranéhna sabenerna boga béda penting. Uji coba noninferioritas tujuanana pikeun nunjukkeun yén pilihan B sahenteuna sae sareng A. Uji coba sasaruaan tujuanana pikeun nunjukkeun yén pilihan B sahenteuna sae sareng A. Pilihan A sae sareng B, anu langkung hese. Intina, urang nyobian nangtukeun naha sakabéh interval kapercayaan pikeun bédana dina hartosna perenahna antara −Δ jeung Δ. Panaliti sapertos peryogi ukuran sampel anu langkung ageung sareng jarang dilakukeun. Janten waktos salajengna anjeun ngalaksanakeun kajian anu tujuan utama anjeun nyaéta pikeun mastikeun yén versi énggal henteu langkung parah, entong netepkeun "gagalna nampik hipotésis nol". Upami anjeun hoyong nguji hipotésis anu penting pisan, pertimbangkeun pilihan anu béda.
sumber: www.habr.com