O se tala mai le 'au Stitch Fix o lo'o fautua mai ai le fa'aogaina o fa'ata'ita'iga e le fa'atauva'a ile maketi ma su'ega A/B oloa. O lenei faiga e aoga tele pe a matou suʻeina se fofo fou e iai faʻamanuiaga e le fuaina i suʻega.
O le faʻataʻitaʻiga sili ona faigofie o le faʻaititia o tau. Mo se faʻataʻitaʻiga, matou te otometi le faʻagasologa o le tuʻuina atu o le lesona muamua, ae matou te le manaʻo e faʻaititia tele le liua i le pito i le pito. Pe matou te suʻeina suiga e faʻatatau i le tasi vaega o tagata faʻaoga, aʻo faʻamautinoa e le faʻaitiitia tele suiga mo isi vaega (pe a suʻeina ni manatu, aua neʻi galo e uiga i teuteuga).
O le filifilia o le sa'o e le fa'atauva'a e fa'aopoopoina ai lu'itau fa'aopoopo i le taimi ole su'ega su'ega. O le fesili pe faʻafefea ona filifili Δ e leʻo lelei ona ufiufi i le tusiga. E foliga mai o lenei filifiliga e leʻo manino atoatoa i faʻataʻitaʻiga falemaʻi. faʻasalalauga faʻafomaʻi i luga o lipoti e le maualalo e naʻo le afa o faʻasalalauga e faʻamaonia ai le filifiliga o le tuaoi, ma e masani lava o nei faʻamaoniga e le mautonu pe leai ni auiliiliga.
I soo se tulaga, o lenei auala e foliga manaia ona ... e ala i le faʻaitiitia o le faʻataʻitaʻiga manaʻomia, e mafai ona faʻateleina le saoasaoa o suʻega, ma, o le mea lea, le saoasaoa o le faia o filifiliga. — Daria Mukhina, tagata suʻesuʻe oloa mo le Skyeng telefoni feaveaʻi.
E fiafia le 'au Stitch Fix e su'e mea eseese. O le fa'alapotopotoga fa'atekonolosi atoa e fiafia e fa'atino su'ega i le fa'avae. O le fea vaega o le saite e tosina mai ai le tele o tagata fa'aoga - A po'o le B? E sili atu tupe maua mai le lomiga A o le fa'ata'ita'iga fa'ata'ita'iga nai lo le lomiga B? Ina ia faʻataʻitaʻiina manatu, e toetoe lava o taimi uma tatou te faʻaogaina ai le auala sili ona faigofie mai le kosi faʻamaumauga autu:
E ui lava e seasea tatou faʻaogaina le faaupuga, o lenei ituaiga o suʻega e taʻua o le "superiority hypothesis testing." Faatasi ai ma lenei faiga, matou te manatu e leai se eseesega i le va o filifiliga e lua. Matou te tumau i lenei manatu ma naʻo le lafoaia pe afai o faʻamaumauga e lava le faʻamalosi e fai ai-o lona uiga, e faʻaalia ai o se tasi o filifiliga (A poʻo le B) e sili atu nai lo le isi.
O le su'eina o le manatu maualuga e talafeagai mo fa'afitauli eseese. E na'o le fa'asalalauga B o se fa'ata'ita'iga fa'ata'ita'iga pe afai e manino lelei nai lo le fa'asologa A o lo'o fa'aaogaina ae i nisi tulaga, e le lelei tele lenei faiga. Seʻi o tatou vaavaai i ni nai faaaʻoaʻoga.
1) Matou te faʻaaogaina se isi vaega auaunaga, lea e fesoasoani e iloa ai kata faletupe pepelo. Na matou maua se isi auaunaga e matua taugofie. Afai e aoga se auaunaga taugofie e pei foi o le auaunaga o loʻo matou faʻaogaina nei, matou te filifilia. E le tatau ona sili atu nai lo le auaunaga o loʻo e faʻaaogaina.
2) Matou te mananaʻo e lafoaʻia le puna faʻamatalaga A ma sui i le puna o faʻamatalaga B. E mafai ona matou faʻatuai le lafoaʻiina o le A pe afai e maua e B iʻuga leaga tele, ae e le mafai ona faʻaauau le faʻaaogaina o le A.
3) Matou te fia alu ese mai se faiga faʻataʻitaʻigaO le auala a le A i le B e le ona tatou te faʻamoemoe e sili atu iʻuga mai le B, ae ona e maua ai e i tatou le faʻaogaina sili atu ona fetuutuunai. E leai se mafuaaga matou te talitonu ai o le a sili atu le leaga o le B, ae matou te le faia se suiga pe afai o le tulaga lea.
4) Ua matou faia ni suiga lelei i totonu o le mamanu o le upega tafaʻilagi (version B) ma talitonu o lenei lomiga e sili atu nai lo le version A. Matou te le faʻamoemoeina suiga i le liua poʻo soʻo se faʻailoga autu o faʻatinoga e masani ona matou iloiloina ai se upega tafaʻilagi. Ae matou te talitonu o loʻo i ai faʻamanuiaga i faʻamaufaʻailoga e le mafai ona fuaina poʻo a matou tekinolosi e le lava e fuaina.
I nei tulaga uma, o suʻesuʻega maualuga e le o se fofo sili ona talafeagai. Ae o le tele o tagata tomai faapitoa i ia tulaga e faʻaaogaina e ala i le faaletonu. Matou te faia ma le faʻaeteete le faʻataʻitaʻiga e faʻamautinoa saʻo le tele o le aʻafiaga. Afai e moni o le lomiga A ma le B e galulue i ni auala tutusa, o loʻo i ai se avanoa e le mafai ai ona tatou teena le manatu le aoga. Pe tatou te fa'ai'uga e fa'atino e le A ma le B le tutusa? Leai! Le le mafai ona teena le manatu le aoga ma le taliaina o le manatu le aoga e le tutusa.
Fa'ata'ita'iga lapo'a fa'atatau (lea, ioe, na e faia) e masani lava ona fai ma fa'amautu le fa'agata mo le Tulaga I mea sese (le avanoa o le le mafai ona teena le manatu le aoga, e masani ona ta'ua o le alpha) nai lo mo le Type II sese (le ono mafai ona le mafai. teena le manatu le aoga, pe a tu'uina atu e sese le manatu le aoga, e masani ona ta'ua o le beta). O le tau masani mo le alpha o le 0,05, ae o le tau masani mo le beta o le 0,20, e fetaui ma le malosi fa'afuainumera o le 0,80. O lona uiga e 20% le avanoa o le a tatou misia ai le aafiaga moni o le aofaʻi na tatou faʻamaonia i la tatou faʻatusatusaga o le malosiaga, ma o se vaʻa ogaoga i faʻamatalaga. Mo se faʻataʻitaʻiga, seʻi o tatou mafaufau i manatu nei:
H0: E LE'O i totonu o lo'u potu la'u ato faafafa (3)
H1: o la'u ato faafafa o lo'o i totonu o lo'u potu (4)
Afai ou te su'eina lo'u potu ma maua la'u ato faafafa, lelei, e mafai ona ou teena le manatu le aoga. Ae afai ou te tilotilo solo i le potu ae le mafai ona maua la'u ato faafafa (Ata 1), o le a le faaiuga e tatau ona ou faia? Ou te mautinoa e le o iai? Pe na ou foliga malosi? Ae a pe a na'o le 80% o le potu na ou su'eina? O le fa'ai'uga o le ato fa'afafa e mautinoa lava e le oi totonu o le potu o se fa'ai'uga vave. Leitioa le mafai ona tatou "talia le manatu le aoga."
Le eria na matou su'eina
Matou te le'i mauaina le ato faafafa - e tatau ona matou talia le manatu le aoga?
Ata 1: Su'e le 80% ole potu e tutusa lelei ma le su'e ile 80% malosi. Afai e te le mauaina le ato faafafa pe a uma ona e suʻeina le 80% o le potu, e mafai ona e faʻamaonia e le o iai?
O le a la le mea e tatau ona faia e se saienitisi faʻamatalaga i lenei tulaga? E mafai ona e faʻateleina le malosi o le suʻesuʻega, ae o le a e manaʻomia se faʻataʻitaʻiga tele tele ma o le taunuuga o le a le faamalieina.
O le mea e lelei ai, o ia faʻafitauli ua leva ona suʻesuʻeina i le lalolagi o suʻesuʻega falemaʻi. O fualaau B e taugofie atu nai lo fualaau A; Ole Fualaau B e fa'amoemoe e fa'atupuina ai ni a'afiaga e itiiti ifo nai lo Fualaau A; O fualaau B e faigofie ona feavea'i ona e le mana'omia ona tuu i totonu o le pusaaisa, ae o le fualaau A. Se'i o tatou su'esu'eina le manatu o le le fa'atauva'a. O le mea lea e faʻaalia ai o le lomiga B e tutusa lelei ma le version A-a itiiti ifo i totonu o nisi faʻamaʻi le faʻaititia, Δ. O le a tatou talanoa atili i le auala e seti ai lenei tapulaʻa i se taimi mulimuli ane. Ae mo le taimi nei ia tatou manatu o le eseesega laʻititi lea e matua aoga (i le tulaga o faʻataʻitaʻiga faʻapitoa, e masani ona taʻua o le taua o le falemaʻi).
O manatu e le fa'aleagaina e liliu mea uma i luga o lona ulu:
I le taimi nei, nai lo le manatu e leai se eseesega, matou te manatu o le B e sili atu le leaga nai lo le version A, ma o le a matou tumau i lenei manatu seia matou faʻaalia e le o le tulaga lea. O le taimi tonu lea e talafeagai ai le faʻaogaina o suʻega faʻataʻitaʻiga tasi itu! I le faʻataʻitaʻiga, e mafai ona faia lenei mea e ala i le fausiaina o se vaeluaga mautinoa ma faʻamautinoa pe sili atu le vaeluaga nai lo le Δ (Ata 2).
Filifili Δ
E faʻafefea ona filifili le saʻo Δ? O le faiga filifiliga Δ e aofia ai faʻamaumauga faʻamaonia ma iloiloga taua. I le lalolagi o suʻesuʻega falemaʻi, o loʻo i ai taʻiala faʻatulafonoina e faʻatonuina e tatau ona faʻatusalia le delta i le eseesega sili ona taua ile falemaʻi-o le a faia se eseesega i le faʻatinoga. O se upusii lea mai taʻiala a Europa e faʻataʻitaʻi ai oe lava: "Afai ua saʻo le filifiliga o le eseesega, o le va o le mautinoa o loʻo taoto atoa i le va -∆ ma le 0… e lava lava e faʻaalia ai le le maualalo. Afai e foliga mai e le taliaina lenei i'uga, o lona uiga e le'i filifilia lelei le ∆.”
O le delta e mautinoa lava e le tatau ona sili atu i le tele o le aafiaga o le version A e fesoʻotaʻi ma le pulea moni (placebo / leai se togafitiga), talu ai e taʻitaʻia ai i tatou e fai atu o le version B e sili atu le leaga nai lo le pulea moni, ae i le taimi lava e tasi o loʻo faʻaalia ai le "leai le maualalo. .” Se'i fa'apea ina ua fa'aofi mai le fa'asologa A, na suia i le version 0 po'o le fa'aaliga e le'i iai lava (silasila i le Ata 3).
Faʻavae i luga o faʻaiʻuga o le suʻega o le manatu maualuga, na faʻaalia le tele o le aafiaga E (o lona uiga, atonu μ^A−μ^0=E). O le taimi nei o le A o la matou tulaga fou, ma matou te mananaʻo ia mautinoa o B e lelei ma A. O le isi auala e tusi ai le μB−μA≤−Δ (null hypothesis) o le μB≤μA−Δ. Afai tatou te manatu o le faia e tutusa pe sili atu i le E, ona μB ≤ μA−E ≤ placebo. O lenei ua tatou vaʻaia o la tatou faʻatusatusaga mo le μB e sili atu nai lo le μA−E, lea e matua teena ai le manatu le aoga ma mafai ai ona tatou faʻamaonia o B e lelei e pei o A, ae i le taimi lava e tasi μB atonu o le ≤ μ placebo, e le o le mataupu. (Ata 3).
Ata 3. Fa'aalia o a'afiaga o le filifilia o se fa'ailoga e le fa'atauva'a. Afai e maualuga tele le tipi, e mafai ona faʻamaonia e le maualalo le B i le A, ae i le taimi lava e tasi e le mafai ona iloa mai le placebo. Matou te le fa'afesuia'i se vaila'au e manino e sili atu le aoga nai lo le placebo (A) mo se vaila'au e tutusa lelei ma le placebo.
Filifiliga o le α
Sei o tatou agai i luma i le filifilia o le α. E mafai ona e fa'aogaina le tau masani α = 0,05, ae e le'o atoatoa. E pei, mo se faʻataʻitaʻiga, pe a e faʻatau se mea i luga ole laiga ma faʻaaoga le tele o faʻaitiitiga faʻaitiitiga i le taimi e tasi, e ui lava e le tatau ona tuʻufaʻatasia - na faia e le tagata atiaʻe se mea sese, ma e te alu ese ai. E tusa ai ma tulafono, o le tau o le α e tatau ona tutusa ma le afa o le tau o le α e faʻaaogaina pe a suʻeina le manatu maualuga, o lona uiga, 0,05 / 2 = 0,025.
Tele fa'ata'ita'iga
E fa'afefea ona fa'atatau le tele o fa'ata'ita'iga? Afai e te talitonu o le eseesega moni i le va o le A ma le B o le 0, o le fua fa'ata'ita'i lapo'a e tutusa ma le taimi e su'e ai le manatu maualuga, se'i vagana ua e suia le tele o le aafiaga i le fa'ailoga e le maualalo, pe a e fa'aaoga. αle-fa'atauva'a lelei = 1/2αsuperiority (αle-maualalo=1/2αsilia). Afai e iai sau mafuaaga e te talitonu ai o le filifiliga B atonu e sili atu le leaga nai lo le filifiliga A, ae e te manaʻo e faʻamaonia e sili atu le leaga i le Δ, ona e laki lea! O le mea moni e fa'aitiitia ai lau fa'ata'ita'iga lapo'a aua e faigofie atu ona fa'aalia e sili atu le leaga o le B nai lo le A pe afai e te manatu moni e sili atu le leaga nai lo le tutusa.
Faataitaiga ma fofo
Fa'apea e te mana'o e fa'aleleia i le version B, pe a le sili atu i le 0,1 points le leaga nai lo le version A i luga o le 5-point customer satisfaction scale... Sei o tatou fa'alatalata atu i lenei fa'afitauli e fa'aaoga ai le manatu maualuga.
Ina ia faʻataʻitaʻiina le manatu maualuga, matou te faʻatatauina le tele o faʻataʻitaʻiga e pei ona taua i lalo:
O lona uiga, afai e iai sau 2103 faʻamatalaga i lau vaega, e mafai ona e 90% mautinoa o le ae mauaina se aafiaga tele o le 0,10 pe sili atu. Ae afai e maualuga tele le 0,10 mo oe, atonu e le aoga le suʻeina o le manatu maualuga mo. Ina ia i ai i le itu saogalemu, atonu e te filifili e faʻatautaia le suʻesuʻega mo se laʻititi laʻititi, pei ole 0,05. I lenei tulaga, o le ae manaomia 8407 matau, o lona uiga, o le faataitaiga o le a faateleina toetoe 4 taimi. Ae faʻafefea pe a tatou pipii i la tatou faʻataʻitaʻiga muamua, ae faʻateleina le malosi ile 0,99 ina ia tatou saogalemu pe a maua se iʻuga lelei? I lenei tulaga, n mo le tasi vaega o le a 3676, lea ua sili atu, ae faʻateleina le faʻataʻitaʻiga tele e sili atu i le 50%. Ma o se taunuuga, o le a le mafai lava ona tatou teena le manatu le aoga, ma o le a tatou le mauaina se tali i la tatou fesili.
Ae fa'afefea pe a tatou fa'ata'ita'iina le manatu e le fa'atauva'a?
Ole lapo'a fa'ata'ita'i ole a fa'atatau ile fa'atatau e tasi se'i vagana le denominator.
O ese'esega mai le fua fa'atatau e su'e ai le manatu maualuga e fa'apea:
— Z1−α/2 ua sui e Z1−α, ae afai e te faia mea uma e tusa ai ma tulafono, e te sui le α = 0,05 ma le α = 0,025, o lona uiga, o le numera tutusa (1,96)
— (μB−μA) o loʻo faʻaalia i le faʻailoga
— θ (a'afiaga tele) ua suia i le Δ (fa'ailoga o le le maualalo)
Afai tatou te manatu o le μB = μA, ona (μB − μA) = 0 ma le faʻataʻitaʻiga faʻatusatusaina o le lapoʻa mo le le faʻaleagaina o le mea tonu lea tatou te maua pe a tatou fuafuaina le maualuga mo se aafiaga tele o le 0,1, sili! E mafai ona tatou faia se suʻesuʻega o le lapoʻa tutusa ma manatu eseese ma se auala ese i faaiuga, ma o le a tatou maua le tali i le fesili tatou te manaʻo moni e tali.
Fa'apea la tatou te le'o manatu moni lava o le µB = µA ma
Matou te manatu o le µB e sili atu le leaga, atonu e 0,01 iunite. Ole mea lea e fa'ateleina ai le tatou denominator, fa'aiti'itia le tele fa'ata'ita'i ile vaega ile 1737.
O le a le mea e tupu pe a sili atu le lomiga B nai lo le lomiga A? Matou te teena le manatu le aoga o le B e sili atu le leaga nai lo le A e sili atu nai lo le Δ ma talia le isi manatu o le B, pe a leaga, e le sili atu le leaga nai lo le A i le Δ ma atonu e sili atu. Taumafai e tu'u lenei fa'ai'uga i totonu o se fa'asalalauga fa'asagatau ma va'ai po'o le a le mea e tupu (fa'amaoni, taumafai). I se tulaga e vaʻai i luma, e leai se tasi e manaʻo e faʻamautu mo "le sili atu nai lo le Δ leaga ma atonu e sili atu."
I lenei tulaga, e mafai ona tatou faia se suʻesuʻega, lea e taʻua faʻapuupuu "faʻataʻitaʻiina le manatu o se tasi o filifiliga e sili atu pe maualalo i le isi." E fa'aogaina ni seti se lua o manatu:
Seti muamua (tutusa ma le su'eina o le manatu e le maualalo):
Seti lona lua (tutusa pe a su'eina le manatu maualuga):
Matou te suʻeina le manatu lona lua pe a teena le muamua. Pe a fa'ata'ita'i fa'asolosolo, matou te fa'atumauina le aofa'iga atoa o le ituaiga I fa'asologa o mea sese (α). I le faʻataʻitaʻiga, e mafai ona ausia lenei mea e ala i le fatuina o le 95% taimi faʻamaonia mo le eseesega i le va o auala ma suʻega e iloa ai pe sili atu le taimi atoa nai lo le -Δ. Afai e le sili atu le vaeluaga -Δ, e le mafai ona tatou teena le tau aoga ma taofi. Afai o le vaeluaga atoa e sili atu nai lo le −Δ, o le a tatou faʻaauau ma vaʻai pe o iai le 0 i le va.
E i ai le isi ituaiga o suʻesuʻega matou te leʻi talanoaina - suʻesuʻega tutusa.
O nei ituaiga o suʻesuʻega e mafai ona suia i suʻesuʻega le faʻaleagaina ma le isi itu, ae o loʻo i ai moni lava se eseesega taua. Ole su'esu'ega e le fa'atauva'a ole fa'amoemoe e fa'aalia ai le filifiliga B e sili atu le lelei ma le A. O le su'ega tutusa e fa'atatau e fa'aalia ai ole filifiliga B e sili atu le lelei ma le A. Filifiliga A e lelei ma le B, lea e sili atu ona faigata. O le mea moni, o loʻo matou taumafai e fuafua pe o le taimi atoa o le talitonuga mo le eseesega o uiga o loʻo taoto i le va o le -Δ ma le Δ. O ia su'esu'ega e mana'omia ai le tele o fa'ata'ita'iga lapo'a ma e fa'aitiiti fa'atinoina. O lea la o le isi taimi e te faia ai se suʻesuʻega lea o lau sini autu o le faʻamautinoa e le sili atu le leaga o le lomiga fou, aua le faʻamalieina mo le "le mafai ona teena le manatu le aoga." Afai e te manaʻo e suʻe se manatu taua tele, mafaufau i filifiliga eseese.
puna: www.habr.com
