Një artikull nga ekipi i Stitch Fix sugjeron përdorimin e qasjes së kërkimeve klinike të mosefektivitetit (non-inferiority trials) në testet A/B të marketingut dhe produktit. Kjo qasje është vërtet e aplikueshme kur testojmë një zgjidhje të re me përfitime që nuk janë të matshme nga testet.
Shembulli më i thjeshtë është ulja e kostove. Për shembull, automatizojmë procesin e caktimit të mësimit të parë, por nuk duam të ulet ndjeshëm konversioni i përgjithshëm. Ose testojmë ndryshime të orientuara ndaj një segmenti të caktuar të përdoruesve, duke mbajtur nën kontroll që konversioni në segmentet e tjera të mos bjerë shumë (kur testojmë disa hipoteza, mos harroni rregullimet).
Zgjedhja e kufirit të saktë të mosefektivitetit shkakton vështirësi shtesë në fazën e dizajnit të testit. Pyetja se si të zgjidhet Πnë artikull nuk është trajtuar shumë mirë. Duket se kjo zgjedhje nuk është plotësisht transparente, as në provat klinike. Publikimet mjekësore mbi non-inferiority tregojnë se vetëm në gjysmën e publikimeve zgjedhja e kufijve është e arsyetuar, dhe shpesh këto arsyetime janë të pasqaruara ose të pa detajuara.
NĂ« çdo rast, kjo qasje duket interesante, pasi pĂ«rmes zvogĂ«limi tĂ« madhĂ«sisĂ« sĂ« nevojshme tĂ« mostrĂ«s mund tĂ« rritet shpejtĂ«sia e testimit, dhe kĂ«shtu edhe shpejtĂ«sia e marrjes sĂ« vendimeve. â Darya Mukhina, analiste produkti pĂ«r aplikacionin mobil Skyeng.
Ekipi i Stitch Fix e do tĂ« testojĂ« gjĂ«ra tĂ« ndryshme. E gjithĂ« komuniteti teknologjik nĂ« thelb e do tĂ« kryejĂ« teste. Cila version i faqes tĂ«rheq mĂ« shumĂ« pĂ«rdorues â A apo B? A sjell versioni A i modelit rekomandues mĂ« shumĂ« para sesa versioni B? Pothuajse gjithmonĂ« pĂ«r tĂ« verifikuar hipotezat pĂ«rdorim qasjen mĂ« tĂ« thjeshtĂ« nga kursi i bazĂ«s sĂ« statistikĂ«s:
MegjithĂ«se rrallĂ« e pĂ«rdorim kĂ«tĂ« term, ky lloj testimi quhet "verifikimi i hipotezĂ«s pĂ«r superioritetin". Me kĂ«tĂ« qasje, ne supojmĂ« se midis dy alternativave nuk ka ndonjĂ« ndryshim. Ne mbajmĂ« kĂ«tĂ« ide dhe e braktisim vetĂ«m nĂ« rast se tĂ« dhĂ«nat e marra janĂ« mjaft bindĂ«se pĂ«r kĂ«tĂ« â domethĂ«nĂ«, demonstrojnĂ« se njĂ« nga alternativat (A ose B) Ă«shtĂ« mĂ« e mirĂ« se tjetra.
Verifikimi i hipotezës mbi superioritetin është i përshtatshëm për zgjidhjen e shumë problemeve. Ne lëshojmë versionin B të modelit rekomandues vetëm nëse ai është dukshëm më i mirë se versioni A që po përdoret tashmë. Por në disa raste, ky qasje nuk funksionon aq mirë. Le të shqyrtojmë disa shembuj.
1) Ne përdorim një shërbim të jashtëm, i cili ndihmon në identifikimin e kartave bankare të falsifikuara. Ne kemi gjetur një shërbim tjetër, i cili kushton ndjeshëm më pak. Nëse shërbimi më i lirë funksionon me të njëjtë efektshmëri si ai që po përdorim tani, ne do ta zgjedhim atë. Ai nuk duhet domosdoshmërisht të jetë më i mirë se shërbimi që po përdorim.
2) Ne duam të heqim dorë nga burimi i të dhënave A dhe ta zëvendësojmë atë me burimin e të dhënave B. Ne mund ta shtyjmë heqjen dorë nga A nëse B jep rezultate shumë të dobëta, por vazhdimi i përdorimit të A nuk është i mundur.
3) Ne do të doja të kalonim nga qasja A në qasjen B jo sepse presim rezultate më të mira nga B, por sepse kjo na jep më shumë fleksibilitet operativ. Nuk kemi arsye të besojmë se B do të jetë më e keqe, por ne nuk do të bëjmë kalimin nëse nuk është kështu.4) Ne kemi bërë disa përmirësime të cilësisë
në dizajnin e faqes së internetit (versioni B) dhe besojmë se ky version e kalon versionin A. Ne nuk presim ndryshime në konvertimin ose në ndonjë tregues kyç performancë, me të cilët zakonisht e vlerësojmë faqen e internetit. Por besojmë se ka përfitime në parametrat që janë ose të pa matshëm, ose teknologjitë tona nuk janë të mjaftueshme për t'i matur ato. Në të gjitha këto raste, hulumtimi mbi superioritetin nuk është zgjidhja më e përshtatshme. Por shumica e specialistëve në këto situata e përdorin atë si standard. Ne kryejmë eksperimentin me kujdes për të përcaktuar saktësisht madhësinë e efektit. Nëse do të ishte e vërtetë që versionet A dhe B funksionojnë në mënyrë shumë të ngjashme, ekziston mundësia që të mos arrijmë të heqim dorë nga hipoteza zero. A arrijmë në përfundimin se A dhe B funksionojnë në mënyrë të ngjashme? Jo! Mosarritja për të hequr dorë nga hipoteza zero dhe pranim i hipotezës zero nuk janë njësoj.
Në këto raste, studimi i superioritetit nuk është zgjidhja më e përshtatshme. Por shumica e specialistëve në këto situata e përdorin atë si zgjidhje standarde. Ne kryejmë eksperimentin me kujdes për të përcaktuar saktësisht madhësinë e efektit. Nëse do të ishte e saktë që versionet A dhe B funksionojnë në një mënyrë shumë të ngjashme, ka mundësi që të mos arrijmë të lirojmë hipotezën null. A nxjerrim ne përfundimin se A dhe B për gjithçka funksionojnë njësoj? Jo! Mos arritja për të liruar hipotezën null dhe pranuar hipotezën null nuk janë njësoj.
Studimet mbi volumet e mostrave (të cilat natyrisht i keni kryer), zakonisht kryhen me kufij më të rreptë për gabimin e parë (probabiliteti i refuzimit të hipotezës nul, i njohur shpesh si alfa) sesa për gabimin e dytë (probabiliteti i paaftësisë për të refuzuar hipotezën nul, nëse hipoteza nul është e gabuar, e njohur shpesh si beta). Një vlerë tipike për alfan është 0,05, ndërsa një vlerë tipike për betan është 0,20, e cila korrespondon me fuqinë statistike 0,80. Kjo do të thotë se mund të mos zbulojmë ndikimin e vërtetë të madhësisë që kemi specifikuar në llogaritjet tona të fuqisë, me probabilitet 20% dhe kjo është një boshllëk relativisht serioz në informacion. Si shembull, le të shqyrtojmë këto hipoteza:
H0: çanta ime nuk është në dhomën time (3)
H1: çanta ime është në dhomën time (4)
NĂ«se e kam kontrolluar dhomĂ«n time dhe kam gjetur çantĂ«n time â shkĂ«lqyer, mund tĂ« refuzoj hipotezĂ«n nul. Por nĂ«se kam kontrolluar dhomĂ«n dhe nuk kam arritur tĂ« gjej çantĂ«n time (figura 1), çfarĂ« pĂ«rfundimi duhet tĂ« nxjerr? A jam i sigurt se nuk Ă«shtĂ« aty? A kam kĂ«rkuar mjaftueshĂ«m me vigjilencĂ«? ĂfarĂ« nĂ«se kam kontrolluar vetĂ«m 80% tĂ« dhomĂ«s? TĂ« arrijmĂ« nĂ« pĂ«rfundimin se çanta me siguri nuk Ă«shtĂ« nĂ« dhomĂ« do tĂ« ishte njĂ« vendim i pamenduar. Nuk Ă«shtĂ« çudi qĂ« nuk mund tĂ« âpranojmĂ« hipotezĂ«n nul.â
Zona që kemi kontrolluar
Nuk gjetĂ«m çantĂ«n â a duhet tĂ« pranojmĂ« hipotezĂ«n nul?
Figura 1. Të kontrollosh 80% të dhomës është përafërsisht si të kryesh një studim me fuqi 80%. Nëse nuk gjetët çantën, pas kontrollit të 80% të dhomës, a mund të arrijmë në përfundim se nuk është aty?
Pra, çfarë duhet të bëjë specialisti i të dhënave në këtë situatë? Mund të rrisë ndjeshëm fuqinë e studimit, por atëherë do t'ju duhet një mostrë shumë më e madhe, dhe rezultati akoma do të jetë i pakënaqshëm.
FatkeqĂ«sisht, kĂ«to probleme janĂ« studiuar prej kohĂ«sh nĂ« botĂ«n e kĂ«rkimeve klinike. Ilaçi B Ă«shtĂ« mĂ« i lirĂ« se ilaçi A; pritet qĂ« ilaçi B tĂ« shkaktojĂ« mĂ« pak efekte anĂ«sore se ilaçi A; ilaçi B Ă«shtĂ« mĂ« i lehtĂ« pĂ«r tu transportuar sepse nuk ka nevojĂ« tĂ« ruhet nĂ« frigorifer, ndĂ«rsa ilaçi A â ka. Le tĂ« verifikojmĂ« hipotezĂ«n pĂ«r efikasitetin e njĂ«jtĂ«. Kjo Ă«shtĂ« e nevojshme pĂ«r tĂ« treguar se versioni B Ă«shtĂ« po aq i mirĂ« sa versioni A â tĂ« paktĂ«n brenda njĂ« kufiri tĂ« paracaktuar âtĂ« efikasitetit tĂ« njĂ«jtĂ«â, Î. Pak mĂ« vonĂ« do tĂ« flasim mĂ« nĂ« detaje se si tĂ« pĂ«rcaktojmĂ« kĂ«tĂ« kufi. Por pĂ«r tani, le tĂ« supojmĂ« se kjo Ă«shtĂ« ndryshimi minimal qĂ« Ă«shtĂ« praktikisht i rĂ«ndĂ«sishĂ«m (nĂ« kontekstin e provave klinike zakonisht quhet rĂ«ndĂ«si klinike).
Hipotezat për efikasitetin e njëjtë përmbysin gjithçka:
Tani, në vend që të supozojmë se nuk ka ndryshim, ne supozojmë se versioni B është më i dobët se versioni A, dhe do të qëndrojmë te kjo supozim derisa të tregojmë se nuk është kështu. Ky është momenti kur ka kuptim të përdorim testimin e hipotezës njëanshëm! Në praktikë, kjo mund të realizohet duke ndërtuar një interval besueshmërie dhe duke përcaktuar nëse ky interval është në të vërtetë më i madh se Π(shihni figurën 2).
Zgjedhja e Î
Si tĂ« zgjidhni saktĂ«sisht Î? Procesi i seçitjes sĂ« Î pĂ«rfshin arsyetim statistik dhe vlerĂ«sim tĂ« mĂ«suar. NĂ« botĂ«n e kĂ«rkimeve klinike ekzistojnĂ« udhĂ«zime tĂ« rregullta, sipas tĂ« cilave delta duhet tĂ« pĂ«rfaqĂ«sojĂ« ndryshimin mĂ« tĂ« vogĂ«l klinikisht tĂ« rĂ«ndĂ«sishĂ«m â njĂ« ndryshim qĂ« do tĂ« ketĂ« rĂ«ndĂ«si nĂ« praktikĂ«. KĂ«tu Ă«shtĂ« njĂ« citat nga udhĂ«zimi evropian, pĂ«rmes tĂ« cilit mund tĂ« verifikoni veten: "NĂ«se ndryshimi Ă«shtĂ« zgjedhur siç duhet, intervali i besueshmĂ«risĂ«, i cili Ă«shtĂ« plotĂ«sisht midis ââ dhe 0..., Ă«shtĂ« ende i mjaftueshĂ«m pĂ«r tĂ« demonstruar efikasitetin e njĂ«jtĂ«. NĂ«se ky rezultat nuk duket i pĂ«rshtatshĂ«m, kjo do tĂ« thotĂ« se â nuk Ă«shtĂ« zgjedhur siç duhet."
Deltaja me shprehshëm nuk duhet të tejkalojë madhësinë e efektit të versionit A në krahasim me kontrollin e vërtetë (placebo / mungesë trajtimi), sepse kjo na çon në përfundimin që versioni B është më i dobët se kontrolli i vërtetë, ndërkohë që tregon "në asnjë rast më pak efikasitet". Supozoni se kur u prezantua versioni A, në vend të tij ishte versioni 0 ose funksioni nuk ekzistonte fare (shih figurën 3).
Nga rezultatet e provĂ«s pĂ«r hipotezĂ«n e superioritetit u identifikua madhĂ«sia e efektit E (dmth, supozimisht ÎŒ^AâÎŒ^0=E). Tani A Ă«shtĂ« standardi ynĂ« i ri, dhe ne duam tĂ« sigurohemi se B nuk Ă«shtĂ« mĂ« i dobĂ«t se A. NjĂ« mĂ«nyrĂ« tjetĂ«r pĂ«r tĂ« shkruar ÎŒBâÎŒAâ€âÎ (hipoteza nul) Ă«shtĂ« ÎŒBâ€ÎŒAâÎ. NĂ«se supozoni se e bĂ«n tĂ« barabartĂ« ose mĂ« tĂ« madhe se E, atĂ«herĂ« ÎŒB †ΌAâE †placebo. Tani ne shohim se vlerĂ«simi ynĂ« pĂ«r ÎŒB tejkalon plotĂ«sisht ÎŒAâE, duke e mohuar kĂ«shtu plotĂ«sisht hipotezĂ«n nul dhe duke lejuar pĂ«rfundimin qĂ« B nuk Ă«shtĂ« mĂ« i dobĂ«t se A, por nĂ« tĂ« njĂ«jtĂ«n kohĂ« ÎŒB mund tĂ« jetĂ« †Ό placebo, gjĂ« qĂ« nuk Ă«shtĂ« ajo qĂ« na nevojitet. (Figura 3).
Figura 3. Demonstrimi i rreziqeve të zgjedhjes së kufirit të jo-më pak efikasiteti. Nëse kufiri është tepër i madh, mund të përfundohet se B nuk është më i dobët se A, por njëkohësisht është i padallueshëm nga placebo. Ne nuk do të ndërrojmë një bar që është qartazi më efikas se placebo (A), për një bar që ka një efikasitet të barabartë me placebo.
Zgjedhja e α
TĂ« kalojmĂ« nĂ« zgjedhjen e α. Mund tĂ« pĂ«rdoret vlera standarde α = 0,05, por kjo nuk Ă«shtĂ« krejt e ndershme. Si, pĂ«r shembull, kur blini diçka nĂ« internet dhe pĂ«rdorni menjĂ«herĂ« disa kode zbritjeje, ndonĂ«se ato nuk duhet tĂ« grumbullohen â thjesht zhvilluesi ka bĂ«rĂ« njĂ« gabim dhe kjo ju ka kaluar. Sipas rregullave, vlera α duhet tĂ« jetĂ« gjysmĂ« e atij α qĂ« pĂ«rdoret gjatĂ« provĂ«s pĂ«r hipotezĂ«n e superioritetit, dmth 0,05 / 2 = 0,025.
Madhësia e mostrës
Si tĂ« vlerĂ«soni madhĂ«sinĂ« e mostrĂ«s? NĂ«se mendoni se ndryshimi i vĂ«rtetĂ« i mesatarjeve midis A dhe B Ă«shtĂ« 0, atĂ«herĂ« llogaritja e madhĂ«sisĂ« sĂ« mostrĂ«s do tĂ« jetĂ« e njĂ«jtĂ« si gjatĂ« provĂ«s pĂ«r hipotezĂ«n e superioritetit, pĂ«rveç se zĂ«vendĂ«soni madhĂ«sinĂ« e efektit me kufirin e jo-mĂ« pak efikasiteti, me kusht qĂ« ta pĂ«rdorni. αjo jo-mĂ« pak efikasitet = 1/2αsuperioritet (αnon-inferiority=1/2αsuperiority). NĂ«se keni arsye tĂ« besoni se opsioni B mund tĂ« jetĂ« disi mĂ« i dobĂ«t se opsioni A, por dĂ«shironi tĂ« provoni qĂ« ai nuk Ă«shtĂ« mĂ« i dobĂ«t se Î, atĂ«herĂ« keni me fat! Faktikisht, kjo e ul madhĂ«sinĂ« e mostrĂ«s tuaj, sepse Ă«shtĂ« mĂ« e lehtĂ« tĂ« demonstroni se B Ă«shtĂ« mĂ« i dobĂ«t se A, nĂ«se nĂ« tĂ« vĂ«rtetĂ« besoni se ai Ă«shtĂ« disi mĂ« i dobĂ«t dhe jo i barabartĂ«.
Shembulli me vendim
Supozoni se dëshironi të kaloni në versionin B, me kusht që ai të jetë më i dobët se versioni A jo më shumë se 0,1 pikë në shkallën e kënaqësisë së konsumatorëve nga 5... Le t'i qasemi këtij problemi duke përdorur hipotezën e superioritetit.
Për të testuar hipotezën e superioritetit, do të llogaritnim madhësinë e mostrës si më poshtë:
Kështu, nëse keni 2103 vëzhgime në grupin tuaj, mund të jeni 90% të sigurt se do të zbuloni një efekt me madhësi 0,10 ose më shumë. Por nëse vlera 0,10 është shumë e madhe për ju, ndoshta nuk ia vlen ta testoni hipotezën e superioritetit për të. Ndoshta për besueshmërinë, do të vendosni të kryeni një studim për një efekt më të vogël, për shembull 0,05. Në këtë rast, do t'ju nevojiten 8407 vëzhgime, dmth, mostra do të rritet gati 4 herë. Por çfarë nëse ne qëndrojmë me madhësinë tonë fillestare të mostrës, por rrisim fuqinë në 0,99, në mënyrë që të mos kemi dyshime nëse marrim një rezultat pozitiv? Në këtë rast, n për një grup do të jetë 3676, që është tashmë më mirë, por rrit madhësinë e mostrës më shumë se 50%. Dhe si rezultat, ne ende thjesht nuk mund të mohojmë hipotezën zero, dhe as të marrim një përgjigje për pyetjen tonë.
ĂfarĂ« nĂ«se nĂ« vend tĂ« kĂ«saj testojmĂ« hipotezĂ«n e efikasitetit jo mĂ« tĂ« vogĂ«l?
Madhësia e mostrës do të llogaritet sipas të njëjtës formulë përveç emëruesit.
Dallimet nga formula e përdorur për testimin e hipotezës së superioritetit janë si më poshtë:
â Z1âα/2 zĂ«vendĂ«sohet me Z1âα, por nĂ«se bĂ«ni gjithçka sipas rregullave, zĂ«vendĂ«soni α = 0,05 me α = 0,025, dmth, Ă«shtĂ« i njĂ«jti numĂ«r (1,96)
â nĂ« emĂ«rues shfaqet (ÎŒBâÎŒA)
â Ξ (madhĂ«sia e efektit) zĂ«vendĂ«sohet me Î (kufi i efikasitetit jo mĂ« tĂ« vogĂ«l)
NĂ«se supozoni se ”B = ”A, atĂ«herĂ« (”B â ”A) = 0 dhe llogaritja e madhĂ«sisĂ« sĂ« mostrĂ«s pĂ«r limitin e efikasitetit jo mĂ« tĂ« vogĂ«l Ă«shtĂ« pikĂ«risht ajo qĂ« do tĂ« merrnim nĂ« llogaritjen e superioritetit pĂ«r madhĂ«sinĂ« e efektit 0,1, shkĂ«lqyeshĂ«m! Ne mund tĂ« kryejmĂ« njĂ« studim tĂ« sĂ« njĂ«jtĂ«s shkallĂ« me hipoteza tĂ« ndryshme dhe njĂ« qasje tjetĂ«r nĂ« pĂ«rfundimet, dhe do tĂ« marrim pĂ«rgjigje pĂ«r pyetjen qĂ« vĂ«rtet duam tĂ« pĂ«rgjigjemi.
Tani supozoni se ne në të vërtetë nuk besojmë se ”B = ”A dhe
mendojmë se ”B është pak më keq, ndoshta me 0,01 njësi. Kjo rrit emërtuesin tonë, duke e ulur madhësinë e mostrës për grupin në 1737.
ĂfarĂ« do tĂ« ndodhte nĂ«se versioni B nĂ« tĂ« vĂ«rtetĂ« do tĂ« ishte mĂ« i mirĂ« se versioni A? Ne do tĂ« refuzonim hipotezĂ«n zero se B Ă«shtĂ« mĂ« keq se A, mĂ« shumĂ« se Î dhe do tĂ« pranojmĂ« hipotezĂ«n alternative se B, nĂ«se Ă«shtĂ« mĂ« keq, nuk Ă«shtĂ« mĂ« keq se Î, dhe mund tĂ« jetĂ« mĂ« i mirĂ«. Provoni ta pĂ«rfshini kĂ«tĂ« konkludim nĂ« njĂ« prezantim ndĂ«r-funksional dhe shihni se çfarĂ« del (seriozisht, provo). NĂ« njĂ« situatĂ« ku duhet tĂ« orientohemi nĂ« perspektivĂ«, askush nuk dĂ«shiron tĂ« pranojĂ« âmĂ« keq se Î dhe, ndoshta, mĂ« mirĂ«â.
NĂ« kĂ«tĂ« rast, ne mund tĂ« kryejmĂ« njĂ« studim qĂ« quhet shumĂ« shkurtimisht âverifikimi i hipotezĂ«s se njĂ«ra nga opsionet e tejkalon tjetrin ose i nĂ«nshtrohet atijâ. Ai pĂ«rdor dy grupe hipotezash:
Grupi i parë (e njëjtë si në verifikimin e hipotezës për efikasitetin e paktë):
Grupi i dytë (e njëjtë si në verifikimin e hipotezës për superioritetin):
Ne testojmĂ« hipotezĂ«n e dytĂ« vetĂ«m nĂ« rast se hipoteza e parĂ« refuzohet. NĂ« testimin e vazhdueshĂ«m, ne ruajmĂ« nivelin e pĂ«rgjithshĂ«m tĂ« gabimeve tĂ« parĂ« (α). NĂ« praktikĂ«, kjo mund tĂ« arrihet duke krijuar njĂ« interval besimi prej 95 % pĂ«r dallimin midis mesataresh dhe duke verifikuar nĂ«se e gjithĂ« periudha e tejkalon -Î. NĂ«se intervali nuk tejkalon -Î, ne nuk mund tĂ« refuzojmĂ« vlerĂ«n zero dhe ndalemi. NĂ«se e gjithĂ« periudha me tĂ« vĂ«rtetĂ« e tejkalon âÎ, ne do tĂ« vazhdojmĂ« dhe do tĂ« shohim nĂ«se intervali pĂ«rmban 0.
Ekziston njĂ« tjetĂ«r lloj studimesh qĂ« nuk e kemi diskutuar â studime ekvivalente.
Studimet e kĂ«tij lloji mund tĂ« zĂ«vendĂ«sohen me studime pĂ«r verifikimin e hipotezĂ«s pĂ«r efikasitet tĂ« njĂ«jtĂ« dhe anasjelltas, por ato kanĂ« njĂ« dallim tĂ« rĂ«ndĂ«sishĂ«m mes tyre. Testi pĂ«r verifikimin e hipotezĂ«s pĂ«r efikasitetin e njĂ«jtĂ« synon tĂ« tregojĂ« se opsioni B Ă«shtĂ« tĂ« paktĂ«n po aq i mirĂ« sa A. NdĂ«rsa hulumtimi i ekvivalencĂ«s ka si qĂ«llim tĂ« tregojĂ« se opsioni B Ă«shtĂ« tĂ« paktĂ«n po aq i mirĂ« sa A, dhe opsioni A Ă«shtĂ« po ashtu i mirĂ« sa B, qĂ« Ă«shtĂ« mĂ« e komplikuar. NĂ« thelb, ne pĂ«rpiqemi tĂ« pĂ«rcaktojmĂ« nĂ«se i gjithĂ« intervali i besimit pĂ«r diferencĂ«n e mesatareve qĂ«ndron midis âÎ dhe Î. KĂ«to studime kĂ«rkojnĂ« njĂ« madhĂ«si mĂ« tĂ« madhe sample dhe realizohen mĂ« rrallĂ«. Prandaj, herĂ«n tjetĂ«r kur tĂ« realizoni njĂ« studim ku qĂ«llimi juaj kryesor Ă«shtĂ« tĂ« siguroni qĂ« versioni i ri nuk Ă«shtĂ« mĂ« i dobĂ«t, mos pranoni "mosdiskriminimin e hipotezĂ«s zero". NĂ«se doni tĂ« verifikoni njĂ« hipotezĂ« vĂ«rtet tĂ« rĂ«ndĂ«sishme, shqyrtoni mundĂ«si tĂ« ndryshme.
Burimi: habr.com
