Artikulli nga ekipi i Stitch Fix sugjeron përdorimin e qasjes së studimeve klinike me efektivitet të ngjashëm (provat e jo-inferioritetit) në testet A/B për marketing dhe produkte. Kjo qasje është me të vërtetë e aplikueshme kur po testojmë një zgjidhje të re që ka avantazhe, të paqartësuara nga testet.
Shembulli më i thjeshtë është reduktimi i kostove. Për shembull, ne automatizojmë procesin e caktimit të mësimit të parë, por nuk duam të ndajmë shumë konvertimin e përgjithshëm. Ose testojmë ndryshime që orientohen në një segment përdoruesish, duke kaluar kohën e monitorimit që konvertimet në segmentet e tjera mos u ulen shumë (kur testojmë disa hipoteza, mos harrojmë rregullat përpjesëtuese).
Zgjedhja e kufirit tĂ« duhur tĂ« jo-inferioritetit shton vĂ«shtirĂ«si tĂ« tjera nĂ« fazĂ«n e projektimit tĂ« testit. Pyetja, si tĂ« zgjedhim Î, nĂ« artikull nuk Ă«shtĂ« shumĂ« mirĂ« e shpjeguar. Duket se ky zgjedhje nuk Ă«shtĂ« plotĂ«sisht e qartĂ« as nĂ« provat klinike. publikimeve mjekĂ«sore mbi non-inferiority tregon se vetĂ«m nĂ« gjysmĂ«n e publikimeve zgjedhja e kufirit arsyetohet, dhe shpesh kĂ«to arsyetimet janĂ« tĂ« paqarta ose jo tĂ« detajuara.
MegjithatĂ«, ky qasje duket interesante, pasi duke e zvogĂ«luar madhĂ«sinĂ« e nevojshme tĂ« mostrĂ«s, mund tĂ« rrisĂ« shpejtĂ«sinĂ« e testimit dhe, kĂ«shtu, shpejtĂ«sinĂ« e marrjes sĂ« vendimeve. â Darya Mukhina, analiste e produkteve nĂ« aplikacionin mobil Skyeng.
Ekipi i Stitch Fix pĂ«lqen tĂ« testojĂ« gjĂ«ra tĂ« ndryshme. E gjithĂ« bashkĂ«sia teknologjike nĂ« parim pĂ«lqen tĂ« kryejĂ« teste. Cila version i faqes attrakton mĂ« shumĂ« pĂ«rdorues â A apo B? A sjell versioni A i modelit tĂ« rekomandimit mĂ« shumĂ« parĂ se versioni B? Gati gjithmonĂ« pĂ«r tĂ« verifikuar hipotezat ne pĂ«rdorim qasjen mĂ« tĂ« thjeshtĂ« nga kursi bazik i statistikĂ«s:
MegjithatĂ«, ne rrallĂ«herĂ« e pĂ«rdorim kĂ«tĂ« term, dhe ky lloj testimi quhet «testimi i hipotezĂ«s sĂ« superioritetit». Me kĂ«tĂ« qasje, ne supozojmĂ« se nuk ka asnjĂ« diferencĂ« midis dy varianteve. Ne mbajmĂ« kĂ«tĂ« ide dhe e refuzojmĂ« vetĂ«m nĂ«se tĂ« dhĂ«nat e marra rezultojnĂ« tĂ« mjaftueshme pĂ«r kĂ«tĂ« â domethĂ«nĂ«, tregojnĂ« se njĂ« nga variantet (A ose B) Ă«shtĂ« mĂ« e mirĂ« se tjetra.
Kontrollimi i hipotezës për supremacinë është i përshtatshëm për zgjidhjen e një sërë problemesh. Ne lëshojmë versionin B të modelit rekomandues vetëm nëse është dukshëm më i mirë se versioni A që po përdorim. Por në disa raste, ky qasje nuk funksionon aq mirë. Le të shqyrtojmë disa shembuj.
1) Ne përdorim një shërbim të jashtëm, i cili ndihmon në identifikimin e kartelave bankare të falsifikuara. Ne gjetëm një shërbim tjetër që kushton ndjeshëm më pak. Nëse shërbimi më i lirë funksionon po aq mirë sa ai që përdorim tani, ne do ta zgjedhim atë. Ai nuk duhet patjetër të jetë më i mirë se shërbimi që po përdorim.
2) Ne duam të heqim dorë nga burimi i të dhënave A dhe të zëvendësojmë atë me burimin e të dhënave B. Ne mund të vonojmë heqjen e dorë nga A, nëse B jep rezultate shumë të dobëta, por të vazhdojmë të përdorim A nuk është e mundur.
3) Ne do të donim të kalonim nga qasja në modeliminA në qasjen B, jo sepse presim rezultate më të mira nga B, por sepse kjo na jep më shumë fleksibilitet operativ. Nuk kemi asnjë arsye për të supozuar se B do të jetë më keq, por nuk do të bëjmë kalimin nëse do të jetë kështu.
4) Ne kemi bërë disa përmirësime cilësore në dizajnin e faqes së internetit (versioni B) dhe besojmë se ky version e kapërcen versionin A. Nuk presim ndryshime në konvertim apo ndonjë tregues të rëndësishëm të performancës, për të cilat zakonisht vlerësojmë faqen e internetit. Por besojmë se ka përfitime në parametrat që janë ose të pakapshme, ose teknologjitë tona nuk janë mjaftueshëm të avancuara për t'i matur ato.
Në këto raste, studimi i superioritetit nuk është zgjidhja më e duhur. Megjithatë, shumica e specialistëve përdorin default këtë metodë në situata të tilla. Ne kryejmë me kujdes një eksperiment për të përcaktuar saktësisht madhësinë e efektit. Nëse do të ishte e vërtetë se versionet A dhe B funksionojnë gjithashtu në një mënyrë shumë të ngjashme, ka mundësi që ne të mos arrijmë të refuzojmë hipotezën nul. A arrijmë në përfundimin se A dhe B funksionojnë në përgjithësi njësoj? Jo! Mungesa e mundësisë për të refuzuar hipotezën nul dhe pranimi i saj nuk janë e njëjta gjë.
Llogaritë e madhësisë së mostravës (të cilat ju sigurisht i keni bërë) zakonisht kryhen me kufij më të strikt për gabimin e parë (probabiliteti i refuzimit të gabuar të hipotezës null, shpesh i quajtur alfa) se sa për gabimin e dytë (probabiliteti i mosrefuzimit të hipotezës null, duke supozuar se hipoteza null është e gabuar, shpesh i quajtur beta). Një vlerë tipike për alfa është 0,05, ndërsa një vlerë tipike për beta është 0,20, që korrespondon me fuqinë statistikore 0,80. Kjo do të thotë se ne mund të mos zbulojmë ndikimin e vërtetë të madhësisë që kemi përshkruar në llogaritjet tona të fuqisë, me një probabilitet prej 20% dhe kjo është një boshllëk mjaft serioz në informacion. Si një shembull, le të shqyrtojmë këto hipoteza:
H0: çanta ime nuk është në dhomën time (3)
H1: çanta ime është në dhomën time (4)
NĂ«se kam kĂ«rkuar dhomĂ«n time dhe kam gjetur çantĂ«n time â shkĂ«lqyeshĂ«m, mund tĂ« heq dorĂ« nga hipoteza bosh. Por nĂ«se kam kontrolluar dhomĂ«n dhe nuk kam gjetur çantĂ«n time (figura 1), çfarĂ« pĂ«rfundimi duhet tĂ« arrij? A jam i sigurt se ajo nuk Ă«shtĂ« atje? A kam kĂ«rkuar mjaftueshĂ«m? ĂfarĂ« nĂ«se kam kĂ«rkuar vetĂ«m 80% tĂ« dhomĂ«s? TĂ« nxjerrĂ«sh pĂ«rfundimin se çanta nuk Ă«shtĂ« nĂ« dhomĂ« do tĂ« ishte njĂ« vendim i nxituar. Nuk Ă«shtĂ« çudi qĂ« nuk mund ta âpranojmĂ« hipotezĂ«n boshâ.
Zona që kemi kontrolluar
Nuk e gjetĂ«m çantĂ«n â a duhet tĂ« pranojmĂ« hipotezĂ«n bosh?
Figura 1. Kërkimi i 80% të dhomës është përafërsisht si të realizosh një studim me fuqinë 80%. Nëse nuk e gjetët çantën duke kontrolluar 80% të dhomës, a mund të nxjerrësh përfundimin se ajo nuk është atje?
ĂfarĂ« duhet tĂ« bĂ«jĂ« specialisti i tĂ« dhĂ«nave nĂ« kĂ«tĂ« situatĂ«? Mund tĂ« rrisĂ«sh ndjeshĂ«m fuqinĂ« e studimit, por atĂ«herĂ« do tĂ« duhet njĂ« mostĂ«r shumĂ« mĂ« e madhe, dhe rezultati do tĂ« jetĂ« akoma i pakĂ«naqshĂ«m.
FatkeqĂ«sisht, kĂ«to probleme janĂ« studiuar prej kohĂ«sh nĂ« botĂ«n e kĂ«rkimeve klinike. Ilaçi B Ă«shtĂ« mĂ« i lirĂ« se ilaçi A; pritet qĂ« ilaçi B tĂ« shkaktojĂ« mĂ« pak efekte anĂ«sore se ilaçi A; ilaçi B Ă«shtĂ« mĂ« i lehtĂ« pĂ«r tu transportuar, sepse nuk ka nevojĂ« tĂ« ruhet nĂ« frigorifer, ndĂ«rsa ilaçi A duhet. Le tĂ« verifikojmĂ« hipotezĂ«n e efektivitetit tĂ« paktĂ«. Kjo Ă«shtĂ« e nevojshme pĂ«r tĂ« treguar se versioni B Ă«shtĂ« po aq i mirĂ« sa versioni A â tĂ« paktĂ«n brenda njĂ« kufiri tĂ« paracaktuar tĂ« âefektivitetit tĂ« paktĂ«â, Î. Pak mĂ« vonĂ« do tĂ« flasim mĂ« nĂ« detaje se si tĂ« pĂ«rcaktojmĂ« kĂ«tĂ« kufi. Por tani le tĂ« supozojmĂ« se kjo Ă«shtĂ« diferenca minimale qĂ« ka rĂ«ndĂ«si praktike (nĂ« kontekstin e provave klinike, zakonisht quhet rĂ«ndĂ«si klinike).
Hipotezat mbi efektivitetin e paktë e përmbysin gjithçka:
Taniherë, përpara se të supozojmë se nuk ka ndryshim, ne supozojmë se versione B është më e keqe se versioni A, dhe do të mbetemi në këtë supozim derisa të demonstrojmë se nuk është kështu. Kjo është pikërisht ajo kohë kur ka kuptim të përdoret testimi i hipotezës njëanshëm! Në praktikë, kjo mund të bëhet duke ndërtuar një interval besimi dhe duke përcaktuar nëse intervali është vërtet më i madh se Π(Figura 2).
Zgjedhja e Î
Si tĂ« zgjidhni saktĂ«sisht Î? Procesi i zgjedhjes sĂ« Î pĂ«rfshin justifikim statistik dhe vlerĂ«sim tematik. NĂ« botĂ«n e kĂ«rkimeve klinike ekzistojnĂ« rekomandime normative, sipas tĂ« cilave delta duhet tĂ« pĂ«rfaqĂ«sojĂ« diferencĂ«n mĂ« tĂ« vogĂ«l klinikisht tĂ« rĂ«ndĂ«sishme â njĂ« ndryshim qĂ« do tĂ« ketĂ« rĂ«ndĂ«si nĂ« praktikĂ«. Ja njĂ« citat nga udhĂ«zimi evropian, pĂ«r tĂ« cilin mund tĂ« kontrolloni veten: "NĂ«se ndryshimi Ă«shtĂ« zgjedhur siç duhet, intervali i besimit, i cili Ă«shtĂ« plotĂ«sisht mes ââ dhe 0..., ende Ă«shtĂ« i mjaftueshĂ«m pĂ«r tĂ« demonstruar efikasitetin e paktĂ«. NĂ«se ky rezultat nuk duket i pranueshĂ«m, kjo do tĂ« thotĂ« se â nuk Ă«shtĂ« zgjedhur siç duhet."
Delta përfundoj nuk duhet të tejkalojë madhësinë e efektit të versionit A në raport me kontrollin e vërtetë (placebo / mungesë trajtimi), pasi kjo na çon në faktin se versioni B është më i keq se kontrolli i vërtetë, dhe njëherësh tregon "jo më pak efikasitet". Supozojmë se kur u prezantua versioni A, në vendin e tij kishte versionin 0 ose funksioni nuk ekzistonte fare (shih figurën 3).
Sipas rezultateve tĂ« hetimit tĂ« hipotezĂ«s mbi superioritetin, u zbulua madhĂ«sia e efektit E (domethĂ«nĂ« supozim ÎŒ^AâÎŒ^0=E). Tani A Ă«shtĂ« standardi ynĂ« i ri, dhe ne duam tĂ« sigurohemi se B nuk i jep pas A. NjĂ« mĂ«nyrĂ« tjetĂ«r pĂ«r tĂ« shkruar ÎŒBâÎŒAâ€âÎ (hipoteza zero) Ă«shtĂ« ÎŒBâ€ÎŒAâÎ. NĂ«se ne pranojmĂ« se e bĂ«rra Ă«shtĂ« e barabartĂ« ose e tejkalon E, atĂ«herĂ« ÎŒB †ΌAâE †placebo. Tani ne shohim se vlerĂ«simi ynĂ« pĂ«r ÎŒB plotĂ«sisht tejkalon ÎŒAâE, gjĂ« qĂ« nĂ« mĂ«nyrĂ« tĂ« plotĂ« vĂ«rteton hipotezĂ«n zero dhe lejon tĂ« pĂ«rfundojmĂ« se B nuk i jep pas A, por njĂ«kohĂ«sisht ÎŒB mund tĂ« jetĂ« †Ό placebo, dhe kjo nuk Ă«shtĂ« ajo qĂ« na nevojitet. (figurĂ« 3).
Figura 3. Demonstrimi i rreziqeve të zgjedhjes së kufirit të efikasitetit të pandashëm. Nëse kufiri është shumë i madh, mund të konkludojmë se B nuk i përshtatet A, por gjithashtu është i pandashëm nga placebo. Nuk do ta zëvendësojmë një ilaç që është dukshëm më efektiv se placebo (A) me një ilaç që ka të njëjtin efikasitet si placebo.
Zgjedhja α
TĂ« kalojmĂ« nĂ« zgjedhjen e α. Mund tĂ« pĂ«rdorim vlerĂ«n standarde α = 0,05, por kjo nuk Ă«shtĂ« krejtĂ«sisht e ndershme. Sikur kur blini diçka nĂ« internet dhe pĂ«rdorni disa kode tĂ« zbritjes menjĂ«herĂ«, ndonĂ«se ato nuk duhet tĂ« akumulojnĂ« â thjesht zhvilluesi bĂ«ri njĂ« gabim, dhe ju kaluat me tĂ«. SipĂ«rfaqja duhet tĂ« jetĂ« e barabartĂ« me gjysmĂ«n e vlerĂ«s sĂ« α qĂ« pĂ«rdoret nĂ« verifikimin e hipotezĂ«s pĂ«r superioritetin, do tĂ« thotĂ« 0,05 / 2 = 0,025.
Madhësia e mostrës
Si tĂ« vlerĂ«soni madhĂ«sinĂ« e mostrĂ«s? NĂ«se mendoni se diferenca reale e mesatareve midis A dhe B Ă«shtĂ« 0, atĂ«herĂ« llogaritja e madhĂ«sisĂ« sĂ« mostrĂ«s do tĂ« jetĂ« e njĂ«jtĂ« me atĂ« qĂ« pĂ«rdoret nĂ« verifikimin e hipotezĂ«s pĂ«r superioritetin, pĂ«rveç se zĂ«vendĂ«soni madhĂ«sinĂ« e efektit me kufirin e efikasitetit tĂ« pandashĂ«m, me kusht qĂ« tĂ« pĂ«rdorni efikasiteti i barabartĂ« = 1/2 tĂ« superioritetit (αnon-inferioriteti = 1/2 αsuperioriteti). NĂ«se keni arsye tĂ« besoni se opsioni B mund tĂ« jetĂ« pak mĂ« i keq se opsioni A, por dĂ«shironi tĂ« provoni se ai nuk Ă«shtĂ« mĂ« i keq se Î, atĂ«herĂ« ju keni fat! NĂ« fakt, kjo zvogĂ«lon madhĂ«sinĂ« e mostrĂ«s tuaj, sepse Ă«shtĂ« mĂ« e lehtĂ« tĂ« demonstroni se B Ă«shtĂ« mĂ« i keq se A, nĂ«se ju nĂ« fakt besoni se ai Ă«shtĂ« pak mĂ« i keq dhe jo ekvivalent.
Shembulli me vendimin
Supozoni se dëshironi të kaloni në versionin B me kushtin që ai të jetë më i keq se versioni A jo më shumë se 0.1 pikë në një shkallë të 5 pikave të kënaqësisë së klientëve⊠Le të qasemi këtë problem duke përdorur hipotezën e superioritetit.
Për të testuar hipotezën e superioritetit, do të llogaritnim madhësinë e mostrës si më poshtë:
Pra ndodhi që në grupin tuaj të ketë 2103 vëzhgime, mund të jeni 90% të sigurt që do të zbuloni një efekt me madhësi 0,10 ose më shumë. Por nëse vlera 0,10 është shumë e madhe për ju, ndoshta nuk duhet të kontrolloni hipotezën për superioritetin. Mund të vendosni të realizoni një studim për një efekt më të vogël, si 0,05. Në këtë rast, do t'ju duhen 8407 vëzhgime, që do të thotë se mostra do të rritet gati katërfish. Por çfarë nëse mbetemi me madhësinë tonë fillestare të mostrës, por rrisim fuqinë në 0,99, në mënyrë që të mos kemi dyshime nëse marrim një rezultat pozitiv? Në këtë rast, n për një grup do të jetë 3676, që është më mirë, por rrit edhe më shumë madhësinë e mostrës mbi 50%. Dhe përfundimisht, ne përsëri nuk do të mund të hedhim poshtë hipotezën e zeros, por as nuk do të marrim një përgjigje për pyetjen tonë.
ĂfarĂ« nĂ«se pĂ«r kĂ«tĂ« nĂ« vend tĂ« kĂ«saj kontrollojmĂ« hipotezĂ«n pĂ«r njĂ« efikasitet jo mĂ« tĂ« vogĂ«l?
Madhësia e mostrës do të llogaritet sipas të njëjtës formulë përveç denominatorit.
Dallimet me formulën e përdorur për kontrollimin e hipotezës për superioritetin janë si në vazhdim:
â Z1âα/2 zĂ«vendĂ«sohet me Z1âα, por nĂ«se e bĂ«ni gjithçka sipas rregullave, zĂ«vendĂ«soni α = 0,05 me α = 0,025, pra, Ă«shtĂ« i njĂ«jti numĂ«r (1,96)
â nĂ« emĂ«rues shfaqet (ÎŒBâÎŒA)
â Ξ (magnitude e efektit) zĂ«vendĂ«sohet me Î (kufi i efektshmĂ«risĂ« sĂ« paktĂ«)
NĂ«se supozojmĂ« se ”B = ”A, atĂ«herĂ« (”B â ”A) = 0 dhe llogaritja e madhĂ«sisĂ« sĂ« mostrĂ«s pĂ«r kufirin e efektshmĂ«risĂ« sĂ« paktĂ« Ă«shtĂ« pikĂ«risht ajo qĂ« do tĂ« kishim marrĂ« duke llogaritur superioritetin pĂ«r magnitudĂ«n e efektit 0,1, shkĂ«lqyeshĂ«m! Mund tĂ« realizojmĂ« njĂ« studim me tĂ« njĂ«jtin pĂ«rmasĂ« me hipoteza tĂ« ndryshme dhe me njĂ« qasje tjetĂ«r pĂ«r arsyetimin, dhe do tĂ« marrim pĂ«rgjigjen pĂ«r pyetjen qĂ« na intereson me tĂ« vĂ«rtetĂ«.
Tani le të supozojmë se në të vërtetë nuk mendojmë se ”B = ”A dhe
mendojmë se ”B është pak më i dobët, ndoshta me 0,01 njësi. Kjo e rrit emëruesin tonë, duke zvogëluar madhësinë e mostrës për grupin në 1737.
ĂfarĂ« do ndodhĂ« nĂ«se versioni B Ă«shtĂ« nĂ« tĂ« vĂ«rtetĂ« mĂ« i mirĂ« se versioni A? Ne hedhim poshtĂ« hipotezĂ«n zero qĂ« B Ă«shtĂ« mĂ« keq se A pĂ«r mĂ« shumĂ« se Î dhe pranojmĂ« hipotezĂ«n alternative qĂ« B, nĂ«se Ă«shtĂ« mĂ« keq, nuk Ă«shtĂ« mĂ« keq se Î dhe mund tĂ« jetĂ« mĂ« i mirĂ«. Provoni ta pĂ«rfshini kĂ«tĂ« pĂ«rfundim nĂ« njĂ« prezantim ndĂ«rfunksional dhe shihni çfarĂ« ndodh (seriozisht, provoni). NĂ« njĂ« situatĂ« kur duhet tĂ« orientoheni nĂ« perspektivĂ«, askush nuk dĂ«shiron tĂ« pajtohet me "mĂ« keq jo mĂ« shumĂ« se Î dhe ndoshta mĂ« mirĂ«".
Në këtë rast, ne mund të kryejmë një studim që quhet shumë shkurt "verifikimi i hipotezës se një nga mundësitë tejkalon tjetrën ose i nënshtrohet asaj". Ajo përdor dy grupe hipotezash:
Grupi i parë (i njëjtë si në verifikimin e hipotezës për efikasitetin e barabartë):
Grupi i dytë (i njëjtë si në verifikimin e hipotezës për mbizotërim):
Ne e nevojshme tĂ« testojmĂ« hipotezĂ«n e dytĂ« vetĂ«m nĂ«se hipoteza e parĂ« Ă«shtĂ« refuzuar. GjatĂ« testimit tĂ« renditshĂ«m, ne ruajmĂ« nivelin e pĂ«rgjithshĂ«m tĂ« gabimeve tĂ« natyrĂ«s sĂ« parĂ« (α). NĂ« praktikĂ«, kjo mund tĂ« arrihet duke krijuar njĂ« interval besimi prej 95% pĂ«r diferencĂ«n midis mesatareve dhe kontrolluar nĂ«se i gjith intervali kalon -Î. NĂ«se intervali nuk e kalon -Î, ne nuk mund tĂ« refuzojmĂ« vlerĂ«n zero dhe do tĂ« ndalemi. NĂ«se i gjithĂ« intervali nĂ« tĂ« vĂ«rtetĂ« kalon -Î, ne do tĂ« vazhdojmĂ« dhe do tĂ« shohim nĂ«se intervali pĂ«rmban 0.
Ekziston njĂ« lloj tjetĂ«r kĂ«rkimesh, tĂ« cilin nuk e kemi diskutuar â kĂ«rkime ekvivalentĂ«sie.
KĂ«to lloje studimesh mund tĂ« zĂ«vendĂ«sohen nga studime pĂ«r tĂ« verifikuar hipotezĂ«n e mosferkimit tĂ« efikasitetit dhe anasjelltas, por ato kanĂ« njĂ« dallim tĂ« rĂ«ndĂ«sishĂ«m. Provimi pĂ«r tĂ« verifikuar hipotezĂ«n e mosferkimit tĂ« efikasitetit ka pĂ«r qĂ«llim tĂ« tregojĂ« se varianti B Ă«shtĂ« sĂ« paku po aq i mirĂ« sa A. NdĂ«rsa studimi i ekvivalencĂ«s ka pĂ«r qĂ«llim tĂ« tregojĂ« se varianti B Ă«shtĂ« sĂ« paku po aq i mirĂ« sa A, dhe varianti A po ashtu i mirĂ« si B, qĂ« Ă«shtĂ« mĂ« e komplikuar. NĂ« thelb, ne po pĂ«rpiqemi tĂ« pĂ«rcaktojmĂ« nĂ«se gjithĂ« intervali i besimit pĂ«r diferencĂ«n e mesatareve Ă«shtĂ« midis âÎ dhe Î. KĂ«to studime kĂ«rkojnĂ« njĂ« madhĂ«si mĂ« tĂ« madhe tĂ« mostrĂ«s dhe kryhen mĂ« rrallĂ«. Prandaj, herĂ«n tjetĂ«r kur tĂ« realizoni njĂ« studim, nĂ«se detyra juaj kryesore Ă«shtĂ« tĂ« siguroheni qĂ« versioni i ri nuk Ă«shtĂ« mĂ« i dobĂ«t, mos pranoni "pamundĂ«sinĂ« e pĂ«rgĂ«njeshtrimit tĂ« hipotezĂ«s sĂ« nullĂ«s". NĂ«se dĂ«shironi tĂ« provoni njĂ« hipotezĂ« vĂ«rtet tĂ« rĂ«ndĂ«sishme, shqyrtoni opsione tĂ« ndryshme.
Burimi: habr.com
