როდის უნდა შევამოწმოთ არასრულფასოვნების ჰიპოთეზა?

Stitch Fix-ის გუნდის სტატია გვთავაზობს არასრულფასოვნების ცდების მიდგომის გამოყენებას მარკეტინგისა და პროდუქტის A/B ტესტებში. ეს მიდგომა ნამდვილად გამოიყენება, როდესაც ჩვენ ვამოწმებთ ახალ გადაწყვეტას, რომელსაც აქვს სარგებელი, რომელიც არ იზომება ტესტებით.

უმარტივესი მაგალითია ხარჯების შემცირება. მაგალითად, ჩვენ ავტომატიზირებთ პირველი გაკვეთილის მინიჭების პროცესს, მაგრამ არ გვინდა მნიშვნელოვნად შევამციროთ კონვერტაცია ბოლოდან ბოლომდე. ან ჩვენ ვამოწმებთ ცვლილებებს, რომლებიც მიმართულია მომხმარებელთა ერთ სეგმენტზე, იმავდროულად, დავრწმუნდებით, რომ სხვა სეგმენტების კონვერტაციები დიდად არ იკლებს (რამდენიმე ჰიპოთეზის ტესტირებისას, ნუ დაივიწყებთ შესწორებებს).

სწორი არასრულფასოვნების ზღვრის არჩევა დამატებით გამოწვევებს მატებს ტესტის დიზაინის ფაზაში. კითხვა, თუ როგორ უნდა აირჩიოთ Δ, არც ისე კარგად არის გაშუქებული სტატიაში. როგორც ჩანს, ეს არჩევანი არ არის მთლიანად გამჭვირვალე კლინიკურ კვლევებშიც. განიხილოს არასრულფასოვნების შესახებ სამედიცინო პუბლიკაციებში ნათქვამია, რომ პუბლიკაციების მხოლოდ ნახევარი ამართლებს საზღვრის არჩევას და ხშირად ეს დასაბუთებები ორაზროვანია ან არ არის დეტალური.

ნებისმიერ შემთხვევაში, ეს მიდგომა საინტერესო ჩანს, რადგან... საჭირო ნიმუშის ზომის შემცირებით, მას შეუძლია გაზარდოს ტესტირების სიჩქარე და, შესაბამისად, გადაწყვეტილების მიღების სიჩქარე. - დარია მუხინა, პროდუქტის ანალიტიკოსი Skyeng მობილური აპლიკაციისთვის.

Stitch Fix-ის გუნდს უყვარს სხვადასხვა ნივთების გამოცდა. მთელ ტექნოლოგიურ საზოგადოებას უყვარს ტესტების პრინციპში გაშვება. საიტის რომელი ვერსია იზიდავს მეტ მომხმარებელს - A თუ B? სარეკომენდაციო მოდელის A ვერსია უფრო მეტ ფულს გამოიმუშავებს, ვიდრე ვერსია B? ჰიპოთეზების შესამოწმებლად, ჩვენ თითქმის ყოველთვის ვიყენებთ უმარტივეს მიდგომას ძირითადი სტატისტიკის კურსიდან:

მიუხედავად იმისა, რომ ჩვენ იშვიათად ვიყენებთ ტერმინს, ტესტირების ამ ფორმას ეწოდება "უპირატესობის ჰიპოთეზის ტესტირება". ამ მიდგომით, ჩვენ ვივარაუდებთ, რომ არ არსებობს განსხვავება ორ ვარიანტს შორის. ჩვენ ვიცავთ ამ იდეას და ვტოვებთ მას მხოლოდ იმ შემთხვევაში, თუ მონაცემები საკმარისად დამაჯერებელია ამისათვის - ანუ ეს აჩვენებს, რომ ერთ-ერთი ვარიანტი (A ან B) უკეთესია, ვიდრე მეორე.

უპირატესობის ჰიპოთეზის ტესტირება შესაფერისია სხვადასხვა პრობლემებისთვის. ჩვენ გამოვაქვეყნებთ სარეკომენდაციო მოდელის B ვერსიას მხოლოდ იმ შემთხვევაში, თუ ის აშკარად უკეთესია, ვიდრე უკვე გამოყენებული A ვერსია. მაგრამ ზოგიერთ შემთხვევაში, ეს მიდგომა არც ისე კარგად მუშაობს. მოდით შევხედოთ რამდენიმე მაგალითს.

1) ჩვენ ვიყენებთ მესამე მხარის სერვისს, რომელიც ხელს უწყობს ყალბი საბანკო ბარათების იდენტიფიცირებას. ჩვენ აღმოვაჩინეთ სხვა სერვისი, რომელიც საგრძნობლად ნაკლები ღირს. თუ იაფი სერვისი იმუშავებს ისევე, როგორც ჩვენ ამჟამად ვიყენებთ, ჩვენ მას ავირჩევთ. ის არ უნდა იყოს უკეთესი, ვიდრე სერვისი, რომელსაც იყენებთ.

2) ჩვენ გვინდა მივატოვოთ მონაცემთა წყარო A და შეცვალეთ იგი მონაცემთა წყაროთ B. ჩვენ შეგვიძლია გადავადოთ A-ს მიტოვება, თუ B გამოიღებს ძალიან ცუდ შედეგებს, მაგრამ შეუძლებელია A-ს გამოყენების გაგრძელება.

3) ჩვენ გვინდა გადავიდეთ სამოდელო მიდგომიდანA-დან B-ის მიდგომა არა იმიტომ, რომ B-სგან უკეთეს შედეგებს ველით, არამედ იმიტომ, რომ ეს გვაძლევს უფრო დიდ ოპერაციულ მოქნილობას. ჩვენ არ გვაქვს საფუძველი ვიფიქროთ, რომ B იქნება უარესი, მაგრამ ჩვენ არ გავაკეთებთ გადასვლას, თუ ეს ასეა.

4) განვახორციელეთ რამდენიმე ხარისხობრივი ცვლილება ვებსაიტის დიზაინში (ვერსია B) და გვჯერა, რომ ეს ვერსია აღემატება A ვერსიას. ჩვენ არ ველით ცვლილებებს კონვერტაციაში ან შესრულების რომელიმე ძირითად ინდიკატორში, რომლითაც ჩვენ ჩვეულებრივ ვაფასებთ ვებსაიტს. მაგრამ ჩვენ გვჯერა, რომ არსებობს სარგებელი პარამეტრებში, რომლებიც ან არ არის გაზომვადი, ან ჩვენი ტექნოლოგია არ არის საკმარისი გასაზომად.

ყველა ამ შემთხვევაში უპირატესობის კვლევა არ არის ყველაზე შესაფერისი გამოსავალი. მაგრამ ასეთ სიტუაციებში სპეციალისტების უმეტესობა მას ნაგულისხმევად იყენებს. ჩვენ ყურადღებით ვატარებთ ექსპერიმენტს, რათა სწორად განვსაზღვროთ ეფექტის ზომა. თუ მართალი იყო, რომ A და B ვერსიები მუშაობენ ძალიან მსგავსი გზებით, არის შანსი, რომ ჩვენ ვერ უარვყოთ ნულოვანი ჰიპოთეზა. დავასკვნათ, რომ A და B ძირითადად ერთნაირად მოქმედებენ? არა! ნულოვანი ჰიპოთეზის უარყოფა და ნულოვანი ჰიპოთეზის მიღება არ არის იგივე.

ნიმუშის ზომის გამოთვლები (რაც, რა თქმა უნდა, თქვენ გააკეთეთ) ძირითადად კეთდება I ტიპის შეცდომის უფრო მჭიდრო საზღვრებით (ახალ ჰიპოთეზის უარყოფის ალბათობა, რომელსაც ხშირად ალფას უწოდებენ), ვიდრე II ტიპის შეცდომის შემთხვევაში (შესაძლებლობა, რომ არ მოხდეს უარყოთ ნულოვანი ჰიპოთეზა, იმ პირობით, რომ ნულოვანი ჰიპოთეზა მცდარია, ხშირად ბეტას უწოდებენ). ალფასთვის ტიპიური მნიშვნელობა არის 0,05, ხოლო ბეტასთვის ტიპიური მნიშვნელობა არის 0,20, რაც შეესაბამება 0,80 სტატისტიკურ ძალას. ეს ნიშნავს, რომ არის 20% შანსი იმისა, რომ ჩვენ გამოვტოვებთ იმ რაოდენობის ნამდვილ ეფექტს, რომელიც მითითებულია ჩვენს სიმძლავრის გამოთვლებში, და ეს არის საკმაოდ სერიოზული ხარვეზი ინფორმაციაში. მაგალითად, განვიხილოთ შემდეგი ჰიპოთეზები:

H0: ჩემი ზურგჩანთა ჩემს ოთახში არ არის (3)
H1: ჩემი ზურგჩანთა ჩემს ოთახშია (4)

თუ ჩემი ოთახი გავჩხრიკე და ვიპოვე ჩემი ზურგჩანთა, კარგია, შემიძლია უარვყო ნულოვანი ჰიპოთეზა. მაგრამ თუ ოთახს მოვავლე თვალი და ვერ ვიპოვე ჩემი ზურგჩანთა (სურათი 1), რა დასკვნა უნდა გამოვიტანო? დარწმუნებული ვარ რომ იქ არ არის? საკმარისად ვიყურებოდი? რა მოხდება, თუ ოთახის მხოლოდ 80% ვეძებე? დასკვნა, რომ ზურგჩანთა ნამდვილად არ არის ოთახში, ნაჩქარევი გადაწყვეტილება იქნებოდა. გასაკვირი არ არის, რომ ჩვენ არ შეგვიძლია "ნული ჰიპოთეზის მიღება".

ტერიტორია, რომელიც ჩვენ მოვძებნეთ
ჩვენ ვერ ვიპოვეთ ზურგჩანთა - მივიღოთ თუ არა ნულოვანი ჰიპოთეზა?

სურათი 1: ოთახის 80%-ის ძიება დაახლოებით იგივეა, რაც 80%-იანი სიმძლავრით. თუ ოთახის 80%-ის დათვალიერების შემდეგ ზურგჩანთა ვერ იპოვნეთ, შეგიძლიათ დაასკვნათ, რომ ის იქ არ არის?

რა უნდა გააკეთოს მონაცემთა მეცნიერმა ამ სიტუაციაში? თქვენ შეგიძლიათ მნიშვნელოვნად გაზარდოთ კვლევის ძალა, მაგრამ შემდეგ დაგჭირდებათ ნიმუშის გაცილებით დიდი ზომა და შედეგი მაინც არადამაკმაყოფილებელი იქნება.

საბედნიეროდ, ასეთი პრობლემები დიდი ხანია შესწავლილია კლინიკურ კვლევებში. წამალი B უფრო იაფია ვიდრე პრეპარატი A; მოსალოდნელია, რომ B წამალი გამოიწვევს ნაკლებ გვერდით მოვლენებს, ვიდრე წამალი A; წამალი B უფრო ადვილია ტრანსპორტირება, რადგან მას არ სჭირდება მაცივარში შენახვა, მაგრამ წამალი A სჭირდება. მოდით შევამოწმოთ არასრულფასოვნების ჰიპოთეზა. ეს არის იმის ჩვენება, რომ ვერსია B ისეთივე კარგია, როგორც ვერსია A - ყოველ შემთხვევაში, წინასწარ განსაზღვრული არასრულფასოვნების ზღვარში, Δ. ამ ლიმიტის დაწესების შესახებ დაწვრილებით ცოტა მოგვიანებით ვისაუბრებთ. მაგრამ ახლა მოდით ვივარაუდოთ, რომ ეს არის უმცირესი განსხვავება, რომელიც პრაქტიკულად არსებითია (კლინიკური კვლევების კონტექსტში ამას ჩვეულებრივ კლინიკურ მნიშვნელობას უწოდებენ).

არასრულფასოვნების ჰიპოთეზები ყველაფერს აბრუნებს თავზე:

ახლა, იმის ნაცვლად, რომ ვივარაუდოთ, რომ განსხვავება არ არის, ჩვენ ვივარაუდებთ, რომ ვერსია B არის A ვერსიაზე უარესი და ჩვენ დავიცავთ ამ ვარაუდს, სანამ არ დავამტკიცებთ, რომ ეს ასე არ არის. ეს არის ზუსტად ის მომენტი, როდესაც აზრი აქვს ცალმხრივი ჰიპოთეზის ტესტირების გამოყენებას! პრაქტიკაში, ეს შეიძლება გაკეთდეს ნდობის ინტერვალის აგებით და იმის დადგენით, არის თუ არა ინტერვალი რეალურად უფრო დიდი ვიდრე Δ (სურათი 2).

აირჩიეთ Δ

როგორ ავირჩიოთ სწორი Δ? Δ შერჩევის პროცესი მოიცავს სტატისტიკურ დასაბუთებას და არსებით შეფასებას. კლინიკური კვლევის სამყაროში არსებობს მარეგულირებელი გაიდლაინები, რომლებიც კარნახობენ, რომ დელტა უნდა წარმოადგენდეს უმცირეს კლინიკურად მნიშვნელოვან განსხვავებას - რაც განსხვავებას გამოიწვევს პრაქტიკაში. აქ არის ციტატა ევროპული სახელმძღვანელოებიდან, რათა გამოსცადოთ საკუთარი თავი: „თუ განსხვავება სწორად არის არჩეული, ნდობის ინტერვალი, რომელიც მთლიანად –∆-სა და 0-ს შორისაა… მაინც საკმარისია არასრულფასოვნების საჩვენებლად. თუ ეს შედეგი არ ჩანს მისაღები, ეს ნიშნავს, რომ ∆ არ იყო სათანადოდ შერჩეული“.

დელტა ნამდვილად არ უნდა აღემატებოდეს A ვერსიის ეფექტის ზომას ნამდვილ კონტროლთან შედარებით (პლაცებო/მკურნალობის გარეშე), რადგან ეს გვაძლევს იმის თქმას, რომ ვერსია B არის ჭეშმარიტ კონტროლზე უარესი და ამავდროულად აჩვენებს „არასრულფასოვნებას. .” დავუშვათ, რომ A ვერსიის შემოღებისას ის შეიცვალა 0 ვერსიით ან ფუნქცია საერთოდ არ არსებობდა (იხ. სურათი 3).

უპირატესობის ჰიპოთეზის შემოწმების შედეგებზე დაყრდნობით გამოვლინდა ეფექტის ზომა E (ანუ სავარაუდოდ μ^A−μ^0=E). ახლა A არის ჩვენი ახალი სტანდარტი და გვინდა დავრწმუნდეთ, რომ B არის ისეთივე კარგი, როგორც A. μB−μA≤−Δ (ნულის ჰიპოთეზა) დაწერის კიდევ ერთი გზაა μB≤μA−Δ. თუ დავუშვებთ, რომ do ტოლია ან მეტია E-ზე, მაშინ μB ≤ μA−E ≤ პლაცებო. ახლა ჩვენ ვხედავთ, რომ μB-სთვის ჩვენი შეფასება მთლიანად აღემატება μA−E, რაც ამით მთლიანად უარყოფს ნულოვან ჰიპოთეზას და საშუალებას გვაძლევს დავასკვნათ, რომ B არის ისეთივე კარგი, როგორც A, მაგრამ ამავე დროს μB შეიძლება იყოს ≤ μ პლაცებო, რაც არ არის საქმე.რა გვჭირდება. (სურათი 3).

სურათი 3. არასრულფასოვნების ზღვრის არჩევის რისკების დემონსტრირება. თუ ზღვარი ძალიან მაღალია, შეიძლება დავასკვნათ, რომ B არ ჩამოუვარდება A-ს, მაგრამ ამავე დროს არ განსხვავდება პლაცებოსგან. ჩვენ არ გავცვლით წამალს, რომელიც აშკარად უფრო ეფექტურია ვიდრე პლაცებო (A) წამლით, რომელიც ისეთივე ეფექტურია, როგორც პლაცებო.

α-ს არჩევანი

გადავიდეთ α-ს არჩევაზე. თქვენ შეგიძლიათ გამოიყენოთ სტანდარტული მნიშვნელობა α = 0,05, მაგრამ ეს არ არის სრულიად სამართლიანი. მაგალითად, როდესაც ყიდულობთ რაღაცას ინტერნეტში და იყენებთ რამდენიმე ფასდაკლების კოდს ერთდროულად, თუმცა ისინი არ უნდა იყოს შერწყმული - დეველოპერმა უბრალოდ შეცდომა დაუშვა და თქვენ მას თავი დააღწიეთ. წესების მიხედვით, α-ს მნიშვნელობა უნდა იყოს α-ს მნიშვნელობის ნახევარის ტოლი, რომელიც გამოიყენება უპირატესობის ჰიპოთეზის შემოწმებისას, ანუ 0,05 / 2 = 0,025.

ნიმუშის ზომა

როგორ შევაფასოთ ნიმუშის ზომა? თუ თვლით, რომ ჭეშმარიტი საშუალო განსხვავება A-სა და B-ს შორის არის 0, მაშინ ნიმუშის ზომის გამოთვლა იგივეა, რაც უპირატესობის ჰიპოთეზის ტესტირებისას, გარდა იმისა, რომ თქვენ შეცვლით ეფექტის ზომას არასრულფასოვნების ზღვარით, იმ პირობით, რომ იყენებთ αარადაბალი ეფექტურობა = 1/2α უპირატესობა (αnon-inferiority=1/2αsuperiority). თუ გაქვთ საფუძველი იმის დასაჯერებლად, რომ ვარიანტი B შეიძლება იყოს ოდნავ უარესი ვიდრე ვარიანტი A, მაგრამ გსურთ დაამტკიცოთ, რომ ის უარესია არაუმეტეს Δ-ით, მაშინ იღბლიანი ხართ! ეს რეალურად ამცირებს თქვენი ნიმუშის ზომას, რადგან უფრო ადვილია იმის დემონსტრირება, რომ B არის A-ზე უარესი, თუ რეალურად ფიქრობთ, რომ ის ოდნავ უარესია, ვიდრე თანაბარი.

მაგალითი ხსნარით

ვთქვათ, გსურთ განაახლოთ ვერსია B-ზე, იმ პირობით, რომ ის არაუმეტეს 0,1 ქულით უარესია A ვერსიაზე მომხმარებელთა კმაყოფილების 5-ბალიანი სკალაზე... მოდით მივუდგეთ ამ პრობლემას უპირატესობის ჰიპოთეზის გამოყენებით.

უპირატესობის ჰიპოთეზის შესამოწმებლად, ჩვენ გამოვთვლით ნიმუშის ზომას შემდეგნაირად:

ანუ, თუ თქვენ გაქვთ 2103 დაკვირვება თქვენს ჯგუფში, შეგიძლიათ იყოთ 90% დარწმუნებული, რომ იპოვით ეფექტის ზომას 0,10 ან მეტი. მაგრამ თუ 0,10 ძალიან მაღალია თქვენთვის, შესაძლოა არ ღირდეს უპირატესობის ჰიპოთეზის შემოწმება. იმისთვის, რომ უსაფრთხოდ იყოთ, შეიძლება გადაწყვიტოთ კვლევის ჩატარება უფრო მცირე ზომის ეფექტისთვის, როგორიცაა 0,05. ამ შემთხვევაში დაგჭირდებათ 8407 დაკვირვება, ანუ ნიმუში გაიზრდება თითქმის 4-ჯერ. მაგრამ რა მოხდება, თუ დავრჩებით ჩვენი ორიგინალური ნიმუშის ზომაზე, მაგრამ გავზრდით სიმძლავრეს 0,99-მდე, რათა უსაფრთხოდ ვიყოთ, თუ მივიღებთ დადებით შედეგს? ამ შემთხვევაში, n ერთი ჯგუფისთვის იქნება 3676, რაც უკვე უკეთესია, მაგრამ ზრდის ნიმუშის ზომას 50%-ზე მეტით. და შედეგად, ჩვენ მაინც ვერ შევძლებთ უარვყოთ ნულოვანი ჰიპოთეზა და ვერ მივიღებთ პასუხს ჩვენს კითხვაზე.

რა მოხდება, თუ ამის ნაცვლად გამოვცადეთ არასრულფასოვნების ჰიპოთეზა?

ნიმუშის ზომა გამოითვლება იგივე ფორმულით, გარდა მნიშვნელისა.
უპირატესობის ჰიპოთეზის შესამოწმებლად გამოყენებული ფორმულისგან განსხვავებები შემდეგია:

— Z1−α/2 იცვლება Z1−α-ით, მაგრამ თუ ყველაფერს აკეთებთ წესების მიხედვით, თქვენ ანაცვლებთ α = 0,05 α = 0,025-ით, ანუ იგივე რიცხვია (1,96)

— (μB−μA) ჩნდება მნიშვნელში

— θ (ეფექტის ზომა) შეიცვალა Δ-ით (არასრულფასოვნების ზღვარი)

თუ დავუშვებთ, რომ μB = μA, მაშინ (µB − µA) = 0 და ნიმუშის ზომის გამოთვლა არასრულფასოვნების ზღვარზე არის ზუსტად ის, რასაც მივიღებთ, თუ გამოვთვლით უპირატესობას ეფექტის ზომაზე 0,1, შესანიშნავია! ჩვენ შეგვიძლია გავაკეთოთ ერთი და იგივე ზომის კვლევა სხვადასხვა ჰიპოთეზებით და დასკვნებისადმი განსხვავებული მიდგომით და მივიღებთ პასუხს კითხვაზე, რომელზეც ნამდვილად გვინდა პასუხის გაცემა.

ახლა დავუშვათ, რომ რეალურად არ ვფიქრობთ, რომ μB = μA და
ჩვენ ვფიქრობთ, რომ μB არის ცოტა უარესი, შესაძლოა 0,01 ერთეულით. ეს ზრდის ჩვენს მნიშვნელს, ამცირებს ნიმუშის ზომას თითო ჯგუფზე 1737-მდე.

რა მოხდება, თუ ვერსია B რეალურად უკეთესია ვიდრე ვერსია? ჩვენ უარვყოფთ ნულოვანი ჰიპოთეზას, რომ B არის A-ზე უარესი Δ-ზე მეტით და ვიღებთ ალტერნატიულ ჰიპოთეზას, რომ B, თუ უარესი, არ არის A-ზე უარესი Δ-ით და შეიძლება იყოს უკეთესი. სცადეთ ეს დასკვნა ჯვარედინი ფუნქციური პრეზენტაციის სახით და ნახეთ რა მოხდება (სერიოზულად, სცადეთ). მომავალზე ორიენტირებულ სიტუაციაში არავის სურს დაკმაყოფილდეს "არაუმეტეს Δ უარესი და შესაძლოა უკეთესი".

ამ შემთხვევაში შეგვიძლია ჩავატაროთ კვლევა, რომელსაც ძალიან მოკლედ ჰქვია „ჰიპოთეზის ტესტირება, რომ ერთ-ერთი ვარიანტი მეორეზე მაღლა დგას ან ჩამოუვარდება“. იგი იყენებს ჰიპოთეზის ორ კომპლექტს:

პირველი ნაკრები (იგივეა, რაც არასრულფასოვნების ჰიპოთეზის ტესტირება):

მეორე ნაკრები (იგივე როგორც უპირატესობის ჰიპოთეზის ტესტირებისას):

ჩვენ ვამოწმებთ მეორე ჰიპოთეზას მხოლოდ იმ შემთხვევაში, თუ პირველი უარყოფილია. თანმიმდევრული ტესტირებისას, ჩვენ ვინარჩუნებთ I ტიპის შეცდომის საერთო კოეფიციენტს (α). პრაქტიკაში, ამის მიღწევა შესაძლებელია 95%-იანი ნდობის ინტერვალის შექმნით საშუალებებსა და ტესტირებას შორის სხვაობისთვის, რათა დადგინდეს არის თუ არა მთელი ინტერვალი -Δ-ზე მეტი. თუ ინტერვალი არ აღემატება -Δ, ჩვენ არ შეგვიძლია უარვყოთ null მნიშვნელობა და შევჩერდეთ. თუ მთელი ინტერვალი მართლაც მეტია -Δ-ზე, ჩვენ გავაგრძელებთ და ვნახავთ, შეიცავს თუ არა ინტერვალი 0-ს.

არის სხვა ტიპის კვლევა, რომელიც ჩვენ არ გვისაუბრია - ეკვივალენტობის კვლევები.

ამ ტიპის კვლევები შეიძლება შეიცვალოს არასრულფასოვნების კვლევებით და პირიქით, მაგრამ მათ რეალურად აქვთ მნიშვნელოვანი განსხვავება. არასრულფასოვნების ტესტი მიზნად ისახავს აჩვენოს, რომ ვარიანტი B არის მინიმუმ ისეთივე კარგი, როგორც A. ეკვივალენტური ტესტის მიზანია აჩვენოს, რომ ვარიანტი B არის მინიმუმ ისეთივე კარგი, როგორც A. ვარიანტი A არის ისეთივე კარგი, როგორც B, რაც უფრო რთულია. არსებითად, ჩვენ ვცდილობთ განვსაზღვროთ, არის თუ არა საშუალებებში სხვაობის მთელი ნდობის ინტერვალი −Δ და Δ შორის. ასეთი კვლევები მოითხოვს უფრო დიდ ნიმუშს და ტარდება ნაკლებად ხშირად. ასე რომ, შემდეგ ჯერზე, როდესაც ჩაატარებთ კვლევას, რომელშიც თქვენი მთავარი მიზანია უზრუნველყოთ, რომ ახალი ვერსია არ იყოს უარესი, არ დაკმაყოფილდეთ "ნუ უარყავით ნულოვანი ჰიპოთეზა". თუ გსურთ შეამოწმოთ მართლაც მნიშვნელოვანი ჰიპოთეზა, განიხილეთ სხვადასხვა ვარიანტები.

წყარო: www.habr.com