გაასუფთავეთ მონაცემები, როგორიცაა კლდის, ქაღალდის, მაკრატლის თამაში. ეს არის თამაში დასასრულით თუ მის გარეშე? ნაწილი 2. პრაქტიკული

В პირველი ნაწილი აღწერილი იყო, რომ ეს პუბლიკაცია მომზადდა ხანტი-მანსის ავტონომიურ ოკრუგში უძრავი ქონების ობიექტების კადასტრული შეფასების შედეგების მონაცემთა ნაკრების საფუძველზე.

პრაქტიკული ნაწილი ეტაპობრივად არის წარმოდგენილი. ყველა დასუფთავება Excel-ში შესრულდა, რადგან ეს ყველაზე გავრცელებული ინსტრუმენტია და აღწერილი ოპერაციების გამეორება Excel-თან ნაცნობი პროფესიონალების უმეტესობას შეუძლია. ის ასევე საკმაოდ შესაფერისია პრაქტიკული სამუშაოსთვის.

ფაილის გაშვებისა და შენახვის სამუშაოს ნულოვან საფეხურად მივიჩნევ, რადგან მისი ზომა 100 მბ-ია და ათობით და ასობით ასეთი ოპერაციის შესრულებას მნიშვნელოვანი დრო სჭირდება.
გახსნის დრო საშუალოდ 30 წამია.
დროის დაზოგვა: 22 წმ.

პირველი ეტაპი იწყება მონაცემთა ნაკრების სტატისტიკური ინდიკატორების განსაზღვრით.

ცხრილი 1. მონაცემთა ნაკრების სტატისტიკური მაჩვენებლები

ტექნოლოგია 2.1.

შექმენით დამხმარე ველი; მე მას AY-ს დავარქმევ. თითოეული ჩანაწერისთვის შექმენით ფორმულა "=LEN(F365502)+LEN(G365502)+…+LEN(AW365502)"

ეტაპ 2.1-ზე (შუმანის ფორმულისთვის) დახარჯული საერთო დრო t21 = 1 საათი.
2.1 ნაბიჯში (შუმანის ფორმულისთვის) აღმოჩენილი შეცდომების რაოდენობა n21 = 0 ცალი.

მეორე ეტაპი.
მონაცემთა ნაკრების კომპონენტების შემოწმება.
2.2. ჩანაწერებში ყველა მნიშვნელობა ფორმირდება სტანდარტული სიმბოლოების გამოყენებით. ამიტომ, მოდით, სტატისტიკას სიმბოლოების მიხედვით მივყვეთ.

ცხრილი 2. მონაცემთა ნაკრებში სიმბოლოების სტატისტიკური მაჩვენებლები შედეგების წინასწარი ანალიზით.





ტექნოლოგია 2.2.1.

ჩვენ ვქმნით დამხმარე ველს – „alpha1“. თითოეული ჩანაწერისთვის ვქმნით ფორმულას „=CONCATENATE(Sheet1!B9;…Sheet1!AQ9)“.
ჩვენ შევქმნით ფიქსირებულ უჯრას სახელწოდებით „ომეგა-1“. ამ უჯრაში ერთმანეთის მიყოლებით შევიყვანთ Windows-1251 სიმბოლოების კოდებს 32-დან 255-მდე.
ჩვენ ვქმნით დამხმარე ველს – „alpha2“. ფორმულით „=FIND(CHAR(Omega;1); “alpha1”;N)“.
ჩვენ ვქმნით დამხმარე ველს – „alpha3“. ფორმულით „=IF(ISNUMBER(“alpha2”;N);1;0)“
შექმენით ფიქსირებული უჯრედი „ომეგა-2“ ფორმულით „=SUM("ალფა3"N1:"ალფა3"N365498)“

ცხრილი 3. შედეგების წინასწარი ანალიზის შედეგები

ცხრილი 4. ამ ეტაპზე დაფიქსირებული შეცდომები

ეტაპ 2.2.1-ზე (შუმანის ფორმულისთვის) დახარჯული საერთო დრო t221 = 8 საათი.
2.2.1 ეტაპზე (შუმანის ფორმულისთვის) გამოსწორებული შეცდომების რაოდენობა n221 = 0 ცალი.

ნაბიჯი 3.
მესამე ნაბიჯი მონაცემთა ნაკრების მდგომარეობის ჩაწერაა. თითოეულ ჩანაწერს და თითოეულ ველს ვანიჭებთ უნიკალურ ნომერს (ID). ეს აუცილებელია გარდაქმნილი მონაცემთა ნაკრების ორიგინალთან შესადარებლად. ასევე აუცილებელია დაჯგუფებისა და ფილტრაციის შესაძლებლობების სრულად გამოყენება. აქ კვლავ მივმართავთ ცხრილ 2.2.2-ს და ვირჩევთ სიმბოლოს, რომელიც მონაცემთა ნაკრებში არ გამოიყენება. შედეგი ნაჩვენებია ნახაზ 10-ში.

სურ. 10. იდენტიფიკატორების მინიჭება.

ეტაპ 3-ზე (შუმანის ფორმულისთვის) დახარჯული საერთო დრო t3 = 0,75 საათი.
3 ნაბიჯში (შუმანის ფორმულისთვის) აღმოჩენილი შეცდომების რაოდენობა n3 = 0 ცალი.

რადგან შუმანის ფორმულა მოითხოვს, რომ ეს ეტაპი დასრულდეს შეცდომის კორექტირებით, ჩვენ ვუბრუნდებით მე-2 ეტაპს.

ნაბიჯი 2.2.2.
ამ ეტაპზე ჩვენ ასევე გავასწორებთ ორმაგ და სამმაგი სივრცეებს.

სურ. 11. ორმაგი ინტერვალების რაოდენობა.

ცხრილ 2.2.4-ში გამოვლენილი შეცდომების გასწორება.

ცხრილი 5. შეცდომის კორექტირების ეტაპი


მაგალითი იმისა, თუ რატომ არის მნიშვნელოვანი ისეთი ასპექტი, როგორიცაა ასოების „e“ ან „yo“ გამოყენება, ნაჩვენებია ნახაზ 12-ში.

სურ. 12. შეუსაბამობა ასო „ё“-ში.

სცენაზე 2.2.2 დახარჯული საერთო დრო t222 = 4 საათი.
2.2.2 ნაბიჯში (შუმანის ფორმულისთვის) აღმოჩენილი შეცდომების რაოდენობა n222 = 583 ცალი.

მეოთხე ეტაპი.
ველების სიჭარბის შემოწმება ამ ეტაპზე კარგად ჯდება. 44 ველიდან 6 არის:
7 — სტრუქტურის დანიშნულება
16 - მიწისქვეშა სართულების რაოდენობა
17 — მშობელი ობიექტი
21 — სოფლის საბჭო
38 — სტრუქტურის პარამეტრები (აღწერა)
40 - კულტურული მემკვიდრეობა

მათ ერთი ჩანაწერი არ აქვთ. ანუ ისინი ზედმეტია.
ველს „22 - ქალაქი“ აქვს ერთი ჩანაწერი, სურათი 13.

სურ. 13. „ქალაქის“ ველში ერთადერთი ჩანაწერი Z_348653.

ველი „34 — შენობის დასახელება“ შეიცავს ჩანაწერებს, რომლებიც აშკარად არ შეესაბამება ველის დანიშნულებას, სურათი 14.

სურ. 14. შეუსაბამო ჩანაწერის მაგალითი.

ჩვენ ამ ველებს მონაცემთა ნაკრებიდან გამოვრიცხავთ და 214 ჩანაწერში ცვლილებებს ვაფიქსირებთ.

ეტაპ 4-ზე (შუმანის ფორმულისთვის) დახარჯული საერთო დრო t4 = 2,5 საათი.
4 ნაბიჯში (შუმანის ფორმულისთვის) აღმოჩენილი შეცდომების რაოდენობა n4 = 222 ცალი.

ცხრილი 6. მონაცემთა ნაკრების ინდიკატორების ანალიზი მე-4 ეტაპის შემდეგ

ზოგადად, ინდიკატორების ცვლილებების ანალიზით (ცხრილი 6), შეგვიძლია ვთქვათ, რომ:
1) სიმბოლოების საშუალო რაოდენობისა და სტანდარტული გადახრის ბერკეტის თანაფარდობა 3-თან ახლოსაა, რაც ნიშნავს, რომ არსებობს ნორმალური განაწილების ნიშნები (ექვსი სიგმის წესი).
2) მინიმალური და მაქსიმალური ბერკეტების საშუალო ბერკეტიდან მნიშვნელოვანი გადახრა იმაზე მიუთითებს, რომ კუდების შესწავლა შეცდომების ძიებაში პერსპექტიული მიმართულებაა.

ჩვენ განვიხილავთ შუმანის მეთოდოლოგიის გამოყენებით შეცდომების პოვნის შედეგებს.

უმოქმედო ეტაპები

2.1. ეტაპ 2.1-ზე (შუმანის ფორმულისთვის) დახარჯული საერთო დრო t21 = 1 საათი.
2.1 ნაბიჯში (შუმანის ფორმულისთვის) აღმოჩენილი შეცდომების რაოდენობა n21 = 0 ცალი.

3. ეტაპ 3-ზე (შუმანის ფორმულისთვის) დახარჯული საერთო დრო t3 = 0,75 საათი.
3 ნაბიჯში (შუმანის ფორმულისთვის) აღმოჩენილი შეცდომების რაოდენობა n3 = 0 ცალი.

ეფექტური ეტაპები
2.2. ეტაპ 2.2.1-ზე (შუმანის ფორმულისთვის) დახარჯული საერთო დრო t221 = 8 საათი.
2.2.1 ეტაპზე (შუმანის ფორმულისთვის) გამოსწორებული შეცდომების რაოდენობა n221 = 0 ცალი.
სცენაზე 2.2.2 დახარჯული საერთო დრო t222 = 4 საათი.
2.2.2 ნაბიჯში (შუმანის ფორმულისთვის) აღმოჩენილი შეცდომების რაოდენობა n222 = 583 ცალი.

ეტაპ 2.2-ზე დახარჯული საერთო დრო t22 = 8 + 4 = 12 საათი.
2.2.2 ნაბიჯში (შუმანის ფორმულისთვის) აღმოჩენილი შეცდომების რაოდენობა n222 = 583 ცალი.

4. ეტაპ 4-ზე (შუმანის ფორმულისთვის) დახარჯული საერთო დრო t4 = 2,5 საათი.
4 ნაბიჯში (შუმანის ფორმულისთვის) აღმოჩენილი შეცდომების რაოდენობა n4 = 222 ცალი.

ვინაიდან შუმანის მოდელის პირველ ეტაპზე ნულოვანი ეტაპი უნდა იყოს ჩართული, ხოლო მეორეს მხრივ, ეტაპები 2.2 და 4 არსებითად დამოუკიდებელია, მაშინ იმის გათვალისწინებით, რომ შუმანის მოდელი ვარაუდობს, რომ ტესტირების ხანგრძლივობის ზრდასთან ერთად, შეცდომის აღმოჩენის ალბათობა მცირდება, ანუ ჩავარდნების ნაკადი მცირდება, მაშინ ამ ნაკადის შესწავლით განვსაზღვრავთ, რომელი ეტაპი უნდა დავაყენოთ პირველ ადგილზე, წესის მიხედვით, სადაც ჩავარდნების სიმჭიდროვე უფრო ხშირია, ეს ეტაპი პირველ ადგილზეა.

ნახ. 15

ნახაზი 15-ში მოცემული ფორმულიდან გამომდინარეობს, რომ გამოთვლებში სასურველია მეოთხე ეტაპის განთავსება ეტაპ 2.2-მდე.

შუმანის ფორმულის გამოყენებით, ჩვენ ვადგენთ შეცდომების სავარაუდო საწყის რაოდენობას:

ნახ. 16

ნახაზი 16-ის შედეგებიდან ჩანს, რომ შეცდომების პროგნოზირებული რაოდენობა N2 = 3167-ია, რაც მინიმალურ კრიტერიუმ 1459-ზე მეტია.

კორექტირების შედეგად, ჩვენ 805 შეცდომა გამოვასწორეთ და პროგნოზირებული რიცხვია 3167 - 805 = 2362, რაც მაინც მეტია ჩვენს მიერ მიღებულ მინიმალურ ზღვარზე.

ჩვენ განვსაზღვრავთ პარამეტრ C-ს, ლამბდას და საიმედოობის ფუნქციას:

ნახ. 17

არსებითად, ლამბდა არის ფაქტობრივი ინდიკატორი იმისა, თუ რა სიჩქარით ხდება შეცდომების აღმოჩენა თითოეულ ეტაპზე. წინა შეფასების გათვალისწინებით, ეს მაჩვენებელი საათში 42,4 შეცდომას შეადგენდა, რაც საკმაოდ შედარებადია შუმანის ინდიკატორთან. ამ მასალის პირველ ნაწილზე დაყრდნობით, დადგინდა, რომ დეველოპერის მიერ შეცდომების აღმოჩენის მაჩვენებელი არ უნდა იყოს 1 შეცდომაზე ნაკლები 250,4 ჩანაწერზე, ერთი ჩანაწერის შემოწმებით წუთში. შესაბამისად, შუმანის მოდელისთვის კრიტიკული ლამბდას მნიშვნელობაა:
60 / 250,4 = 0,239617.

ანუ შეცდომის გამოვლენის პროცედურების ჩატარების აუცილებლობა უნდა განხორციელდეს მანამ, სანამ ლამბდა, არსებული 38,964-დან, 0,239617-მდე შემცირდება.

ან სანამ ინდიკატორი N (შეცდომების პოტენციური რაოდენობა) მინუს n (შეცდომების გასწორებული რაოდენობა) არ შემცირდება ჩვენს მიერ (პირველ ნაწილში) მიღებულ ზღურბლზე – 1459 ცალი.

ნაწილი 1. თეორიული.

წყარო: www.habr.com