გაასუფთავეთ მონაცემები, როგორიცაა კლდის, ქაღალდის, მაკრატლის თამაში. ეს არის თამაში დასასრულით თუ მის გარეშე? ნაწილი 2. პრაქტიკული

В ნაწილი პირველი აღწერილი იყო, რომ ეს პუბლიკაცია გაკეთდა ხანტი-მანსის ავტონომიურ ოკრუგში უძრავი ქონების საკადასტრო შეფასების შედეგების მონაცემთა ბაზის საფუძველზე.

პრაქტიკული ნაწილი წარმოდგენილია ნაბიჯების სახით. ყველა გაწმენდა განხორციელდა Excel-ში, რადგან ყველაზე გავრცელებული ინსტრუმენტი და აღწერილი ოპერაციები შეიძლება გაიმეოროს სპეციალისტების უმეტესობამ, რომლებმაც იციან Excel. და საკმაოდ კარგად შეეფერება ხელჩართულ სამუშაოს.

ნულოვანი ეტაპი იქნება ფაილის გაშვება და შენახვა, რადგან ის არის 100 მბ ზომის, მაშინ ამ ოპერაციების რაოდენობა ათობით და ასეულობით, მათ მნიშვნელოვანი დრო სჭირდება.
გახსნა საშუალოდ 30 წამია.
დაზოგვა – 22 წმ.

პირველი ეტაპი იწყება მონაცემთა ნაკრების სტატისტიკური მაჩვენებლების განსაზღვრით.

ცხრილი 1. მონაცემთა ნაკრების სტატისტიკური მაჩვენებლები

ტექნოლოგია 2.1.

ვქმნით დამხმარე ველს, მე მაქვს ნომრის ქვეშ - AY. თითოეული ჩანაწერისთვის ჩვენ ვქმნით ფორმულას "=LENGTH(F365502)+LENGTH(G365502)+…+LENGTH(AW365502)"

2.1 ეტაპზე გატარებული მთლიანი დრო (შუმანის ფორმულისთვის) t21 = 1 საათი.
2.1 ეტაპზე აღმოჩენილი შეცდომების რაოდენობა (შუმანის ფორმულისთვის) n21 = 0 ც.

მეორე ეტაპი.
მონაცემთა ნაკრების კომპონენტების შემოწმება.
2.2. ჩანაწერებში ყველა მნიშვნელობა იქმნება სტანდარტული სიმბოლოების გამოყენებით. ამიტომ, მოდით მივყვეთ სტატისტიკას სიმბოლოების მიხედვით.

ცხრილი 2. მონაცემთა ნაკრების სიმბოლოების სტატისტიკური მაჩვენებლები შედეგების წინასწარი ანალიზით.





ტექნოლოგია 2.2.1.

ჩვენ ვქმნით დამხმარე ველს - "alpha1". თითოეული ჩანაწერისთვის ჩვენ ვქმნით ფორმულას "=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)"
ჩვენ ვქმნით ფიქსირებულ ომეგა-1 უჯრედს. ჩვენ მონაცვლეობით შევიყვანთ სიმბოლოების კოდებს Windows-1251-ის მიხედვით 32-დან 255-მდე ამ უჯრედში.
ჩვენ ვქმნით დამხმარე ველს - "alpha2". ფორმულით "=FIND(SYMBOL(Omega,1); "alpha1",N)".
ჩვენ ვქმნით დამხმარე ველს - "alpha3". ფორმულით "=IF(ISNUMBER("ალფა2",N),1)"
შექმენით ფიქსირებული უჯრედი "ომეგა-2", ფორმულით "=SUM("alpha3"N1: "alpha3"N365498)"

ცხრილი 3. შედეგების წინასწარი ანალიზის შედეგები

ცხრილი 4. ამ ეტაპზე დაფიქსირებული შეცდომები

2.2.1 ეტაპზე გატარებული მთლიანი დრო (შუმანის ფორმულისთვის) t221 = 8 საათი.
შესწორებული შეცდომების რაოდენობა 2.2.1 ეტაპზე (შუმანის ფორმულისთვის) n221 = 0 ც.

ნაბიჯი 3.
მესამე ნაბიჯი არის მონაცემთა ნაკრების მდგომარეობის ჩაწერა. თითოეული ჩანაწერის მინიჭებით უნიკალური ნომერი (ID) და თითოეული ველი. ეს აუცილებელია კონვერტირებული მონაცემთა ნაკრების თავდაპირველთან შესადარებლად. ეს ასევე აუცილებელია დაჯგუფებისა და ფილტრაციის შესაძლებლობების სრული სარგებლობისთვის. აქ კვლავ მივმართავთ ცხრილს 2.2.2 და ვირჩევთ სიმბოლოს, რომელიც არ არის გამოყენებული მონაცემთა ნაკრებში. ჩვენ ვიღებთ იმას, რაც ნაჩვენებია სურათზე 10.

სურ. 10. იდენტიფიკატორების მინიჭება.

3 ეტაპზე გატარებული მთლიანი დრო (შუმანის ფორმულისთვის) t3 = 0,75 საათი.
3 ეტაპზე აღმოჩენილი შეცდომების რაოდენობა (შუმანის ფორმულისთვის) n3 = 0 ც.

ვინაიდან შუმანის ფორმულა მოითხოვს, რომ ეტაპი დასრულდეს შეცდომების გამოსწორებით. დავუბრუნდეთ მე-2 სტადიას.

ნაბიჯი 2.2.2.
ამ ეტაპზე ჩვენ ასევე გავასწორებთ ორმაგ და სამმაგი სივრცეებს.

სურ. 11. ორმაგი სივრცეების რაოდენობა.

2.2.4 ცხრილში გამოვლენილი შეცდომების გამოსწორება.

ცხრილი 5. შეცდომის გამოსწორების ეტაპი


მაგალითი იმისა, თუ რატომ არის მნიშვნელოვანი ისეთი ასპექტი, როგორიცაა ასოების „ე“ ან „ე“ გამოყენება, წარმოდგენილია ნახაზში 12.

სურ. 12. შეუსაბამობა ასო "ე".

2.2.2 საფეხურზე გატარებული ჯამური დრო t222 = 4 საათი.
2.2.2 ეტაპზე აღმოჩენილი შეცდომების რაოდენობა (შუმანის ფორმულისთვის) n222 = 583 ც.

მეოთხე ეტაპი.
ველის სიჭარბის შემოწმება კარგად ჯდება ამ ეტაპზე. 44 ველიდან 6 ველი:
7 - სტრუქტურის დანიშნულება
16 — მიწისქვეშა სართულების რაოდენობა
17 - მშობელი ობიექტი
21 - სოფლის საბჭო
38 — სტრუქტურის პარამეტრები (აღწერილობა)
40 – კულტურული მემკვიდრეობა

მათ არანაირი ჩანაწერი არ აქვთ. ანუ ზედმეტია.
ველს „22 – ქალაქი“ აქვს ერთი ჩანაწერი, სურათი 13.

სურ. 13. ერთადერთი ჩანაწერი არის Z_348653 "ქალაქის" ველში.

ველი „34 - შენობის სახელი“ შეიცავს ჩანაწერებს, რომლებიც აშკარად არ შეესაბამება ველის მიზანს, სურათი 14.

სურ. 14. შეუსაბამო ჩანაწერის მაგალითი.

ჩვენ გამოვრიცხავთ ამ ველებს მონაცემთა ნაკრებიდან. ჩვენ კი ცვლილებას ვაფიქსირებთ 214 ჩანაწერში.

4 ეტაპზე გატარებული მთლიანი დრო (შუმანის ფორმულისთვის) t4 = 2,5 საათი.
4 ეტაპზე აღმოჩენილი შეცდომების რაოდენობა (შუმანის ფორმულისთვის) n4 = 222 ც.

ცხრილი 6. მონაცემთა ნაკრების ინდიკატორების ანალიზი მე-4 ეტაპის შემდეგ

ზოგადად, ინდიკატორებში ცვლილებების გაანალიზებისას (ცხრილი 6) შეგვიძლია ვთქვათ, რომ:
1) სიმბოლოების საშუალო რაოდენობის თანაფარდობა სტანდარტული გადახრის ბერკეტთან ახლოს არის 3-თან, ანუ არის ნორმალური განაწილების ნიშნები (ექვს სიგმას წესი).
2) მინიმალური და მაქსიმალური ბერკეტების მნიშვნელოვანი გადახრა საშუალო ბერკეტიდან ვარაუდობს, რომ კუდების შესწავლა პერსპექტიული მიმართულებაა შეცდომების ძიებისას.

განვიხილოთ შეცდომების აღმოჩენის შედეგები შუმანის მეთოდოლოგიის გამოყენებით.

უმოქმედო ეტაპები

2.1. 2.1 ეტაპზე გატარებული მთლიანი დრო (შუმანის ფორმულისთვის) t21 = 1 საათი.
2.1 ეტაპზე აღმოჩენილი შეცდომების რაოდენობა (შუმანის ფორმულისთვის) n21 = 0 ც.

3. 3 ეტაპზე გატარებული მთლიანი დრო (შუმანის ფორმულისთვის) t3 = 0,75 საათი.
3 ეტაპზე აღმოჩენილი შეცდომების რაოდენობა (შუმანის ფორმულისთვის) n3 = 0 ც.

ეფექტური ეტაპები
2.2. 2.2.1 ეტაპზე გატარებული მთლიანი დრო (შუმანის ფორმულისთვის) t221 = 8 საათი.
შესწორებული შეცდომების რაოდენობა 2.2.1 ეტაპზე (შუმანის ფორმულისთვის) n221 = 0 ც.
2.2.2 საფეხურზე გატარებული ჯამური დრო t222 = 4 საათი.
2.2.2 ეტაპზე აღმოჩენილი შეცდომების რაოდენობა (შუმანის ფორმულისთვის) n222 = 583 ც.

საფეხურზე გატარებული ჯამური დრო 2.2 t22 = 8 + 4 = 12 საათი.
2.2.2 ეტაპზე აღმოჩენილი შეცდომების რაოდენობა (შუმანის ფორმულისთვის) n222 = 583 ც.

4. 4 ეტაპზე გატარებული მთლიანი დრო (შუმანის ფორმულისთვის) t4 = 2,5 საათი.
4 ეტაპზე აღმოჩენილი შეცდომების რაოდენობა (შუმანის ფორმულისთვის) n4 = 222 ც.

ვინაიდან არის ნულოვანი საფეხურები, რომლებიც უნდა იყოს ჩართული შუმანის მოდელის პირველ ეტაპზე, ხოლო მეორეს მხრივ, 2.2 და 4 ეტაპები არსებითად დამოუკიდებელია, მაშინ იმის გათვალისწინებით, რომ შუმანის მოდელი ვარაუდობს, რომ შემოწმების ხანგრძლივობის გაზრდით, ალბათობა შეცდომის გამოვლენის დროს მცირდება, ანუ ნაკადი ამცირებს ჩავარდნებს, შემდეგ ამ ნაკადის შესწავლით განვსაზღვრავთ, რომელი ეტაპი დავაყენოთ პირველ რიგში, წესის მიხედვით, სადაც ავარიის სიმკვრივე უფრო ხშირია, პირველ რიგში დავსვამთ იმ სტადიას.

ნახ. 15

სურათი 15-ის ფორმულიდან გამომდინარეობს, რომ გამოთვლებში სასურველია მეოთხე ეტაპის განთავსება 2.2 ეტაპამდე.

შუმანის ფორმულის გამოყენებით, ჩვენ განვსაზღვრავთ შეცდომების სავარაუდო საწყის რაოდენობას:

ნახ. 16

ნახაზ 16-ის შედეგებიდან ჩანს, რომ შეცდომების სავარაუდო რაოდენობაა N2 = 3167, რაც 1459-ის მინიმალურ კრიტერიუმზე მეტია.

შესწორების შედეგად გამოვასწორეთ 805 შეცდომა, პროგნოზირებული რიცხვი კი არის 3167 – 805 = 2362, რაც მაინც მეტია ჩვენ მიერ მიღებულ მინიმალურ ზღვარზე.

ჩვენ განვსაზღვრავთ პარამეტრს C, ლამბდას და საიმედოობის ფუნქციას:

ნახ. 17

არსებითად, ლამბდა არის ინტენსივობის რეალური მაჩვენებელი, რომლითაც შეცდომები გამოვლენილია თითოეულ ეტაპზე. თუ ზემოთ გადახედავთ, ამ ინდიკატორის წინა შეფასება იყო 42,4 შეცდომა საათში, რაც საკმაოდ შედარებადია შუმანის ინდიკატორთან. ამ მასალის პირველ ნაწილს რომ დავუბრუნდეთ, დადგინდა, რომ დეველოპერი შეცდომებს პოულობს არანაკლებ 1 შეცდომაზე 250,4 ჩანაწერზე, წუთში 1 ჩანაწერის შემოწმებისას. აქედან გამომდინარეობს ლამბდას კრიტიკული მნიშვნელობა შუმანის მოდელისთვის:
60 / 250,4 = 0,239617.

ანუ შეცდომის გამოვლენის პროცედურების ჩატარების აუცილებლობა უნდა განხორციელდეს მანამ, სანამ ლამბდა, არსებული 38,964-დან, 0,239617-მდე შემცირდება.

ან სანამ ინდიკატორი N (შეცდომების პოტენციური რაოდენობა) მინუს n (შეცდომების შესწორებული რაოდენობა) არ დაიწევს ჩვენს მიერ მიღებული ზღურბლის ქვემოთ (პირველ ნაწილში) - 1459 ც.

ნაწილი 1. თეორიული.

წყარო: www.habr.com