გაასუფთავეთ მონაცემები, როგორიცაა კლდის, ქაღალდის, მაკრატლის თამაში. ეს არის თამაში დასასრულით თუ მის გარეშე? ნაწილი 1. თეორიული

1. საწყისი მონაცემები

მონაცემთა გაწმენდა არის ერთ-ერთი გამოწვევა მონაცემთა ანალიზის ამოცანების წინაშე. ეს მასალა ასახავდა განვითარებულ მოვლენებს და გადაწყვეტილებებს, რომლებიც წარმოიშვა საკადასტრო ღირებულების ფორმირებაში მონაცემთა ბაზის ანალიზის პრაქტიკული პრობლემის გადაჭრის შედეგად. წყაროები აქ „ანგარიში No. 01/OKS-2019 ხანტი-მანსიისკის ავტონომიური ოკრუგის - უგრას ტერიტორიაზე ყველა სახის უძრავი ქონების (გარდა მიწის ნაკვეთების) სახელმწიფო საკადასტრო შეფასების შედეგების შესახებ“.

განხილული იყო ფაილი „შედარებითი მოდელის ჯამ.ods“ „დანართ B. KS 5-ის დადგენის შედეგები. ინფორმაცია საკადასტრო ღირებულების დადგენის მეთოდის შესახებ 5.1 შედარებითი მიდგომა“.

ცხრილი 1. მონაცემთა ნაკრების სტატისტიკური მაჩვენებლები ფაილში „შედარებითი მოდელის ტოტ.ods“
ველების საერთო რაოდენობა, ც. - 44
ჩანაწერების საერთო რაოდენობა, ც. - 365 490
სიმბოლოების საერთო რაოდენობა, ც. — 101 714 693
სიმბოლოების საშუალო რაოდენობა ჩანაწერში, ც. — 278,297
სიმბოლოების სტანდარტული გადახრა ჩანაწერში, ც. — 15,510
სიმბოლოების მინიმალური რაოდენობა ჩანაწერში, ც. - 198
სიმბოლოების მაქსიმალური რაოდენობა ჩანაწერში, ც. - 363

2. შესავალი ნაწილი. ძირითადი სტანდარტები

მითითებული მონაცემთა ბაზის გაანალიზებისას ჩამოყალიბდა დავალება გაწმენდის ხარისხის მოთხოვნების დაზუსტების მიზნით, ვინაიდან, როგორც ყველასთვის ცხადია, მითითებული მონაცემთა ბაზა ქმნის სამართლებრივ და ეკონომიკურ შედეგებს მომხმარებლისთვის. მუშაობის დროს აღმოჩნდა, რომ არ არსებობდა კონკრეტული მოთხოვნები დიდი მონაცემების გაწმენდის ხარისხზე. ამ საკითხში არსებული სამართლებრივი ნორმების გაანალიზებით, მივედი დასკვნამდე, რომ ისინი ყველა ჩამოყალიბებულია შესაძლებლობებიდან. ანუ გაჩნდა გარკვეული დავალება, ამოცანისთვის დგება ინფორმაციის წყაროები, შემდეგ ყალიბდება მონაცემთა ნაკრები და შექმნილი მონაცემთა ბაზაზე, პრობლემის გადაჭრის ინსტრუმენტები. მიღებული გადაწყვეტილებები არის საცნობარო პუნქტები ალტერნატივებიდან არჩევისას. მე ეს წარმოვადგინე სურათზე 1.



ვინაიდან ნებისმიერი სტანდარტის განსაზღვრის საკითხში სასურველია დავეყრდნოთ დადასტურებულ ტექნოლოგიებს, მე ავირჩიე მოთხოვნები "MHRA GxP მონაცემთა მთლიანობის განმარტებები და სახელმძღვანელო ინდუსტრიისთვის", რადგან მე ეს დოკუმენტი ყველაზე ამომწურავად მივიჩნიე ამ საკითხისთვის. კერძოდ, ამ დოკუმენტში ნათქვამია: „აღსანიშნავია, რომ მონაცემთა მთლიანობის მოთხოვნები თანაბრად ვრცელდება სახელმძღვანელოს (ქაღალდზე) და ელექტრონულ მონაცემებზე“. (თარგმანი: „...მონაცემთა მთლიანობის მოთხოვნები თანაბრად ვრცელდება სახელმძღვანელოს (ქაღალდზე) და ელექტრონულ მონაცემებზე“). ეს ფორმულირება საკმაოდ კონკრეტულად ასოცირდება „წერილობითი მტკიცებულების“ ცნებასთან, სამოქალაქო საპროცესო კოდექსის 71-ე მუხლის დებულებებში, მუხ. 70 CAS, მუხლი 75 APC, „წერილობით“ მუხლი. 84 სამოქალაქო საპროცესო კოდექსი.

მე-2 სურათზე წარმოდგენილია იურისპრუდენციაში ინფორმაციის ტიპებისადმი მიდგომების ფორმირების დიაგრამა.

ბრინჯი. 2. წყარო აქ.

სურათი 3 გვიჩვენებს ნახაზი 1-ის მექანიზმს ზემოაღნიშნული „სახელმძღვანელო“ ამოცანებისთვის. შედარებით მარტივია იმის დანახვა, რომ ინფორმაციული სისტემების თანამედროვე სტანდარტებში ინფორმაციის მთლიანობის მოთხოვნების დაკმაყოფილებისას გამოყენებული მიდგომები მნიშვნელოვნად შეზღუდულია ინფორმაციის იურიდიულ კონცეფციასთან შედარებით.

სურ. 3

მითითებულ დოკუმენტში (სახელმძღვანელო) ტექნიკურ ნაწილთან დაკავშირება, მონაცემების დამუშავებისა და შენახვის შესაძლებლობები კარგად არის დადასტურებული ციტატით 18.2 თავიდან. რელატიური მონაცემთა ბაზა: "ფაილის ეს სტრუქტურა არსებითად უფრო უსაფრთხოა, რადგან მონაცემები ინახება ფაილის დიდ ფორმატში, რომელიც ინარჩუნებს ურთიერთობას მონაცემებსა და მეტამონაცემებს შორის."

სინამდვილეში, ამ მიდგომაში - არსებული ტექნიკური შესაძლებლობებიდან, არაფერია არანორმალური და, თავისთავად, ეს ბუნებრივი პროცესია, რადგან კონცეფციების გაფართოება მოდის ყველაზე შესწავლილი აქტივობიდან - მონაცემთა ბაზის დიზაინი. მაგრამ, მეორე მხრივ, ჩნდება სამართლებრივი ნორმები, რომლებიც არ ითვალისწინებენ ფასდაკლებას არსებული სისტემების ტექნიკურ შესაძლებლობებზე, მაგალითად: GDPR - მონაცემთა დაცვის ზოგადი რეგულაცია.

ბრინჯი. 4. ტექნიკური შესაძლებლობების ძაბრი (წყარო).

ამ ასპექტებში ირკვევა, რომ თავდაპირველი მონაცემთა ნაკრები (ნახ. 1) პირველ რიგში უნდა იყოს შენახული და მეორეც, იყოს მისგან დამატებითი ინფორმაციის მოპოვების საფუძველი. მაგალითად: საგზაო მოძრაობის წესების ჩამწერი კამერები ყველგან არის გავრცელებული, ინფორმაციის დამუშავების სისტემები ანადგურებს დამრღვევებს, მაგრამ სხვა ინფორმაცია შეიძლება შესთავაზოს სხვა მომხმარებლებს, მაგალითად, სავაჭრო ცენტრში მომხმარებელთა ნაკადის სტრუქტურის მარკეტინგული მონიტორინგი. და ეს არის დამატებითი დამატებითი ღირებულების წყარო BigDat-ის გამოყენებისას. სავსებით შესაძლებელია, რომ მონაცემთა ნაკრების შეგროვება ახლა, სადღაც მომავალში, ჰქონდეს ღირებულება ისეთი მექანიზმის მიხედვით, როგორიც 1700 იშვიათი გამოცემების ღირებულებაა ამჟამად. ყოველივე ამის შემდეგ, ფაქტობრივად, მონაცემთა დროებითი ნაკრები უნიკალურია და ნაკლებად სავარაუდოა, რომ განმეორდება მომავალში.

3. შესავალი ნაწილი. შეფასების კრიტერიუმები

დამუშავების პროცესში შემუშავდა შეცდომების შემდეგი კლასიფიკაცია.

1. შეცდომის კლასი (GOST R 8.736-2011-ზე დაყრდნობით): ა) სისტემატური შეცდომები; ბ) შემთხვევითი შეცდომები; გ) შეცდომა.

2. სიმრავლით: ა) მონო დამახინჯება; ბ) მრავალდამახინჯება.

3. შედეგების კრიტიკულობის მიხედვით: ა) კრიტიკული; ბ) არა კრიტიკული.

4. შემთხვევის წყაროს მიხედვით:

ა) ტექნიკური – შეცდომები, რომლებიც წარმოიქმნება აღჭურვილობის ექსპლუატაციის დროს. საკმაოდ რელევანტური შეცდომა IoT სისტემებისთვის, სისტემებისთვის, რომლებსაც აქვთ მნიშვნელოვანი გავლენის ხარისხი კომუნიკაციის, აღჭურვილობის (ტექნიკის) ხარისხზე.

ბ) ოპერატორის შეცდომები - შეცდომები ფართო დიაპაზონში, დაწყებული ოპერატორის ბეჭდვითი შეცდომებიდან შეყვანის დროს დამთავრებული მონაცემთა ბაზის დიზაინის ტექნიკურ მახასიათებლებში არსებულ შეცდომებამდე.

გ) მომხმარებლის შეცდომები - აქ არის მომხმარებლის შეცდომები მთელ დიაპაზონში, დაწყებული „დაავიწყდა განლაგების შეცვლა“ მრიცხველების შეცდომით ფეხებამდე.

5. გამოყოფილია ცალკე კლასად:

ა) „გამყოფის ამოცანა“, ანუ სივრცე და „:“ (ჩვენს შემთხვევაში), როდესაც ის დუბლირებულია;
ბ) ერთად დაწერილი სიტყვები;
გ) მომსახურების სიმბოლოების შემდეგ სივრცე არ არის
დ) სიმეტრიულად მრავალჯერადი სიმბოლო: (), "", "...".

მე-5 სურათზე წარმოდგენილი მონაცემთა ბაზის შეცდომების სისტემატიზაციასთან ერთად, საკმაოდ ეფექტური კოორდინატთა სისტემა იქმნება შეცდომების საძიებლად და ამ მაგალითისთვის მონაცემთა გაწმენდის ალგორითმის შემუშავებისთვის.

ბრინჯი. 5. ტიპიური შეცდომები, რომლებიც შეესაბამება მონაცემთა ბაზის სტრუქტურულ ერთეულებს (წყარო: ორეშკოვი V.I., პაკლინი ნ.ბ. "მონაცემთა კონსოლიდაციის ძირითადი ცნებები").

სიზუსტე, დომენის მთლიანობა, მონაცემთა ტიპი, თანმიმდევრულობა, ზედმეტობა, სისრულე, დუბლირება, ბიზნესის წესების შესაბამისობა, სტრუქტურული განსაზღვრულობა, მონაცემთა ანომალია, სიცხადე, დროული, მონაცემთა მთლიანობის წესების დაცვა. (გვერდი 334. მონაცემთა შენახვის საფუძვლები IT პროფესიონალებისთვის / Paulraj Ponniah.-2nd ed.)

წარმოდგენილი ინგლისური ფორმულირება და რუსული ავტომატური თარგმანი ფრჩხილებში.

სიზუსტე. სისტემაში შენახული მნიშვნელობა მონაცემთა ელემენტისთვის არის სწორი მნიშვნელობა მონაცემთა ელემენტის ამ გამოჩენისთვის. თუ თქვენ გაქვთ მომხმარებლის სახელი და მისამართი შენახული ჩანაწერში, მაშინ მისამართი არის სწორი მისამართი ამ სახელის მქონე მომხმარებლისთვის. თუ 1000 შეკვეთის ჩანაწერში იპოვით შეკვეთილ რაოდენობას, როგორც 12345678 ერთეული, მაშინ ეს რაოდენობა არის ამ შეკვეთის ზუსტი რაოდენობა.
[სიზუსტე. სისტემაში შენახული მნიშვნელობა მონაცემთა ელემენტისთვის არის სწორი მნიშვნელობა მონაცემთა ელემენტის ამ გამოჩენისთვის. თუ თქვენ გაქვთ მომხმარებლის სახელი და მისამართი შენახული ჩანაწერში, მაშინ მისამართი არის სწორი მისამართი ამ სახელის მქონე მომხმარებლისთვის. თუ 1000 შეკვეთის ჩანაწერში იპოვით შეკვეთილ რაოდენობას, როგორც 12345678 ერთეული, მაშინ ეს რაოდენობა არის ამ შეკვეთის ზუსტი რაოდენობა.]

დომენის მთლიანობა. ატრიბუტის მონაცემთა ღირებულება ეცემა დასაშვებ, განსაზღვრულ მნიშვნელობების დიაპაზონში. საერთო მაგალითია დასაშვები მნიშვნელობები "მამრობითი" და "ქალი" სქესის მონაცემების ელემენტისთვის.
[დომენის მთლიანობა. ატრიბუტის მონაცემთა მნიშვნელობა ხვდება მოქმედი, განსაზღვრული მნიშვნელობების დიაპაზონში. ზოგადი მაგალითია მოქმედი მნიშვნელობები "მამრობითი" და "ქალი" სქესის მონაცემების ელემენტისთვის.]

Მონაცემთა ტიპი. მონაცემთა ატრიბუტის მნიშვნელობა რეალურად ინახება როგორც ამ ატრიბუტისთვის განსაზღვრული მონაცემთა ტიპი. როდესაც მაღაზიის სახელის ველის მონაცემთა ტიპი განისაზღვრება, როგორც „ტექსტი“, ამ ველის ყველა ინსტანცია შეიცავს ტექსტურ ფორმატში ნაჩვენები მაღაზიის სახელს და არა ციფრულ კოდებს.
[Მონაცემთა ტიპი. მონაცემთა ატრიბუტის მნიშვნელობა რეალურად ინახება როგორც ამ ატრიბუტისთვის განსაზღვრული მონაცემთა ტიპი. თუ მაღაზიის სახელის ველის მონაცემთა ტიპი განისაზღვრება როგორც "ტექსტი", ამ ველის ყველა ინსტანცია შეიცავს ტექსტურ ფორმატში გამოსახულ მაღაზიის სახელს და არა ციფრულ კოდებს.]

თანმიმდევრულობა. მონაცემთა ველის ფორმა და შინაარსი იგივეა მრავალი წყაროს სისტემაში. თუ პროდუქტის კოდი ABC ერთ სისტემაში არის 1234, მაშინ ამ პროდუქტის კოდი არის 1234 ყველა წყაროს სისტემაში.
[თანმიმდევრულობა. მონაცემთა ველის ფორმა და შინაარსი ერთნაირია სხვადასხვა წყაროს სისტემაში. თუ პროდუქტის ABC პროდუქტის კოდი ერთ სისტემაზე არის 1234, მაშინ ამ პროდუქტის კოდი არის 1234 თითოეულ წყარო სისტემაზე.]

ჭარბი რაოდენობა. ერთი და იგივე მონაცემები არ უნდა იყოს შენახული სისტემის ერთზე მეტ ადგილას. თუ, ეფექტურობის მიზეზების გამო, მონაცემთა ელემენტი განზრახ ინახება სისტემის ერთზე მეტ ადგილას, მაშინ სიჭარბე მკაფიოდ უნდა იყოს იდენტიფიცირებული და დამოწმებული.
[ზედმეტობა. ერთი და იგივე მონაცემები არ უნდა ინახებოდეს სისტემაში ერთზე მეტ ადგილას. თუ, ეფექტურობის მიზეზების გამო, მონაცემთა ელემენტი განზრახ ინახება სისტემის მრავალ ადგილას, მაშინ ჭარბი რაოდენობა მკაფიოდ უნდა იყოს განსაზღვრული და დამოწმებული.]

Სისრულე. სისტემაში არ არის დაკარგული მნიშვნელობები მოცემული ატრიბუტისთვის. მაგალითად, კლიენტის ფაილში, უნდა იყოს მოქმედი მნიშვნელობა ველის „მდგომარეობისთვის“ ყველა მომხმარებლისთვის. შეკვეთის დეტალების ფაილში შეკვეთის ყველა დეტალის ჩანაწერი უნდა იყოს სრულად შევსებული.
[Სისრულე. ამ ატრიბუტის სისტემაში არ არის დაკარგული მნიშვნელობები. მაგალითად, კლიენტის ფაილს უნდა ჰქონდეს მოქმედი მნიშვნელობა თითოეული კლიენტისთვის "სტატუსის" ველისთვის. შეკვეთის დეტალურ ფაილში, შეკვეთის დეტალების თითოეული ჩანაწერი სრულად უნდა იყოს შევსებული.]

დუბლირება. სისტემაში ჩანაწერების დუბლირება მთლიანად მოგვარებულია. თუ ცნობილია, რომ პროდუქტის ფაილს აქვს დუბლიკატი ჩანაწერები, მაშინ თითოეული პროდუქტის ყველა დუბლიკატი ჩანაწერი იდენტიფიცირებულია და იქმნება ჯვარედინი მითითება.
[დუბლიკატი. სისტემაში ჩანაწერების დუბლირება მთლიანად აღმოიფხვრა. თუ ცნობილია, რომ პროდუქტის ფაილი შეიცავს დუბლიკატულ ჩანაწერებს, მაშინ თითოეული პროდუქტისთვის ყველა დუბლიკატი ჩანაწერი იდენტიფიცირებულია და იქმნება ჯვარედინი მითითება.]

ბიზნესის წესების შესაბამისობა. თითოეული მონაცემთა ელემენტის მნიშვნელობები ემორჩილება დადგენილ ბიზნეს წესებს. აუქციონის სისტემაში ჩაქუჩი ან გასაყიდი ფასი არ შეიძლება იყოს სარეზერვო ფასზე ნაკლები. საბანკო სესხის სისტემაში სესხის ბალანსი ყოველთვის დადებითი ან ნულოვანი უნდა იყოს.
[ბიზნესის წესების დაცვა. თითოეული მონაცემთა ელემენტის მნიშვნელობები შეესაბამება დადგენილ ბიზნეს წესებს. აუქციონის სისტემაში ჩაქუჩი ან გასაყიდი ფასი არ შეიძლება იყოს სარეზერვო ფასზე ნაკლები. საბანკო საკრედიტო სისტემაში სესხის ბალანსი ყოველთვის დადებითი ან ნულოვანი უნდა იყოს.]

სტრუქტურული განსაზღვრულობა. სადაც მონაცემების ერთეული ბუნებრივად შეიძლება სტრუქტურირებული იყოს ცალკეულ კომპონენტებად, ელემენტი უნდა შეიცავდეს ამ კარგად განსაზღვრულ სტრუქტურას. მაგალითად, ინდივიდის სახელი ბუნებრივად იყოფა სახელად, შუა ინიციალს და გვარად. პირთა სახელების მნიშვნელობები უნდა იყოს შენახული როგორც სახელი, შუა საწყისი და გვარი. მონაცემთა ხარისხის ეს მახასიათებელი ამარტივებს სტანდარტების აღსრულებას და ამცირებს გამოტოვებულ მნიშვნელობებს.
[სტრუქტურული გარკვეულობა. სადაც მონაცემთა ელემენტი შეიძლება ბუნებრივად იყოს სტრუქტურირებული ცალკეულ კომპონენტებად, ელემენტი უნდა შეიცავდეს ამ კარგად განსაზღვრულ სტრუქტურას. მაგალითად, პირის სახელი ბუნებრივად იყოფა სახელად, შუა ინიციალს და გვარად. ინდივიდუალური სახელების მნიშვნელობები უნდა იყოს შენახული როგორც სახელი, შუა საწყისი და გვარი. მონაცემთა ხარისხის ეს მახასიათებელი ამარტივებს სტანდარტების გამოყენებას და ამცირებს გამოტოვებულ მნიშვნელობებს.]

მონაცემთა ანომალია. ველი უნდა იქნას გამოყენებული მხოლოდ იმ მიზნისთვის, რისთვისაც ის არის განსაზღვრული. თუ ველი Address-3 განსაზღვრულია ნებისმიერი შესაძლო მესამე სტრიქონისთვის გრძელი მისამართებისთვის, მაშინ ეს ველი უნდა იქნას გამოყენებული მხოლოდ მისამართის მესამე ხაზის ჩასაწერად. ის არ უნდა იქნას გამოყენებული მომხმარებლისთვის ტელეფონის ან ფაქსის ნომრის შესაყვანად.
[მონაცემთა ანომალია. ველი უნდა იყოს გამოყენებული მხოლოდ იმ მიზნისთვის, რისთვისაც ის არის განსაზღვრული. თუ ველი Address-3 განსაზღვრულია ნებისმიერი შესაძლო მესამე მისამართის ხაზისთვის გრძელი მისამართებისთვის, მაშინ ეს ველი გამოყენებული იქნება მხოლოდ მესამე მისამართის ხაზის ჩასაწერად. ის არ უნდა იქნას გამოყენებული მომხმარებლისთვის ტელეფონის ან ფაქსის ნომრის შესაყვანად.]

სიცხადე. მონაცემთა ელემენტს შეიძლება ჰქონდეს ხარისხის მონაცემების ყველა სხვა მახასიათებელი, მაგრამ თუ მომხმარებლებს არ ესმით მისი მნიშვნელობა ნათლად, მაშინ მონაცემთა ელემენტს არ აქვს მნიშვნელობა მომხმარებლებისთვის. დასახელების სათანადო კონვენციები ხელს უწყობს მომხმარებლისთვის მონაცემთა ელემენტების კარგად გაგებას.
[სიცხადე. მონაცემთა ელემენტს შეიძლება ჰქონდეს კარგი მონაცემების ყველა სხვა მახასიათებელი, მაგრამ თუ მომხმარებლებს ნათლად არ ესმით მისი მნიშვნელობა, მაშინ მონაცემთა ელემენტს არ აქვს მნიშვნელობა მომხმარებლებისთვის. დასახელების სწორი კონვენციები გვეხმარება მომხმარებლისთვის მონაცემთა ელემენტების კარგად გაგებაში.]

დროული. მომხმარებლები განსაზღვრავენ მონაცემების დროულობას. თუ მომხმარებლები მოელიან, რომ მომხმარებლის განზომილების მონაცემები არ იქნება ერთ დღეზე მეტი ხნის განმავლობაში, წყაროს სისტემებში მომხმარებლის მონაცემების ცვლილებები ყოველდღიურად უნდა იქნას გამოყენებული მონაცემთა საწყობში.
[Დროულად. მომხმარებლები განსაზღვრავენ მონაცემთა დროულობას. თუ მომხმარებლები მოელიან, რომ მომხმარებელთა განზომილების მონაცემები იქნება არაუმეტეს ერთი დღისა, მომხმარებლის მონაცემების ცვლილებები წყაროს სისტემებში ყოველდღიურად უნდა იქნას გამოყენებული მონაცემთა საწყობში.]

სარგებლიანობა. მონაცემთა საწყობის ყველა ელემენტი უნდა აკმაყოფილებდეს მომხმარებელთა შეგროვების გარკვეულ მოთხოვნებს. მონაცემთა ელემენტი შეიძლება იყოს ზუსტი და მაღალი ხარისხის, მაგრამ თუ მას არავითარი მნიშვნელობა არ აქვს მომხმარებლებისთვის, მაშინ სრულიად არასაჭიროა, რომ ეს ელემენტი იყოს მონაცემთა საწყობში.
[სასარგებლო. მონაცემთა შენახვის თითოეული ელემენტი უნდა აკმაყოფილებდეს მომხმარებლის შეგროვების ზოგიერთ მოთხოვნას. მონაცემთა ელემენტი შეიძლება იყოს ზუსტი და მაღალი ხარისხის, მაგრამ თუ ის არ აძლევს მომხმარებლებს მნიშვნელობას, მაშინ არ არის აუცილებელი, რომ ეს ელემენტი იყოს მონაცემთა საწყობში.]

მონაცემთა მთლიანობის წესების დაცვა. წყაროს სისტემების ურთიერთობით მონაცემთა ბაზებში შენახული მონაცემები უნდა იცავდეს ერთეულის მთლიანობისა და რეფერენციული მთლიანობის წესებს. ნებისმიერ ცხრილს, რომელიც ნებადართულია null, როგორც პირველადი გასაღები, არ აქვს ერთეულის მთლიანობა. რეფერენციული მთლიანობა აიძულებს მშობელსა და შვილს შორის ურთიერთობების სწორად დამყარებას. კლიენტთან შეკვეთასთან ურთიერთობისას, რეფერენციალური მთლიანობა უზრუნველყოფს კლიენტის არსებობას მონაცემთა ბაზაში ყველა შეკვეთისთვის.
[მონაცემთა მთლიანობის წესების დაცვა. წყარო სისტემების რელაციურ მონაცემთა ბაზებში შენახული მონაცემები უნდა შეესაბამებოდეს ერთეულის მთლიანობისა და რეფერენციული მთლიანობის წესებს. ნებისმიერ ცხრილს, რომელიც უშვებს null-ს, როგორც პირველადი გასაღები, არ აქვს ერთეულის მთლიანობა. რეფერენციული მთლიანობა აიძულებს მშობლებსა და შვილებს შორის ურთიერთობა სწორად დამყარდეს. კლიენტის შეკვეთის ურთიერთობისას, რეფერენციული მთლიანობა უზრუნველყოფს კლიენტის არსებობას მონაცემთა ბაზაში ყველა შეკვეთისთვის.]

4. მონაცემთა გაწმენდის ხარისხი

მონაცემთა გაწმენდის ხარისხი საკმაოდ პრობლემური საკითხია bigdata-ში. პასუხის გაცემა კითხვაზე, თუ რა ხარისხის მონაცემთა გაწმენდაა საჭირო ამოცანის შესასრულებლად, ფუნდამენტურია ყველა მონაცემთა ანალიტიკოსისთვის. უმეტეს აქტუალურ პრობლემებში, თითოეული ანალიტიკოსი თავად განსაზღვრავს ამას და ნაკლებად სავარაუდოა, რომ ვინმეს გარედან შეუძლია შეაფასოს ეს ასპექტი თავის გადაწყვეტაში. მაგრამ ამ საქმეში დასახული ამოცანისთვის ეს საკითხი უაღრესად მნიშვნელოვანი იყო, რადგან იურიდიული მონაცემების სანდოობა ერთისკენ უნდა მიდრეკილიყო.

პროგრამული უზრუნველყოფის ტესტირების ტექნოლოგიების განხილვა ოპერაციული საიმედოობის დასადგენად. დღეს ამ მოდელებზე მეტია 200. ბევრი მოდელი იყენებს პრეტენზიის სერვისის მოდელს:

Fig. 6

იფიქრეთ შემდეგნაირად: „თუ აღმოჩენილი შეცდომა არის ამ მოდელის წარუმატებლობის მოვლენის მსგავსი მოვლენა, მაშინ როგორ მოვძებნოთ t პარამეტრის ანალოგი? და შევადგინე შემდეგი მოდელი: წარმოვიდგინოთ, რომ ტესტერს ერთი ჩანაწერის შესამოწმებლად დრო სჭირდება 1 წუთი (განსახილველი მონაცემთა ბაზისთვის), შემდეგ ყველა შეცდომის საპოვნელად მას დასჭირდება 365 წუთი, რაც დაახლოებით 494 წელი და 3 თვეების სამუშაო დრო. როგორც გვესმის, ეს არის ძალიან დიდი სამუშაო და მონაცემთა ბაზის შემოწმების ხარჯები აკრძალული იქნება ამ მონაცემთა ბაზის შემდგენელისთვის. ამ ასახვაში ჩნდება ხარჯების ეკონომიკური კონცეფცია და ანალიზის შემდეგ მივედი დასკვნამდე, რომ ეს საკმაოდ ეფექტური ინსტრუმენტია. ეფუძნება ეკონომიკის კანონს: ”წარმოების მოცულობა (ერთეულებში), რომლითაც მიიღწევა ფირმის მაქსიმალური მოგება, მდებარეობს იმ წერტილში, სადაც პროდუქციის ახალი ერთეულის წარმოების ზღვრული ღირებულება შედარებულია იმ ფასთან, რომელიც ამ ფირმას შეუძლია მიიღოს. ახალი ერთეულისთვის“. პოსტულატზე დაყრდნობით, რომ ყოველი მომდევნო შეცდომის პოვნა მოითხოვს ჩანაწერების უფრო და უფრო მეტ შემოწმებას, ეს არის ხარჯების ფაქტორი. ანუ ტესტირების მოდელებში მიღებული პოსტულატი იღებს ფიზიკურ მნიშვნელობას შემდეგი ნიმუშით: თუ i-ე შეცდომის საპოვნელად საჭირო იყო n ჩანაწერის შემოწმება, მაშინ შემდეგი (i+3) შეცდომის საპოვნელად საჭირო იქნება. m ჩანაწერების შესამოწმებლად და ამავე დროს n

1. როდესაც ახალი შეცდომის აღმოჩენამდე შემოწმებული ჩანაწერების რაოდენობა სტაბილიზდება;
2. როდესაც შემდეგი შეცდომის პოვნამდე შემოწმებული ჩანაწერების რაოდენობა გაიზრდება.

კრიტიკული მნიშვნელობის დასადგენად მე მივმართე ეკონომიკური მიზანშეწონილობის კონცეფციას, რომელიც ამ შემთხვევაში სოციალური ხარჯების ცნების გამოყენებით შეიძლება ჩამოყალიბდეს შემდეგნაირად: „შეცდომის გამოსწორების ხარჯები უნდა გაიღოს ეკონომიკურმა აგენტმა, რომელსაც შეუძლია. ეს ყველაზე დაბალ ფასად.” გვყავს ერთი აგენტი - ტესტერი, რომელიც 1 წუთს ხარჯავს ერთი ჩანაწერის შემოწმებაზე. ფულადი თვალსაზრისით, თუ გამოიმუშავებთ 6000 რუბლს დღეში, ეს იქნება 12,2 რუბლი. (დაახლოებით დღეს). რჩება ეკონომიკურ სამართალში წონასწორობის მეორე მხარის დადგენა. მე ასე ვიმსჯელე. არსებული შეცდომა მოითხოვს დაინტერესებულმა პირმა ძალისხმევა დახარჯოს მის გამოსასწორებლად, ანუ ქონების მესაკუთრე. ვთქვათ, ეს მოითხოვს 1 დღის მოქმედებას (გააგზავნეთ განაცხადი, მიიღეთ შესწორებული დოკუმენტი). მაშინ, სოციალური თვალსაზრისით, მისი დანახარჯები დღეში საშუალო ხელფასის ტოლი იქნება. საშუალო დარიცხული ხელფასი ხანტი-მანსის ავტონომიურ ოკრუგში ხანტი-მანსისკის ავტონომიური ოკრუგის - უგრას სოციალურ-ეკონომიკური განვითარების შედეგები 2019 წლის იანვარ-სექტემბერში. 73285 რუბლი. ან 3053,542 რუბლი/დღეში. შესაბამისად, ჩვენ ვიღებთ კრიტიკულ მნიშვნელობას, რომელიც ტოლია:
3053,542: 12,2 = 250,4 ერთეული ჩანაწერი.

ეს ნიშნავს, რომ სოციალური თვალსაზრისით, თუ ტესტერმა შეამოწმა 251 ჩანაწერი და აღმოაჩინა ერთი შეცდომა, ეს უდრის მომხმარებელმა თავად დააფიქსიროს ეს შეცდომა. შესაბამისად, თუ ტესტერმა დახარჯა დრო, რომელიც ტოლი იყო 252 ჩანაწერის შესამოწმებლად შემდეგი შეცდომის მოსაძებნად, მაშინ ამ შემთხვევაში ჯობია მომხმარებლისთვის გადაიტანოს კორექტირების ღირებულება.

აქ წარმოდგენილია გამარტივებული მიდგომა, რადგან სოციალური თვალსაზრისით აუცილებელია გავითვალისწინოთ თითოეული სპეციალისტის მიერ წარმოქმნილი ყველა დამატებითი ღირებულება, ანუ ხარჯები გადასახადებისა და სოციალური გადასახადების ჩათვლით, მაგრამ მოდელი ნათელია. ამ ურთიერთობის შედეგია შემდეგი მოთხოვნა სპეციალისტებისთვის: IT ინდუსტრიის სპეციალისტს უნდა ჰქონდეს საშუალოზე მაღალი ხელფასი. თუ მისი ანაზღაურება მონაცემთა პოტენციური მომხმარებლების საშუალო ხელფასზე ნაკლებია, მაშინ მან თავად უნდა შეამოწმოს მთელი მონაცემთა ბაზა ხელჩართული.

აღწერილი კრიტერიუმის გამოყენებისას ყალიბდება მონაცემთა ბაზის ხარისხის პირველი მოთხოვნა:
I(tr). კრიტიკული შეცდომების წილი არ უნდა აღემატებოდეს 1/250,4 = 0,39938%. ცოტა ნაკლები ვიდრე დახვეწა ოქრო ინდუსტრიაში. და ფიზიკური თვალსაზრისით არ არის 1459-ზე მეტი შეცდომით ჩანაწერი.

ეკონომიკური უკანდახევა.

სინამდვილეში, ჩანაწერებში ასეთი რაოდენობის შეცდომის დაშვებით, საზოგადოება თანხმდება ეკონომიკურ ზარალზე:

1459*3053,542 = 4 რუბლი.

ეს თანხა განისაზღვრება იმით, რომ საზოგადოებას არ გააჩნია ინსტრუმენტები ამ ხარჯების შესამცირებლად. აქედან გამომდინარეობს, რომ თუ ვინმეს აქვს ტექნოლოგია, რომელიც საშუალებას აძლევს მათ შეამცირონ შეცდომით ჩანაწერების რაოდენობა, მაგალითად, 259-მდე, მაშინ ეს საშუალებას მისცემს საზოგადოებას დაზოგოს:
1200*3053,542 = 3 რუბლი.

მაგრამ ამავე დროს, მას შეუძლია მოითხოვოს თავისი ნიჭი და შრომა, კარგად, ვთქვათ - 1 მილიონი რუბლი.
ანუ, სოციალური ხარჯები მცირდება:

3 - 664 = 250 რუბლი.

არსებითად, ეს ეფექტი არის BigDat ტექნოლოგიების გამოყენების დამატებული ღირებულება.

მაგრამ აქ გასათვალისწინებელია, რომ ეს არის სოციალური ეფექტი და მონაცემთა ბაზის მფლობელია მუნიციპალური ხელისუფლება, მათი შემოსავალი ამ მონაცემთა ბაზაში დაფიქსირებული ქონების სარგებლობიდან 0,3%-ით არის: 2,778 მილიარდი რუბლი/ წელიწადი. და ეს ხარჯები (4 რუბლი) მას დიდად არ აწუხებს, რადგან ისინი გადაეცემა ქონების მფლობელებს. და, ამ ასპექტში, Bigdata-ში უფრო დახვეწილი ტექნოლოგიების შემქმნელს მოუწევს აჩვენოს ამ მონაცემთა ბაზის მფლობელის დარწმუნების უნარი და ასეთი რამ დიდ ნიჭს მოითხოვს.

ამ მაგალითში შეცდომის შეფასების ალგორითმი შეირჩა სანდოობის ტესტირების დროს პროგრამული უზრუნველყოფის შემოწმების შუმანის მოდელის [2] საფუძველზე. ინტერნეტში მისი გავრცელების და საჭირო სტატისტიკური მაჩვენებლების მოპოვების შესაძლებლობის გამო. მეთოდოლოგია აღებულია მონახოვის იუ.მ. „ინფორმაციული სისტემების ფუნქციონალური სტაბილურობა“, იხილეთ სპოილერის ქვეშ ნახ. 7-9.

ბრინჯი. 7 – 9 შუმანის მოდელის მეთოდოლოგია





ამ მასალის მეორე ნაწილში წარმოდგენილია მონაცემთა გაწმენდის მაგალითი, რომელშიც მიღებულია შუმანის მოდელის გამოყენების შედეგები.
წარმოგიდგენთ მიღებულ შედეგებს:
შეცდომების სავარაუდო რაოდენობა N = 3167 n.
პარამეტრი C, ლამბდა და საიმედოობის ფუნქცია:

სურ. 17

არსებითად, ლამბდა არის ინტენსივობის რეალური მაჩვენებელი, რომლითაც შეცდომები გამოვლენილია თითოეულ ეტაპზე. თუ გადავხედავთ მეორე ნაწილს, ამ ინდიკატორის შეფასება იყო 42,4 შეცდომა საათში, რაც საკმაოდ შედარებადია შუმანის მაჩვენებელთან. ზემოთ, დადგინდა, რომ დეველოპერი შეცდომებს პოულობს არანაკლებ 1 შეცდომის 250,4 ჩანაწერზე, წუთში 1 ჩანაწერის შემოწმებისას. აქედან გამომდინარეობს ლამბდას კრიტიკული მნიშვნელობა შუმანის მოდელისთვის:

60 / 250,4 = 0,239617.

ანუ შეცდომის გამოვლენის პროცედურების ჩატარების აუცილებლობა უნდა განხორციელდეს მანამ, სანამ ლამბდა, არსებული 38,964-დან, 0,239617-მდე შემცირდება.

ან სანამ ინდიკატორი N (შეცდომების პოტენციური რაოდენობა) მინუს n (შეცდომების გამოსწორებული რაოდენობა) არ დაიკლებს ჩვენს მიღებულ ზღვარს - 1459 ც.

ლიტერატურა

1. მონახოვი, იუ.მ. საინფორმაციო სისტემების ფუნქციონალური სტაბილურობა. 3 საათში ნაწილი 1. პროგრამული უზრუნველყოფის სანდოობა: სახელმძღვანელო. შემწეობა / იუ.მ. მონახოვი; ვლადიმი. სახელმწიფო უნივ. – ვლადიმერ: იზვო ვლადიმი. სახელმწიფო უნივერსიტეტი, 2011. – 60გვ. – ISBN 978-5-9984-0189-3.
2. მარტინ ლ. შუმანი, "ალბათური მოდელები პროგრამული უზრუნველყოფის საიმედოობის პროგნოზირებისთვის."
3. მონაცემთა შენახვის საფუძვლები IT პროფესიონალებისთვის / Paulraj Ponniah.-2nd ed.

Მეორე ნაწილი. თეორიული

წყარო: www.habr.com