रॉक, पेपर, कैंची के खेल की तरह डेटा साफ़ करें। क्या यह एक खेल है जिसका अंत है या नहीं? भाग 2. व्यावहारिक

В भाग एक यह वर्णित किया गया था कि यह प्रकाशन खांटी-मानसी स्वायत्त ऑक्रग में अचल संपत्ति के भूकर मूल्यांकन परिणामों के डेटासेट के आधार पर किया गया था।

व्यावहारिक भाग को चरणों के रूप में प्रस्तुत किया गया है। सभी सफ़ाई एक्सेल में की गई थी, क्योंकि सबसे सामान्य उपकरण और वर्णित संचालन एक्सेल को जानने वाले अधिकांश विशेषज्ञों द्वारा दोहराया जा सकता है। और हाथ से काम करने के लिए काफी उपयुक्त है।

शून्य चरण फ़ाइल को लॉन्च करने और सहेजने का कार्य होगा, क्योंकि इसका आकार 100 एमबी है, फिर इन कार्यों की संख्या दसियों और सैकड़ों होने के कारण, उनमें महत्वपूर्ण समय लगता है।
ओपनिंग, औसतन, 30 सेकंड है।
बचत - 22 सेकंड।

पहला चरण डेटासेट के सांख्यिकीय संकेतकों को निर्धारित करने से शुरू होता है।

तालिका 1. डेटासेट के सांख्यिकीय संकेतक

प्रौद्योगिकी 2.1.

हम एक सहायक फ़ील्ड बनाते हैं, मेरे पास यह संख्या के अंतर्गत है - AY। प्रत्येक प्रविष्टि के लिए, हम सूत्र बनाते हैं "=लंबाई(F365502)+लंबाई(G365502)+...+लंबाई(AW365502)"

चरण 2.1 पर बिताया गया कुल समय (शुमान सूत्र के लिए) t21 = 1 घंटा।
चरण 2.1 पर पाई गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n21 = 0 पीसी।

दूसरा चरण।
डेटासेट के घटकों की जाँच करना।
2.2. अभिलेखों में सभी मान मानक प्रतीकों का उपयोग करके बनाए जाते हैं। इसलिए, आइए आंकड़ों को प्रतीकों द्वारा ट्रैक करें।

तालिका 2. परिणामों के प्रारंभिक विश्लेषण के साथ डेटासेट में वर्णों के सांख्यिकीय संकेतक।





प्रौद्योगिकी 2.2.1.

हम एक सहायक फ़ील्ड बनाते हैं - "अल्फ़ा1"। प्रत्येक रिकॉर्ड के लिए, हम सूत्र बनाते हैं "=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)"
हम एक निश्चित ओमेगा-1 सेल बनाते हैं। हम बारी-बारी से इस सेल में 1251 से 32 तक विंडोज-255 के अनुसार कैरेक्टर कोड दर्ज करेंगे।
हम एक सहायक फ़ील्ड बनाते हैं - "अल्फ़ा2"। सूत्र के साथ "=FIND(SYMBOL(Omega,1); "alpha1",N)"।
हम एक सहायक फ़ील्ड बनाते हैं - "अल्फ़ा3"। सूत्र के साथ "=IF(ISNUMBER("alpha2",N),1)"
सूत्र "=SUM("alpha2"N3: "alpha1"N3)" के साथ एक निश्चित सेल "ओमेगा-365498" बनाएं

तालिका 3. परिणामों के प्रारंभिक विश्लेषण के परिणाम

तालिका 4. इस स्तर पर दर्ज की गई त्रुटियाँ

चरण 2.2.1 पर बिताया गया कुल समय (शुमान सूत्र के लिए) t221 = 8 घंटा।
चरण 2.2.1 पर सुधारी गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n221 = 0 पीसी।

स्टेज 3।
तीसरा चरण डेटासेट की स्थिति को रिकॉर्ड करना है। प्रत्येक रिकॉर्ड को एक अद्वितीय संख्या (आईडी) और प्रत्येक फ़ील्ड निर्दिष्ट करके। परिवर्तित डेटासेट की मूल डेटासेट से तुलना करना आवश्यक है। समूहीकरण और फ़िल्टरिंग क्षमताओं का पूरा लाभ उठाने के लिए यह भी आवश्यक है। यहां हम फिर से तालिका 2.2.2 की ओर मुड़ते हैं और एक प्रतीक का चयन करते हैं जिसका उपयोग डेटासेट में नहीं किया जाता है। हमें वही मिलता है जो चित्र 10 में दिखाया गया है।

चित्र 10. पहचानकर्ता निर्दिष्ट करना.

चरण 3 पर बिताया गया कुल समय (शुमान सूत्र के लिए) t3 = 0,75 घंटा।
चरण 3 पर पाई गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n3 = 0 पीसी।

चूँकि शुमान सूत्र के अनुसार चरण को त्रुटियों को सुधारकर पूरा करना आवश्यक है। आइये चरण 2 पर वापस आते हैं।

स्टेज 2.2.2।
इस चरण में हम डबल और ट्रिपल स्पेस को भी सही करेंगे।

चित्र 11. दोहरे स्थानों की संख्या.

तालिका 2.2.4 में पहचानी गई त्रुटियों का सुधार।

तालिका 5. त्रुटि सुधार चरण


"ई" या "ई" अक्षरों का उपयोग जैसा पहलू क्यों महत्वपूर्ण है इसका एक उदाहरण चित्र 12 में प्रस्तुत किया गया है।

चित्र 12. "ई" अक्षर में विसंगति।

चरण 2.2.2 t222 में बिताया गया कुल समय = 4 घंटे।
चरण 2.2.2 पर पाई गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n222 = 583 पीसी।

चौथा चरण।
फ़ील्ड अतिरेक की जाँच करना इस चरण में अच्छी तरह से फिट बैठता है। 44 क्षेत्रों में से 6 क्षेत्र:
7 - संरचना का उद्देश्य
16 - भूमिगत मंजिलों की संख्या
17 - मूल वस्तु
21 - ग्राम सभा
38 - संरचना पैरामीटर (विवरण)
40-सांस्कृतिक विरासत

उनके पास कोई प्रविष्टि नहीं है. अर्थात् वे अनावश्यक हैं।
फ़ील्ड "22 - शहर" में एक एकल प्रविष्टि है, चित्र 13।

चित्र 13. "शहर" फ़ील्ड में एकमात्र प्रविष्टि Z_348653 है।

फ़ील्ड "34 - भवन का नाम" में ऐसी प्रविष्टियाँ हैं जो स्पष्ट रूप से फ़ील्ड के उद्देश्य के अनुरूप नहीं हैं, चित्र 14।

चित्र 14. गैर-अनुपालक प्रविष्टि का एक उदाहरण.

हम इन फ़ील्ड्स को डेटासेट से बाहर कर देते हैं। और हम परिवर्तन को 214 रिकॉर्ड में दर्ज करते हैं।

चरण 4 पर बिताया गया कुल समय (शुमान सूत्र के लिए) t4 = 2,5 घंटा।
चरण 4 पर पाई गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n4 = 222 पीसी।

तालिका 6. चौथे चरण के बाद डेटा सेट संकेतकों का विश्लेषण

सामान्य तौर पर, संकेतकों में परिवर्तन का विश्लेषण (तालिका 6) हम कह सकते हैं कि:
1) प्रतीकों की औसत संख्या और मानक विचलन लीवर का अनुपात 3 के करीब है, यानी सामान्य वितरण (सिक्स सिग्मा नियम) के संकेत हैं।
2) औसत लीवर से न्यूनतम और अधिकतम लीवर का एक महत्वपूर्ण विचलन बताता है कि त्रुटियों की खोज करते समय पूंछों का अध्ययन एक आशाजनक दिशा है।

आइए शुमान की पद्धति का उपयोग करके त्रुटियाँ खोजने के परिणामों की जाँच करें।

निष्क्रिय चरण

2.1. चरण 2.1 पर बिताया गया कुल समय (शुमान सूत्र के लिए) t21 = 1 घंटा।
चरण 2.1 पर पाई गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n21 = 0 पीसी।

3. चरण 3 पर बिताया गया कुल समय (शुमान सूत्र के लिए) t3 = 0,75 घंटा।
चरण 3 पर पाई गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n3 = 0 पीसी।

प्रभावी चरण
2.2. चरण 2.2.1 पर बिताया गया कुल समय (शुमान सूत्र के लिए) t221 = 8 घंटा।
चरण 2.2.1 पर सुधारी गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n221 = 0 पीसी।
चरण 2.2.2 t222 में बिताया गया कुल समय = 4 घंटे।
चरण 2.2.2 पर पाई गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n222 = 583 पीसी।

चरण 2.2 t22 में बिताया गया कुल समय = 8 + 4 = 12 घंटे।
चरण 2.2.2 पर पाई गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n222 = 583 पीसी।

4. चरण 4 पर बिताया गया कुल समय (शुमान सूत्र के लिए) t4 = 2,5 घंटा।
चरण 4 पर पाई गई त्रुटियों की संख्या (शुमान सूत्र के लिए) n4 = 222 पीसी।

चूंकि शून्य चरण हैं जिन्हें शुमान मॉडल के पहले चरण में शामिल किया जाना चाहिए, और दूसरी ओर, चरण 2.2 और 4 स्वाभाविक रूप से स्वतंत्र हैं, तो यह देखते हुए कि शुमान मॉडल मानता है कि जांच की अवधि बढ़ाने से, संभावना त्रुटि का पता लगाने का प्रतिशत कम हो जाता है, अर्थात प्रवाह में विफलताएं कम हो जाती हैं, फिर इस प्रवाह की जांच करके हम यह निर्धारित करेंगे कि किस चरण को पहले रखना है, नियम के अनुसार, जहां विफलता घनत्व अधिक होता है, हम उस चरण को पहले रखेंगे।

Rys.15।

चित्र 15 के सूत्र से यह पता चलता है कि गणना में चौथे चरण को चरण 2.2 से पहले रखना बेहतर है।

शुमान के सूत्र का उपयोग करके, हम त्रुटियों की अनुमानित प्रारंभिक संख्या निर्धारित करते हैं:

Rys.16।

चित्र 16 के परिणामों से यह देखा जा सकता है कि त्रुटियों की अनुमानित संख्या N2 = 3167 है, जो 1459 के न्यूनतम मानदंड से अधिक है।

सुधार के परिणामस्वरूप, हमने 805 त्रुटियों को ठीक किया, और अनुमानित संख्या 3167 - 805 = 2362 है, जो अभी भी हमारे द्वारा स्वीकृत न्यूनतम सीमा से अधिक है।

हम पैरामीटर सी, लैम्ब्डा और विश्वसनीयता फ़ंक्शन को परिभाषित करते हैं:

Rys.17।

मूलतः, लैम्ब्डा उस तीव्रता का एक वास्तविक संकेतक है जिसके साथ प्रत्येक चरण में त्रुटियों का पता लगाया जाता है। यदि आप ऊपर देखें, तो इस सूचक का पिछला अनुमान 42,4 त्रुटियाँ प्रति घंटा था, जो शुमान सूचक से काफी तुलनीय है। इस सामग्री के पहले भाग की ओर मुड़ते हुए, यह निर्धारित किया गया था कि प्रति मिनट 1 रिकॉर्ड की जाँच करते समय, जिस दर पर डेवलपर को त्रुटियाँ मिलती हैं, वह प्रति 250,4 रिकॉर्ड में 1 त्रुटि से कम नहीं होनी चाहिए। इसलिए शुमान मॉडल के लिए लैम्ब्डा का महत्वपूर्ण मूल्य:
60 / 250,4 = 0,239617।

अर्थात्, त्रुटि का पता लगाने की प्रक्रियाओं को तब तक पूरा करने की आवश्यकता है जब तक कि लैम्ब्डा, मौजूदा 38,964 से घटकर 0,239617 न हो जाए।

या जब तक संकेतक एन (त्रुटियों की संभावित संख्या) शून्य से एन (त्रुटियों की सही संख्या) हमारे द्वारा स्वीकार की गई सीमा से कम नहीं हो जाती (पहले भाग में) - 1459 पीसी।

भाग 1. सैद्धांतिक.

स्रोत: www.habr.com