रॉक, पेपर, सिझर्सचा गेम सारखा डेटा साफ करा. हा खेळ संपणारा किंवा न संपणारा आहे का? भाग 2. व्यावहारिक

В पहिला भाग असे वर्णन करण्यात आले आहे की हे प्रकाशन खांटी-मानसी स्वायत्त ऑक्रगमधील रिअल इस्टेटच्या कॅडस्ट्रल मूल्यांकन परिणामांच्या डेटासेटच्या आधारावर केले गेले आहे.

व्यावहारिक भाग चरणांच्या स्वरूपात सादर केला जातो. सर्व साफसफाई एक्सेलमध्ये केली गेली होती, कारण सर्वात सामान्य साधन आणि वर्णन केलेली ऑपरेशन्स एक्सेल माहित असलेल्या बहुतेक तज्ञांद्वारे पुनरावृत्ती केली जाऊ शकतात. आणि हाताने काम करण्यासाठी अगदी योग्य.

फाइल लाँच आणि सेव्ह करण्याचे काम शून्य टप्पा असेल, कारण ती 100 MB आकाराची आहे, त्यानंतर या ऑपरेशन्सची संख्या दहा आणि शेकडो असल्याने, त्यांना लक्षणीय वेळ लागतो.
उघडणे, सरासरी, 30 सेकंद आहे.
बचत - 22 से.

पहिला टप्पा डेटासेटचे सांख्यिकीय निर्देशक ठरवण्यापासून सुरू होतो.

तक्ता 1. डेटासेटचे सांख्यिकीय निर्देशक

तंत्रज्ञान 2.1.

आम्ही एक सहाय्यक फील्ड तयार करतो, माझ्याकडे ते नंबर अंतर्गत आहे - AY. प्रत्येक नोंदीसाठी, आम्ही सूत्र तयार करतो “=LENGTH(F365502)+LENGTH(G365502)+…+LENGTH(AW365502)”

स्टेज 2.1 वर घालवलेला एकूण वेळ (शुमन फॉर्म्युलासाठी) t21 = 1 तास.
स्टेज 2.1 वर आढळलेल्या त्रुटींची संख्या (शुमन सूत्रासाठी) n21 = 0 pcs.

दुसरा टप्पा.
डेटासेटचे घटक तपासत आहे.
२.२. रेकॉर्डमधील सर्व मूल्ये मानक चिन्हे वापरून तयार केली जातात. म्हणून, चिन्हांद्वारे आकडेवारीचा मागोवा घेऊ.

तक्ता 2. परिणामांच्या प्राथमिक विश्लेषणासह डेटासेटमधील वर्णांचे सांख्यिकीय निर्देशक.





तंत्रज्ञान 2.2.1.

आम्ही एक सहायक फील्ड तयार करतो - "अल्फा 1". प्रत्येक रेकॉर्डसाठी, आम्ही सूत्र तयार करतो “=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)”
आम्ही एक निश्चित ओमेगा -1 सेल तयार करतो. आम्ही या सेलमध्ये 1251 ते 32 पर्यंत Windows-255 नुसार वर्ण कोड वैकल्पिकरित्या प्रविष्ट करू.
आम्ही एक सहायक फील्ड तयार करतो - "अल्फा 2". “=FIND(SYMBOL(Omega,1); “alpha1”,N)” या सूत्रासह.
आम्ही एक सहायक फील्ड तयार करतो - "अल्फा 3". सूत्रासह “=IF(ISNUMBER(“alpha2”,N),1)”
"=SUM("alpha2"N3: "alpha1"N3)" या सूत्रासह "Omega-365498" निश्चित सेल तयार करा.

तक्ता 3. परिणामांच्या प्राथमिक विश्लेषणाचे परिणाम

तक्ता 4. या टप्प्यावर नोंदवलेल्या चुका

स्टेज 2.2.1 वर घालवलेला एकूण वेळ (शुमन फॉर्म्युलासाठी) t221 = 8 तास.
स्टेज 2.2.1 (शुमन सूत्रासाठी) n221 = 0 pcs वर दुरुस्त केलेल्या त्रुटींची संख्या.

स्टेज एक्सएनयूएमएक्स.
तिसरी पायरी म्हणजे डेटासेटची स्थिती रेकॉर्ड करणे. प्रत्येक रेकॉर्डला एक अद्वितीय क्रमांक (आयडी) आणि प्रत्येक फील्ड नियुक्त करून. रूपांतरित डेटासेटची मूळ डेटासेटशी तुलना करण्यासाठी हे आवश्यक आहे. ग्रुपिंग आणि फिल्टरिंग क्षमतेचा पूर्ण फायदा घेण्यासाठी हे देखील आवश्यक आहे. येथे पुन्हा आपण टेबल 2.2.2 कडे वळतो आणि डेटासेटमध्ये न वापरलेले चिन्ह निवडा. आकृती 10 मध्ये जे दाखवले आहे ते आपल्याला मिळते.

अंजीर 10. अभिज्ञापक नियुक्त करत आहे.

स्टेज 3 वर घालवलेला एकूण वेळ (शुमन फॉर्म्युलासाठी) t3 = 0,75 तास.
स्टेज 3 वर आढळलेल्या त्रुटींची संख्या (शुमन सूत्रासाठी) n3 = 0 pcs.

शुमन सूत्रानुसार चुका दुरुस्त करून टप्पा पूर्ण करणे आवश्यक आहे. चला स्टेज 2 वर परत येऊ.

स्टेज एक्सएनयूएमएक्स.
या चरणात आपण दुहेरी आणि तिप्पट जागा देखील दुरुस्त करू.

अंजीर 11. दुहेरी रिक्त स्थानांची संख्या.

तक्ता 2.2.4 मध्ये ओळखल्या गेलेल्या त्रुटी सुधारणे.

तक्ता 5. त्रुटी सुधारण्याची अवस्था


"ई" किंवा "ई" अक्षरांचा वापर का महत्त्वाचा आहे याचे उदाहरण आकृती 12 मध्ये सादर केले आहे.

अंजीर 12. "ई" अक्षरातील विसंगती.

चरण 2.2.2 मध्ये घालवलेला एकूण वेळ t222 = 4 तास.
स्टेज 2.2.2 वर आढळलेल्या त्रुटींची संख्या (शुमन सूत्रासाठी) n222 = 583 pcs.

चौथा टप्पा.
फील्ड रिडंडंसी तपासणे या टप्प्यात चांगले बसते. 44 फील्डपैकी 6 फील्ड:
7 - संरचनेचा उद्देश
16 — भूमिगत मजल्यांची संख्या
17 - पालक ऑब्जेक्ट
21 - ग्रामपरिषद
38 — स्ट्रक्चर पॅरामीटर्स (वर्णन)
40 - सांस्कृतिक वारसा

त्यांच्याकडे कोणत्याही नोंदी नाहीत. म्हणजेच ते निरर्थक आहेत.
फील्ड "22 - शहर" मध्ये एकच नोंद आहे, आकृती 13.

अंजीर 13. "शहर" फील्डमध्ये फक्त Z_348653 ही एंट्री आहे.

फील्ड "34 - इमारतीचे नाव" मध्ये अशा नोंदी आहेत ज्या फील्डच्या उद्देशाशी स्पष्टपणे जुळत नाहीत, आकृती 14.

अंजीर 14. गैर-अनुपालन नोंदीचे उदाहरण.

आम्ही ही फील्ड डेटासेटमधून वगळतो. आणि आम्ही 214 रेकॉर्डमध्ये बदल नोंदवतो.

स्टेज 4 वर घालवलेला एकूण वेळ (शुमन फॉर्म्युलासाठी) t4 = 2,5 तास.
स्टेज 4 वर आढळलेल्या त्रुटींची संख्या (शुमन सूत्रासाठी) n4 = 222 pcs.

तक्ता 6. चौथ्या टप्प्यानंतर डेटा सेट निर्देशकांचे विश्लेषण

सर्वसाधारणपणे, निर्देशकांमधील बदलांचे विश्लेषण करून (तक्ता 6) आपण असे म्हणू शकतो की:
1) मानक विचलन लीव्हरमधील चिन्हांच्या सरासरी संख्येचे गुणोत्तर 3 च्या जवळ आहे, म्हणजे, सामान्य वितरणाची चिन्हे आहेत (सहा सिग्मा नियम).
2) सरासरी लीव्हरमधील किमान आणि कमाल लीव्हरमधील लक्षणीय विचलन सूचित करते की त्रुटी शोधताना शेपटींचा अभ्यास ही एक आशादायक दिशा आहे.

शुमनच्या पद्धतीचा वापर करून त्रुटी शोधण्याचे परिणाम तपासूया.

निष्क्रिय टप्पे

२.१. स्टेज 2.1 वर घालवलेला एकूण वेळ (शुमन फॉर्म्युलासाठी) t2.1 = 21 तास.
स्टेज 2.1 वर आढळलेल्या त्रुटींची संख्या (शुमन सूत्रासाठी) n21 = 0 pcs.

२.१. स्टेज 3 वर घालवलेला एकूण वेळ (शुमन फॉर्म्युलासाठी) t3 = 3 तास.
स्टेज 3 वर आढळलेल्या त्रुटींची संख्या (शुमन सूत्रासाठी) n3 = 0 pcs.

प्रभावी टप्पे
२.१. स्टेज 2.2 वर घालवलेला एकूण वेळ (शुमन फॉर्म्युलासाठी) t2.2.1 = 221 तास.
स्टेज 2.2.1 (शुमन सूत्रासाठी) n221 = 0 pcs वर दुरुस्त केलेल्या त्रुटींची संख्या.
चरण 2.2.2 मध्ये घालवलेला एकूण वेळ t222 = 4 तास.
स्टेज 2.2.2 वर आढळलेल्या त्रुटींची संख्या (शुमन सूत्रासाठी) n222 = 583 pcs.

चरण 2.2 मध्ये घालवलेला एकूण वेळ t22 = 8 + 4 = 12 तास.
स्टेज 2.2.2 वर आढळलेल्या त्रुटींची संख्या (शुमन सूत्रासाठी) n222 = 583 pcs.

२.१. स्टेज 4 वर घालवलेला एकूण वेळ (शुमन फॉर्म्युलासाठी) t4 = 4 तास.
स्टेज 4 वर आढळलेल्या त्रुटींची संख्या (शुमन सूत्रासाठी) n4 = 222 pcs.

शूमन मॉडेलच्या पहिल्या टप्प्यात शून्य टप्पे समाविष्ट करणे आवश्यक असल्याने आणि दुसरीकडे, टप्पे 2.2 आणि 4 हे स्वाभाविकपणे स्वतंत्र आहेत, तेव्हा शुमन मॉडेल असे गृहीत धरते की तपासणीचा कालावधी वाढवून, संभाव्यता त्रुटी शोधणे कमी होते, म्हणजे, प्रवाह कमी होतो अपयश, नंतर या प्रवाहाचे परीक्षण करून आम्ही कोणता टप्पा प्रथम ठेवायचा हे ठरवू, नियमानुसार, जेथे अपयशाची घनता अधिक वारंवार असते, आम्ही तो टप्पा प्रथम ठेवू.

अंजीर 15.

आकृती 15 मधील सूत्रावरून असे दिसून येते की गणनेमध्ये स्टेज 2.2 च्या आधी चौथा टप्पा ठेवणे श्रेयस्कर आहे.

शुमनचे सूत्र वापरून, आम्ही त्रुटींची अंदाजे प्रारंभिक संख्या निर्धारित करतो:

अंजीर 16.

आकृती 16 मधील परिणामांवरून असे दिसून येते की त्रुटींची अंदाजित संख्या N2 = 3167 आहे, जी 1459 च्या किमान निकषापेक्षा जास्त आहे.

दुरुस्तीच्या परिणामी, आम्ही 805 चुका दुरुस्त केल्या आणि अंदाजित संख्या 3167 – 805 = 2362 आहे, जी अजूनही आम्ही स्वीकारलेल्या किमान थ्रेशोल्डपेक्षा जास्त आहे.

आम्ही पॅरामीटर सी, लॅम्बडा आणि विश्वसनीयता कार्य परिभाषित करतो:

अंजीर 17.

मूलत:, लॅम्ब्डा हे तीव्रतेचे वास्तविक सूचक आहे ज्यासह प्रत्येक टप्प्यावर त्रुटी आढळतात. आपण वर पाहिले तर, या निर्देशकाचा मागील अंदाज 42,4 त्रुटी प्रति तास होता, जो शुमन इंडिकेटरशी तुलना करता येतो. या सामग्रीच्या पहिल्या भागाकडे वळताना, हे निर्धारित केले गेले की ज्या दराने विकासकाला त्रुटी आढळतात तो दर प्रति मिनिट 1 रेकॉर्ड तपासताना 250,4 त्रुटी प्रति 1 रेकॉर्डपेक्षा कमी नसावा. म्हणून शुमन मॉडेलसाठी लॅम्बडाचे महत्त्वपूर्ण मूल्य:
60 / 250,4 = 0,239617.

म्हणजेच, विद्यमान ३८.९६४ वरून लॅम्बडा ०.२३९६१७ पर्यंत कमी होईपर्यंत त्रुटी शोधण्याची प्रक्रिया पार पाडणे आवश्यक आहे.

किंवा जोपर्यंत इंडिकेटर N (त्रुटींची संभाव्य संख्या) वजा n (त्रुटींची संख्या) कमी होत नाही तोपर्यंत आम्ही स्वीकारलेल्या थ्रेशोल्डच्या खाली (पहिल्या भागात) - 1459 pcs.

भाग 1. सैद्धांतिक.

स्त्रोत: www.habr.com