रक, पेपर, सिजरको खेल जस्तै डाटा सफा गर्नुहोस्। के यो अन्त्य भएको वा बिनाको खेल हो? भाग २. व्यावहारिक

В भाग एक यो प्रकाशन खान्टी-मानसी स्वायत्त ओक्रगमा घर जग्गा वस्तुहरूको क्याडस्ट्रल मूल्याङ्कनको नतिजाको डेटासेटको आधारमा गरिएको वर्णन गरिएको थियो।

व्यावहारिक भाग चरणहरूमा प्रस्तुत गरिएको छ। सबै सफाई एक्सेलमा गरिएको थियो, किनकि यो सबैभन्दा सामान्य उपकरण हो र वर्णन गरिएका कार्यहरू एक्सेलसँग परिचित धेरैजसो पेशेवरहरूले दोहोर्याउन सक्छन्। यो व्यावहारिक कामको लागि पनि एकदम उपयुक्त छ।

म फाइल सुरु गर्ने र बचत गर्ने कामलाई शून्य चरणको रूपमा राख्छु, किनकि यो १०० एमबी आकारको छ, र दशौं र सयौं यस्ता अपरेशनहरूसँग, तिनीहरूले उल्लेखनीय समय लिन्छन्।
खुल्ने समय, औसतमा, ३० सेकेन्ड हो।
समय बचत: २२ सेकेन्ड।

पहिलो चरण डेटासेटको तथ्याङ्कीय सूचकहरू परिभाषित गरेर सुरु हुन्छ।

तालिका १. डेटासेटको तथ्याङ्कीय सूचकहरू

प्रविधि २.१।

एउटा सहायक क्षेत्र सिर्जना गर्नुहोस्; म यसलाई AY भन्नेछु। प्रत्येक रेकर्डको लागि, "=LEN(F365502)+LEN(G365502)+…+LEN(AW365502)" सूत्र सिर्जना गर्नुहोस्।

चरण २.१ मा बिताएको कुल समय (शुमान सूत्रको लागि) t2.1 = १ घण्टा।
चरण २.१ (शुमान सूत्रको लागि) मा भेटिएका त्रुटिहरूको संख्या n२१ = ० पीसी।

दोस्रो चरण।
डेटासेट कम्पोनेन्टहरू जाँच गर्दै।
२.२। रेकर्डमा भएका सबै मानहरू मानक प्रतीकहरू प्रयोग गरेर बनाइएका हुन्छन्। त्यसैले, प्रतीकद्वारा तथ्याङ्क ट्र्याक गरौं।

तालिका २. परिणामहरूको प्रारम्भिक विश्लेषणको साथ डेटासेटमा प्रतीकहरूको सांख्यिकीय सूचकहरू।





प्रविधि २.१।

हामी एउटा सहायक क्षेत्र सिर्जना गर्छौं - “alpha1”। प्रत्येक रेकर्डको लागि, हामी “=CONCATENATE(Sheet1!B9;…Sheet1!AQ9)” सूत्र सिर्जना गर्छौं।
हामी "ओमेगा-१" भनिने एउटा निश्चित सेल सिर्जना गर्नेछौं। हामी यस सेलमा ३२ देखि २५५ सम्मका Windows-१२५१ क्यारेक्टर कोडहरू एक-एक गरी प्रविष्ट गर्नेछौं।
हामी एउटा सहायक क्षेत्र सिर्जना गर्छौं - “alpha2”। “=FIND(CHAR(Omega;1); “alpha1”;N)” सूत्र प्रयोग गरेर।
हामी एउटा सहायक क्षेत्र सिर्जना गर्छौं - “alpha3”। “=IF(ISNUMBER(“alpha2”;N);1;0)” सूत्र प्रयोग गरेर।
"=SUM("alpha3"N1:"alpha3"N365498)" सूत्र प्रयोग गरी एउटा निश्चित कक्ष "Omega-2" सिर्जना गर्नुहोस्।

तालिका ३. परिणामहरूको प्रारम्भिक विश्लेषणको नतिजा

तालिका ४. यस चरणमा रेकर्ड गरिएका त्रुटिहरू

चरण २.१ मा बिताएको कुल समय (शुमान सूत्रको लागि) t2.2.1 = १ घण्टा।
चरण २.२.१ मा सच्याइएका त्रुटिहरूको संख्या (शुमान सूत्रको लागि) n२२१ = ० पीसी।

स्टेज 3।
तेस्रो चरण भनेको डेटासेटको अवस्था रेकर्ड गर्नु हो। हामी प्रत्येक रेकर्ड र प्रत्येक फिल्डमा एक अद्वितीय नम्बर (ID) तोक्छौं। रूपान्तरित डेटासेटलाई मूलसँग तुलना गर्न यो आवश्यक छ। समूहीकरण र फिल्टरिङ क्षमताहरूको पूर्ण उपयोग गर्न पनि आवश्यक छ। यहाँ, हामी फेरि तालिका २.२.२ लाई सन्दर्भ गर्छौं र डेटासेटमा प्रयोग नगरिएको प्रतीक चयन गर्छौं। परिणाम चित्र १० मा देखाइएको छ।

चित्र १०. पहिचानकर्ता तोक्ने।

चरण २.१ मा बिताएको कुल समय (शुमान सूत्रको लागि) t3 = १ घण्टा।
चरण २.१ (शुमान सूत्रको लागि) मा भेटिएका त्रुटिहरूको संख्या n२१ = ० पीसी।

शुमान सूत्रले यो चरण त्रुटि सुधारको साथ पूरा गर्न आवश्यक भएकोले, हामी चरण २ मा फर्कन्छौं।

स्टेज 2.2.2।
यस चरणमा हामी दोहोरो र तीनवटा खाली ठाउँहरू पनि सच्याउनेछौं।

चित्र ११. दोहोरो खाली ठाउँहरूको संख्या।

तालिका २.२.४ मा पहिचान गरिएका त्रुटिहरूको सुधार।

तालिका ५. त्रुटि सुधार चरण


"e" वा "yo" अक्षरहरूको प्रयोग किन महत्त्वपूर्ण छ भन्ने उदाहरण चित्र १२ मा देखाइएको छ।

चित्र १२. "ё" अक्षरमा असंगति।

चरण २.२.२ t२२२ मा बिताएको कुल समय = ४ घण्टा।
चरण २.१ (शुमान सूत्रको लागि) मा भेटिएका त्रुटिहरूको संख्या n२१ = ० पीसी।

चौथो चरण।
फिल्ड रिडन्डन्सीको लागि जाँच गर्नु यस चरणमा राम्रोसँग फिट हुन्छ। ४४ फिल्डहरू मध्ये, ६ वटा हुन्:
७ — संरचनाको उद्देश्य
१६ - भूमिगत तल्लाहरूको संख्या
१७ — अभिभावक वस्तु
२१ — गाउँ परिषद्
३८ — संरचना प्यारामिटरहरू (विवरण)
४० - सांस्कृतिक सम्पदा

तिनीहरूसँग एउटा पनि प्रविष्टि छैन। अर्थात्, तिनीहरू अनावश्यक छन्।
फिल्ड "२२ - शहर" मा एउटा मात्र प्रविष्टि छ, चित्र १३।

चित्र १३. “शहर” क्षेत्रमा Z_348653 मात्र प्रविष्टि।

फिल्ड “३४ — भवनको नाम” मा त्यस्ता प्रविष्टिहरू छन् जुन फिल्डको उद्देश्यसँग स्पष्ट रूपमा मेल खाँदैनन्, चित्र १४।

चित्र १४. अनुपालन नगरिएको प्रविष्टिको उदाहरण।

हामी डेटासेटबाट यी क्षेत्रहरूलाई बहिष्कार गर्छौं र २१४ रेकर्डहरूमा परिवर्तनहरू रेकर्ड गर्छौं।

चरण २.१ मा बिताएको कुल समय (शुमान सूत्रको लागि) t4 = १ घण्टा।
चरण २.१ (शुमान सूत्रको लागि) मा भेटिएका त्रुटिहरूको संख्या n२१ = ० पीसी।

तालिका ६. चौथो चरण पछि डेटासेट सूचकहरूको विश्लेषण

सामान्यतया, सूचकहरूमा भएका परिवर्तनहरूको विश्लेषण गर्दा (तालिका ६), हामी भन्न सक्छौं कि:
१) मानक विचलन लिभरमा प्रतीकहरूको औसत संख्याको अनुपात ३ को नजिक छ, जसको अर्थ सामान्य वितरणको संकेतहरू छन् (छ सिग्मा नियम)।
२) औसत लिभरबाट न्यूनतम र अधिकतम लिभरहरूको महत्त्वपूर्ण विचलनले पुच्छरहरूको अध्ययन त्रुटिहरूको खोजीमा आशाजनक दिशा हो भन्ने सुझाव दिन्छ।

हामी शुमानको कार्यप्रणाली प्रयोग गरेर त्रुटिहरू फेला पार्ने नतिजाहरूको जाँच गर्नेछौं।

निष्क्रिय चरणहरू

२.१। चरण २.१ मा बिताएको कुल समय (शुमान सूत्रको लागि) t2.1 = १ घण्टा।
चरण २.१ (शुमान सूत्रको लागि) मा भेटिएका त्रुटिहरूको संख्या n२१ = ० पीसी।

२.१। चरण २.१ मा बिताएको कुल समय (शुमान सूत्रको लागि) t3 = १ घण्टा।
चरण २.१ (शुमान सूत्रको लागि) मा भेटिएका त्रुटिहरूको संख्या n२१ = ० पीसी।

प्रभावकारी चरणहरू
२.१। चरण २.१ मा बिताएको कुल समय (शुमान सूत्रको लागि) t2.2 = १ घण्टा।
चरण २.२.१ मा सच्याइएका त्रुटिहरूको संख्या (शुमान सूत्रको लागि) n२२१ = ० पीसी।
चरण २.२.२ t२२२ मा बिताएको कुल समय = ४ घण्टा।
चरण २.१ (शुमान सूत्रको लागि) मा भेटिएका त्रुटिहरूको संख्या n२१ = ० पीसी।

चरण २.२ t२२ मा बिताएको कुल समय = ८ + ४ = १२ घण्टा।
चरण २.१ (शुमान सूत्रको लागि) मा भेटिएका त्रुटिहरूको संख्या n२१ = ० पीसी।

२.१। चरण २.१ मा बिताएको कुल समय (शुमान सूत्रको लागि) t4 = १ घण्टा।
चरण २.१ (शुमान सूत्रको लागि) मा भेटिएका त्रुटिहरूको संख्या n२१ = ० पीसी।

शुमन मोडेलको पहिलो चरणमा शून्य चरणहरू समावेश गर्नुपर्ने भएकोले, र अर्कोतर्फ, चरण २.२ र ४ अनिवार्य रूपमा स्वतन्त्र छन्, त्यसैले शुमन मोडेलले परीक्षणको अवधि बढ्दै जाँदा, त्रुटि पत्ता लगाउने सम्भावना घट्छ भन्ने कुरालाई ध्यानमा राख्दै, अर्थात्, विफलताको प्रवाह घट्छ, त्यसपछि यो प्रवाहको अध्ययन गरेर हामी कुन चरणलाई पहिले राख्ने भनेर निर्धारण गर्नेछौं, नियम अनुसार, जहाँ विफलताको घनत्व बढी हुन्छ, त्यो चरणलाई पहिले राखिएको छ।

चित्र १।

चित्र १५ मा दिइएको सूत्रबाट यो थाहा हुन्छ कि गणनामा चरण २.२ भन्दा पहिले चौथो चरण राख्नु राम्रो हुन्छ।

Schumann सूत्र प्रयोग गरेर, हामी अनुमानित प्रारम्भिक त्रुटिहरूको संख्या निर्धारण गर्छौं:

चित्र १।

चित्र १६ मा भएका नतिजाहरूबाट, यो देख्न सकिन्छ कि त्रुटिहरूको अनुमानित संख्या N2 = 3167, जुन १४५९ को न्यूनतम मापदण्ड भन्दा ठूलो छ।

सुधारको परिणामस्वरूप, हामीले ८०५ त्रुटिहरू सच्यायौं, र अनुमानित संख्या ३१६७ - ८०५ = २३६२ हो, जुन हामीले अपनाएको न्यूनतम थ्रेसहोल्ड भन्दा अझै बढी छ।

हामी प्यारामिटर C, ल्याम्ब्डा र विश्वसनीयता प्रकार्य परिभाषित गर्छौं:

चित्र १।

अनिवार्य रूपमा, ल्याम्ब्डा प्रत्येक चरणमा त्रुटिहरू पत्ता लाग्ने दरको वास्तविक सूचक हो। अघिल्लो अनुमानलाई हेर्दा, यो सूचक प्रति घण्टा ४२.४ त्रुटिहरू थियो, जुन शुमान सूचकसँग तुलनात्मक छ। यस सामग्रीको पहिलो भागलाई सन्दर्भ गर्दै, यो निर्धारण गरिएको थियो कि विकासकर्ताको त्रुटि पत्ता लगाउने दर प्रति २५०.४ रेकर्डमा १ त्रुटि भन्दा कम हुनु हुँदैन, प्रति मिनेट एक रेकर्ड जाँच गरिँदै। तसर्थ, शुमान मोडेलको लागि महत्वपूर्ण ल्याम्ब्डा मान यो हो:
.60 250,4.२ / १० = 0,239617.२XNUMX

अर्थात्, विद्यमान ३८.९६४ बाट घटेर ०.२३९६१७ मा ल्याम्बडा नहुँदासम्म त्रुटि पत्ता लगाउने प्रक्रियाहरू पूरा गर्न आवश्यक छ।

अथवा सूचक N (त्रुटिहरूको सम्भावित संख्या) माइनस n (त्रुटिहरूको सच्याइएका संख्या) हामीले अपनाएको थ्रेसहोल्ड (पहिलो भागमा) भन्दा कम नभएसम्म - १४५९ पीसी।

भाग १. सैद्धान्तिक।

स्रोत: www.habr.com