रक, पेपर, सिजरको खेल जस्तै डाटा सफा गर्नुहोस्। के यो अन्त्य भएको वा बिनाको खेल हो? भाग १. सैद्धान्तिक

1. प्रारम्भिक डाटा

डाटा क्लीनिङ डाटा विश्लेषण कार्यहरू सामना गर्ने चुनौतीहरू मध्ये एक हो। यो सामग्रीले विकास र समाधानहरू प्रतिबिम्बित गर्दछ जुन क्याडस्ट्रल मानको गठनमा डाटाबेसको विश्लेषण गर्ने व्यावहारिक समस्या समाधान गर्ने परिणामको रूपमा उत्पन्न भयो। स्रोतहरू यहाँ "Khanty-Mansiysk स्वायत्त ओक्रग - Ugra को इलाकामा सबै प्रकारको घर जग्गा (जग्गा प्लट बाहेक) को राज्य क्याडस्ट्रल मूल्याङ्कनको नतिजामा रिपोर्ट नम्बर 01/OKS-2019".

फाइल "तुलनात्मक मोडेल total.ods" मा "परिशिष्ट B. KS 5 निर्धारण गर्ने परिणामहरू। क्याडस्ट्रल मान 5.1 तुलनात्मक दृष्टिकोण निर्धारण गर्ने विधिको बारेमा जानकारी" लाई विचार गरियो।

तालिका 1. फाइल "तुलनात्मक मोडेल total.ods" मा डेटासेट को सांख्यिकीय सूचकहरू
फिल्डहरूको कुल संख्या, pcs। - ४४
रेकर्ड को कुल संख्या, pcs। — ३६५ ४९०
अक्षरहरूको कुल संख्या, pcs। - 101 714 693
रेकर्डमा क्यारेक्टरहरूको औसत संख्या, पीसी। - 278,297
रेकर्डमा क्यारेक्टरहरूको मानक विचलन, पीसी। - 15,510
प्रविष्टिमा वर्णहरूको न्यूनतम संख्या, पीसी। - १९८
प्रविष्टिमा वर्णहरूको अधिकतम संख्या, pcs। - ३६३

2. परिचयात्मक भाग। आधारभूत मापदण्डहरू

निर्दिष्ट डाटाबेसको विश्लेषण गर्दा, शुद्धीकरणको डिग्रीका लागि आवश्यकताहरू निर्दिष्ट गर्न एक कार्य गठन गरिएको थियो, किनकि सबैलाई स्पष्ट छ, निर्दिष्ट डाटाबेसले प्रयोगकर्ताहरूको लागि कानुनी र आर्थिक परिणामहरू सिर्जना गर्दछ। कामको क्रममा, यो बाहिर भयो कि ठूलो डाटा को सफाई को डिग्री को लागी कुनै विशेष आवश्यकताहरु थिएनन्। यस विषयमा कानुनी मापदण्डहरू विश्लेषण गर्दा, म निष्कर्षमा पुगें कि तिनीहरू सबै सम्भावनाहरूबाट बनेका छन्। त्यो हो, एक निश्चित कार्य देखा पर्‍यो, कार्यको लागि सूचना स्रोतहरू संकलन गरिन्छ, त्यसपछि डेटासेट बनाइन्छ र, सिर्जना गरिएको डेटासेटको आधारमा, समस्या समाधान गर्न उपकरणहरू। नतिजा समाधानहरू विकल्पहरूबाट छनौट गर्न सन्दर्भ बिन्दुहरू हुन्। मैले यसलाई चित्र १ मा प्रस्तुत गरेको छु।



किनकि, कुनै पनि मापदण्डहरू निर्धारण गर्ने मामिलामा, प्रमाणित टेक्नोलोजीहरूमा भर पर्नु राम्रो हुन्छ, मैले मापदण्डहरूमा सेट गरिएका आवश्यकताहरू छनौट गरें। "MHRA GxP डाटा अखण्डता परिभाषा र उद्योगको लागि मार्गदर्शन", किनकि मैले यो कागजातलाई यस मुद्दाको लागि सबैभन्दा व्यापक मानेको छु। विशेष गरी, यस कागजातमा खण्डले भन्छ "यो ध्यान दिनु पर्छ कि डेटा अखण्डता आवश्यकताहरू म्यानुअल (कागज) र इलेक्ट्रोनिक डेटामा समान रूपमा लागू हुन्छ।" (अनुवाद: "...डेटा अखण्डता आवश्यकताहरू म्यानुअल (कागज) र इलेक्ट्रोनिक डाटामा समान रूपमा लागू हुन्छ")। यो ढाँचा विशेष रूपमा "लिखित प्रमाण" को अवधारणासँग सम्बन्धित छ, नागरिक प्रक्रिया संहिता, धाराको धारा 71 को प्रावधानहरूमा। 70 CAS, कला। 75 APC, "लिखित रूपमा" कला। 84 नागरिक प्रक्रिया संहिता।

चित्र २ ले न्यायशास्त्रमा जानकारीका प्रकारहरूका लागि दृष्टिकोणहरूको गठनको रेखाचित्र प्रस्तुत गर्दछ।

चामल। 2. स्रोत यहाँ.

चित्र 3 ले माथिको "मार्गनिर्देशन" को कार्यहरूका लागि चित्र 1 को संयन्त्र देखाउँछ। तुलना गरेर, यो हेर्न सजिलो छ कि सूचना प्रणालीहरूको लागि आधुनिक मापदण्डहरूमा सूचना अखण्डताको आवश्यकताहरू पूरा गर्दा प्रयोग गरिएका दृष्टिकोणहरू सूचनाको कानुनी अवधारणाको तुलनामा महत्त्वपूर्ण रूपमा सीमित छन्।

चित्र १

निर्दिष्ट कागजात (मार्गनिर्देशन) मा, प्राविधिक भागमा जडान, डाटा प्रशोधन र भण्डारण गर्ने क्षमताहरू, अध्याय 18.2 को उद्धरणद्वारा राम्रोसँग पुष्टि गरिएको छ। रिलेशनल डाटाबेस: "यो फाइल संरचना स्वाभाविक रूपमा अधिक सुरक्षित छ, किनकि डाटा ठूलो फाइल ढाँचामा राखिएको छ जसले डाटा र मेटाडेटा बीचको सम्बन्धलाई सुरक्षित गर्दछ।"

वास्तवमा, यस दृष्टिकोणमा - अवस्थित प्राविधिक क्षमताहरूबाट, त्यहाँ केहि असामान्य छैन र, आफैमा, यो एक प्राकृतिक प्रक्रिया हो, किनकि अवधारणाहरूको विस्तार सबैभन्दा अध्ययन गरिएको गतिविधिबाट आउँछ - डाटाबेस डिजाइन। तर, अर्कोतर्फ, कानुनी मापदण्डहरू देखा पर्दछ जुन अवस्थित प्रणालीहरूको प्राविधिक क्षमताहरूमा छुटको लागि प्रदान गर्दैन, उदाहरणका लागि: GDPR - सामान्य डेटा संरक्षण नियमन.

चामल। ४. प्राविधिक क्षमताको फनेल (स्रोत).

यी पक्षहरूमा, यो स्पष्ट हुन्छ कि मूल डाटासेट (चित्र 1) लाई सबैभन्दा पहिले बचत गर्नुपर्दछ, र दोस्रो, यसबाट थप जानकारी निकाल्ने आधार बन्नुपर्दछ। ठीक छ, उदाहरणको रूपमा: ट्राफिक नियमहरू रेकर्ड गर्ने क्यामेराहरू सर्वव्यापी छन्, सूचना प्रशोधन प्रणालीहरूले उल्लङ्घन गर्नेहरूलाई बाहिर निकाल्छन्, तर अन्य जानकारीहरू अन्य उपभोक्ताहरूलाई पनि प्रस्ताव गर्न सकिन्छ, उदाहरणका लागि, किनमेल केन्द्रमा ग्राहकहरूको प्रवाहको संरचनाको मार्केटिंग अनुगमनको रूपमा। र यो BigDat प्रयोग गर्दा थप थपिएको मूल्यको स्रोत हो। यो सम्भव छ कि अहिले सङ्कलन भइरहेको डाटासेटहरू, भविष्यमा कतै, वर्तमान समयमा 1700 को दुर्लभ संस्करणहरूको मूल्य जस्तै संयन्त्र अनुसार मूल्य हुनेछ। आखिर, वास्तवमा, अस्थायी डेटासेटहरू अद्वितीय छन् र भविष्यमा दोहोरिने सम्भावना छैन।

3. परिचयात्मक भाग। मूल्याङ्कन मापदण्ड

प्रशोधन प्रक्रियाको क्रममा, त्रुटिहरूको निम्न वर्गीकरण विकसित गरिएको थियो।

1. त्रुटि वर्ग (GOST R 8.736-2011 मा आधारित): a) व्यवस्थित त्रुटिहरू; ख) अनियमित त्रुटिहरू; c) गल्ती।

2. गुणन द्वारा: a) मोनो विरूपण; ख) बहु-विकृति।

3. परिणामहरूको आलोचनात्मकता अनुसार: क) आलोचनात्मक; ख) आलोचनात्मक छैन।

4. घटना को स्रोत द्वारा:

A) प्राविधिक - त्रुटिहरू जुन उपकरणको सञ्चालनको क्रममा देखा पर्दछ। IoT प्रणालीहरूका लागि पर्याप्त सान्दर्भिक त्रुटि, सञ्चारको गुणस्तर, उपकरण (हार्डवेयर) मा महत्त्वपूर्ण प्रभावको साथ प्रणालीहरू।

B) अपरेटर त्रुटिहरू - डाटाबेस डिजाइनको लागि प्राविधिक विशिष्टताहरूमा त्रुटिहरू इनपुटको क्रममा अपरेटर टाइपोबाट विस्तृत दायरामा त्रुटिहरू।

C) प्रयोगकर्ता त्रुटिहरू - यहाँ सम्पूर्ण दायरामा प्रयोगकर्ता त्रुटिहरू छन् "लेआउट स्विच गर्न बिर्सनुभयो" देखि खुट्टाको लागि गलत मिटरहरू।

5. छुट्टै कक्षामा विभाजित:

क) "विभाजकको कार्य," त्यो हो, स्पेस र ":" (हाम्रो अवस्थामा) जब यो नक्कल गरिएको थियो;
ख) सँगै लेखिएका शब्दहरू;
c) सेवा वर्ण पछि कुनै ठाउँ छैन
d) सममित बहु प्रतीकहरू: (), "", "..."।

चित्र 5 मा प्रस्तुत गरिएको डाटाबेस त्रुटिहरूको व्यवस्थितीकरणको साथमा, त्रुटिहरू खोज्न र यस उदाहरणको लागि डाटा सफा गर्ने एल्गोरिथ्म विकास गर्नको लागि पर्याप्त प्रभावकारी समन्वय प्रणाली गठन गरिएको छ।

चामल। 5. डाटाबेसको संरचनात्मक एकाइहरूसँग सम्बन्धित सामान्य त्रुटिहरू (स्रोत: ओरेशकोभ V.I., Paklin N.B. "डेटा समेकन को मुख्य अवधारणाहरु").

शुद्धता, डोमेन अखण्डता, डाटा प्रकार, स्थिरता, रिडन्डन्सी, पूर्णता, नक्कल, व्यापार नियमहरूको अनुरूपता, संरचनात्मक निश्चितता, डाटा विसंगति, स्पष्टता, समयसापेक्ष, डाटा अखण्डता नियमहरूको पालना। (पृष्ठ ३३४। आईटी प्रोफेसनलहरूका लागि डाटा भण्डारण आधारभूत कुराहरू / पॉलराज पोनियाह।—334nd संस्करण।)

कोष्ठकमा अंग्रेजी शब्द र रूसी मेसिन अनुवाद प्रस्तुत गरियो।

शुद्धता। डेटा तत्वको लागि प्रणालीमा भण्डारण गरिएको मान डेटा तत्वको घटनाको लागि सही मान हो। यदि तपाइँसँग ग्राहकको नाम र रेकर्डमा भण्डारण गरिएको ठेगाना छ भने, त्यस नामको ग्राहकको लागि ठेगाना सही ठेगाना हो। यदि तपाईंले अर्डर नम्बर 1000 को रेकर्डमा 12345678 एकाइको रूपमा अर्डर गरिएको मात्रा फेला पार्नुभयो भने, त्यो मात्रा त्यो अर्डरको लागि सही मात्रा हो।
[शुद्धता। डेटा तत्वको लागि प्रणालीमा भण्डारण गरिएको मान डेटा तत्वको घटनाको लागि सही मान हो। यदि तपाइँसँग ग्राहकको नाम र ठेगाना रेकर्डमा भण्डार गरिएको छ भने, त्यस नामको ग्राहकको लागि ठेगाना सही ठेगाना हो। यदि तपाईंले अर्डर नम्बर 1000 को रेकर्डमा 12345678 एकाइको रूपमा अर्डर गरिएको मात्रा फेला पार्नुभयो भने, त्यो मात्रा त्यो अर्डरको लागि सही मात्रा हो।]

डोमेन अखण्डता। विशेषताको डेटा मान स्वीकार्य, परिभाषित मानहरूको दायरामा आउँछ। सामान्य उदाहरण लिङ्ग डेटा तत्वको लागि "पुरुष" र "महिला" हुनु स्वीकार्य मानहरू हो।
[डोमेन अखण्डता। विशेषता डेटा मान मान्य, परिभाषित मानहरूको दायरा भित्र पर्दछ। एक सामान्य उदाहरण लिङ्ग डेटा तत्व को लागी मान्य मान "पुरुष" र "महिला" हो।]

डाटा प्रकार। डेटा विशेषताको लागि मान वास्तवमा त्यो विशेषताको लागि परिभाषित डेटा प्रकारको रूपमा भण्डारण गरिन्छ। जब स्टोर नाम फिल्डको डेटा प्रकार "टेक्स्ट" को रूपमा परिभाषित गरिन्छ, त्यो फिल्डका सबै उदाहरणहरूमा पाठ्य ढाँचामा देखाइएको स्टोरको नाम समावेश हुन्छ न कि संख्यात्मक कोडहरू।
[डेटा प्रकार। डेटा विशेषताको मान वास्तवमा त्यो विशेषताको लागि परिभाषित डेटा प्रकारको रूपमा भण्डार गरिएको छ। यदि स्टोर नाम फिल्ड डेटा प्रकार "टेक्स्ट" को रूपमा परिभाषित गरिएको छ भने, यस क्षेत्रका सबै उदाहरणहरूले संख्यात्मक कोडहरूको सट्टा पाठ ढाँचामा प्रदर्शित स्टोर नाम समावेश गर्दछ।]

एकरूपता। डेटा फिल्डको फारम र सामग्री धेरै स्रोत प्रणालीहरूमा समान हुन्छ। यदि एक प्रणालीमा उत्पादन ABC को लागि उत्पादन कोड 1234 हो भने, यस उत्पादनको लागि कोड प्रत्येक स्रोत प्रणालीमा 1234 हो।
[संगतता। डेटा फिल्डको फारम र सामग्री विभिन्न स्रोत प्रणालीहरूमा समान छन्। यदि एक प्रणालीमा उत्पादन ABC को लागि उत्पादन कोड 1234 हो भने, त्यस उत्पादनको लागि कोड प्रत्येक स्रोत प्रणालीमा 1234 हो।]

अनावश्यकता। एउटै डाटा प्रणालीमा एकभन्दा बढी ठाउँमा भण्डारण गर्नु हुँदैन। यदि, दक्षताका कारणहरूका लागि, एक डाटा तत्व जानाजानी प्रणालीमा एक भन्दा बढी ठाउँमा भण्डारण गरिएको छ, त्यसपछि रिडन्डन्सी स्पष्ट रूपमा पहिचान र प्रमाणीकरण हुनुपर्छ।
[अतिरिक्तता। एउटै डाटा प्रणालीमा एक भन्दा बढी ठाउँमा भण्डारण गर्नु हुँदैन। यदि, दक्षताका कारणहरूका लागि, डेटा तत्व जानाजानी प्रणालीमा बहु स्थानहरूमा भण्डारण गरिएको छ भने, रिडन्डन्सीलाई स्पष्ट रूपमा परिभाषित र प्रमाणित गरिनु पर्छ।]

पूर्णता। प्रणालीमा दिइएको विशेषताको लागि कुनै छुटेका मानहरू छैनन्। उदाहरणका लागि, ग्राहक फाइलमा, प्रत्येक ग्राहकको लागि "राज्य" क्षेत्रको लागि मान्य मान हुनुपर्छ। अर्डर विवरणहरूको लागि फाइलमा, अर्डरको लागि प्रत्येक विवरण रेकर्ड पूर्ण रूपमा भरिएको हुनुपर्छ।
[पूर्णता। यस विशेषताको लागि प्रणालीमा कुनै छुटेका मानहरू छैनन्। उदाहरणका लागि, क्लाइन्ट फाइलमा प्रत्येक क्लाइन्टको लागि "स्थिति" फिल्डको लागि मान्य मान हुनुपर्छ। अर्डर विवरण फाइलमा, प्रत्येक अर्डर विवरण रेकर्ड पूर्ण रूपमा पूरा हुनुपर्छ।]

नक्कल। प्रणालीमा अभिलेखहरूको नक्कल पूर्ण रूपमा समाधान गरिएको छ। यदि उत्पादन फाइलमा डुप्लिकेट रेकर्डहरू छन् भनेर चिनिन्छ भने, त्यसपछि प्रत्येक उत्पादनको लागि सबै नक्कल रेकर्डहरू पहिचान गरिन्छ र क्रस-सन्दर्भ सिर्जना गरिन्छ।
[नक्कल। प्रणालीमा अभिलेखको नक्कल पूर्ण रूपमा हटाइएको छ। यदि उत्पादन फाइलमा डुप्लिकेट प्रविष्टिहरू समावेश भएको थाहा छ भने, त्यसपछि प्रत्येक उत्पादनको लागि सबै नक्कल प्रविष्टिहरू पहिचान गरिन्छ र क्रस-सन्दर्भ सिर्जना गरिन्छ।]

व्यापार नियमहरूको अनुरूपता। प्रत्येक डेटा वस्तुको मानहरू निर्धारित व्यापार नियमहरूको पालना गर्दछ। लिलामी प्रणालीमा, हथौडा वा बिक्री मूल्य आरक्षित मूल्य भन्दा कम हुन सक्दैन। बैंक ऋण प्रणालीमा, ऋण मौज्दात सधैं सकारात्मक वा शून्य हुनुपर्छ।
[व्यवसाय नियमहरूको अनुपालन। प्रत्येक डेटा तत्वको मानहरूले स्थापित व्यापार नियमहरूको पालना गर्दछ। लिलामी प्रणालीमा, हथौडा वा बिक्री मूल्य आरक्षित मूल्य भन्दा कम हुन सक्दैन। बैंकिङ क्रेडिट प्रणालीमा, ऋण मौज्दात सधैं सकारात्मक वा शून्य हुनुपर्छ।]

संरचनात्मक निश्चितता। जहाँसुकै डाटा वस्तुलाई प्राकृतिक रूपमा व्यक्तिगत कम्पोनेन्टहरूमा संरचित गर्न सकिन्छ, वस्तुमा यो राम्रोसँग परिभाषित संरचना समावेश हुनुपर्छ। उदाहरणका लागि, एक व्यक्तिको नाम स्वाभाविक रूपमा पहिलो नाम, मध्य प्रारम्भिक, र अन्तिम नाममा विभाजित हुन्छ। व्यक्तिहरूको नामका लागि मानहरू पहिलो नाम, मध्य प्रारम्भिक र अन्तिम नामको रूपमा भण्डारण गरिनु पर्छ। डाटा गुणस्तरको यो विशेषताले मापदण्डहरूको कार्यान्वयनलाई सरल बनाउँछ र छुटेका मानहरूलाई कम गर्छ।
[संरचनात्मक निश्चितता। जहाँ डेटा तत्व प्राकृतिक रूपमा व्यक्तिगत कम्पोनेन्टहरूमा संरचित हुन सक्छ, तत्वले यो राम्रोसँग परिभाषित संरचना समावेश गर्नुपर्छ। उदाहरणका लागि, एक व्यक्तिको नाम स्वाभाविक रूपमा पहिलो नाम, मध्य प्रारम्भिक, र अन्तिम नाममा विभाजित हुन्छ। व्यक्तिगत नामहरूको लागि मानहरू पहिलो नाम, मध्य प्रारम्भिक, र अन्तिम नामको रूपमा भण्डारण गर्नुपर्छ। यो डेटा गुणस्तर विशेषताले मापदण्डको आवेदनलाई सरल बनाउँछ र छुटेका मानहरूलाई कम गर्छ।]

डाटा विसंगति। क्षेत्रलाई परिभाषित गरिएको उद्देश्यको लागि मात्र प्रयोग गर्नुपर्छ। यदि फिल्ड ठेगाना-3 लामो ठेगानाहरूको लागि ठेगानाको कुनै पनि सम्भावित तेस्रो रेखाको लागि परिभाषित गरिएको छ भने, त्यसपछि यो क्षेत्र ठेगानाको तेस्रो रेखा रेकर्डिङको लागि मात्र प्रयोग गरिनुपर्छ। यो ग्राहकको लागि फोन वा फ्याक्स नम्बर प्रविष्ट गर्न प्रयोग गर्नु हुँदैन।
[डेटा विसंगति। क्षेत्रलाई परिभाषित गरिएको उद्देश्यका लागि मात्र प्रयोग गर्नुपर्छ। यदि ठेगाना-3 क्षेत्र लामो ठेगानाहरूको लागि कुनै पनि सम्भावित तेस्रो ठेगाना रेखाको लागि परिभाषित गरिएको छ भने, त्यसपछि यो क्षेत्र केवल तेस्रो ठेगाना रेखा रेकर्ड गर्न प्रयोग गरिनेछ। यो ग्राहकको लागि टेलिफोन वा फ्याक्स नम्बर प्रविष्ट गर्न प्रयोग गर्नु हुँदैन।]

स्पष्टता। डाटा एलिमेन्टमा गुणस्तर डाटाका अन्य सबै विशेषताहरू हुन सक्छन् तर यदि प्रयोगकर्ताहरूले यसको अर्थ स्पष्ट रूपमा बुझ्दैनन् भने, डाटा तत्व प्रयोगकर्ताहरूको लागि कुनै मूल्य हुँदैन। उचित नामकरण सम्मेलनहरूले डेटा तत्वहरूलाई प्रयोगकर्ताहरूले राम्रोसँग बुझ्न मद्दत गर्दछ।
[स्पष्टता। डाटा एलिमेन्टमा राम्रो डाटाका अन्य सबै विशेषताहरू हुन सक्छन्, तर यदि प्रयोगकर्ताहरूले यसको अर्थ स्पष्ट रूपमा बुझ्दैनन् भने, डाटा तत्व प्रयोगकर्ताहरूको लागि कुनै मूल्यवान हुँदैन। सही नामकरण सम्मेलनहरूले डेटा तत्वहरूलाई प्रयोगकर्ताहरूले राम्रोसँग बुझ्न मद्दत गर्दछ।]

समय सापेक्ष। प्रयोगकर्ताहरूले डेटाको समयबद्धता निर्धारण गर्छन्। यदि प्रयोगकर्ताहरूले ग्राहक आयाम डेटा एक दिन भन्दा पुरानो नहुने अपेक्षा गर्छन् भने, स्रोत प्रणालीहरूमा ग्राहक डेटामा परिवर्तनहरू दैनिक डाटा गोदाममा लागू गरिनुपर्छ।
[समयमै। प्रयोगकर्ताहरूले डेटाको समयबद्धता निर्धारण गर्छन्। यदि प्रयोगकर्ताहरूले ग्राहक आयाम डेटा एक दिन भन्दा पुरानो नहुने अपेक्षा गर्छन् भने, स्रोत प्रणालीहरूमा ग्राहक डेटामा परिवर्तनहरू दैनिक आधारमा डेटा गोदाममा लागू गरिनुपर्छ।]

उपयोगिता। डाटा गोदाममा प्रत्येक डाटा तत्वले प्रयोगकर्ताहरूको सङ्कलनका केही आवश्यकताहरू पूरा गर्नुपर्छ। डेटा तत्व सही र उच्च गुणस्तरको हुन सक्छ, तर यदि प्रयोगकर्ताहरूको लागि यसको कुनै मूल्य छैन भने, त्यो डाटा तत्वको लागि डाटा गोदाममा हुनु पूर्ण रूपमा अनावश्यक छ।
[उपयोगिता। डाटा स्टोरमा प्रत्येक डाटा वस्तुले प्रयोगकर्ता सङ्कलनका केही आवश्यकताहरू पूरा गर्नुपर्छ। डाटा तत्व सही र उच्च गुणस्तरको हुन सक्छ, तर यदि यसले प्रयोगकर्ताहरूलाई मूल्य प्रदान गर्दैन भने, त्यस डाटा तत्वको लागि डाटा गोदाममा हुनु आवश्यक छैन।]

डाटा अखण्डता नियमहरूको पालना। स्रोत प्रणालीको रिलेसनल डाटाबेसमा भण्डारण गरिएको डाटाले संस्थाको अखण्डता र सन्दर्भात्मक अखण्डता नियमहरूको पालना गर्नुपर्छ। प्राथमिक कुञ्जीका रूपमा शून्यलाई अनुमति दिने कुनै पनि तालिकामा संस्थाको पूर्णता हुँदैन। सन्दर्भात्मक अखण्डताले आमाबाबु-बालको सम्बन्धलाई सही रूपमा स्थापना गर्न बल दिन्छ। ग्राहक-देखि-अर्डर सम्बन्धमा, सन्दर्भ अखण्डताले डाटाबेसमा प्रत्येक अर्डरको लागि ग्राहकको अस्तित्व सुनिश्चित गर्दछ।
[डेटा अखण्डता नियमहरूको अनुपालन। स्रोत प्रणालीको रिलेशनल डाटाबेसमा भण्डारण गरिएको डाटाले संस्थाको अखण्डता र सन्दर्भ अखण्डताका नियमहरूको पालना गर्नुपर्छ। प्राथमिक कुञ्जीको रूपमा शून्यलाई अनुमति दिने कुनै पनि तालिकामा संस्थाको पूर्णता हुँदैन। सन्दर्भात्मक अखण्डताले आमाबाबु र बच्चाहरू बीचको सम्बन्धलाई सही रूपमा स्थापित गर्न बल दिन्छ। ग्राहक-अर्डर सम्बन्धमा, सन्दर्भात्मक अखण्डताले डाटाबेसमा प्रत्येक अर्डरको लागि ग्राहक अवस्थित छ भनी सुनिश्चित गर्दछ।]

4. डाटा सफाई को गुणस्तर

डाटा क्लिनिङको गुणस्तर बिगडाटामा समस्याग्रस्त मुद्दा हो। प्रत्येक डेटा विश्लेषकको लागि आधारभूत कार्य पूरा गर्न डेटा सफाईको कुन डिग्री आवश्यक छ भन्ने प्रश्नको जवाफ दिँदै। धेरैजसो वर्तमान समस्याहरूमा, प्रत्येक विश्लेषकले यसलाई आफैं स्थापित गर्दछ र यो सम्भव छैन कि बाहिरबाट कसैले पनि आफ्नो समाधानमा यो पक्षलाई मूल्याङ्कन गर्न सक्षम छ। तर यस मामला मा हात मा कार्य को लागी, यो मुद्दा धेरै महत्त्वपूर्ण थियो, किनकि कानूनी डेटा को विश्वसनीयता एक को लागी हुनुपर्दछ।

परिचालन विश्वसनीयता निर्धारण गर्न सफ्टवेयर परीक्षण प्रविधिहरू विचार गर्दै। आज यी मोडेलहरू भन्दा धेरै छन् 200। धेरै मोडेलहरूले दावी सेवा मोडेल प्रयोग गर्छन्:

Рис। १

निम्नानुसार सोच्दै: "यदि फेला परेको त्रुटि यो मोडेलमा असफल घटना जस्तै घटना हो, त्यसपछि प्यारामिटर t को एनालग कसरी फेला पार्ने?" र मैले निम्न मोडेल कम्पाइल गरें: कल्पना गरौं कि एक रेकर्ड जाँच गर्न एक परीक्षकले 1 मिनेट लिन्छ (प्रश्नमा डाटाबेसको लागि), त्यसपछि सबै त्रुटिहरू फेला पार्न उसलाई 365 मिनेट चाहिन्छ, जुन लगभग 494 वर्ष र 3 हो। महिनाको काम गर्ने समय। हामीले बुझेझैं, यो कामको धेरै ठूलो मात्रा हो र डाटाबेस जाँच गर्ने लागतहरू यस डाटाबेसको कम्पाइलरको लागि निषेधित हुनेछ। यस प्रतिबिम्बमा, लागतको आर्थिक अवधारणा देखिन्छ र विश्लेषण पछि म निष्कर्षमा पुगें कि यो एकदम प्रभावकारी उपकरण हो। अर्थशास्त्रको कानूनको आधारमा: "उत्पादनको मात्रा (इकाइहरूमा) जहाँ फर्मको अधिकतम नाफा प्राप्त हुन्छ त्यो बिन्दुमा अवस्थित हुन्छ जहाँ उत्पादनको नयाँ इकाई उत्पादनको सीमान्त लागत यस फर्मले प्राप्त गर्न सक्ने मूल्यसँग तुलना गरिन्छ। नयाँ इकाईको लागि।" प्रत्येक पछिको त्रुटि फेला पार्नको लागि रेकर्डहरूको अधिक र अधिक जाँचको आवश्यकता पर्दछ भन्ने पोष्टुलेटमा आधारित, यो लागत कारक हो। त्यो हो, परीक्षण मोडेलहरूमा अपनाईएको पोष्टुलेटले निम्न ढाँचामा भौतिक अर्थ लिन्छ: यदि i-th त्रुटि फेला पार्न यो n रेकर्डहरू जाँच गर्न आवश्यक थियो, त्यसपछि अर्को (i+3) त्रुटि फेला पार्न यो आवश्यक हुनेछ। एम रेकर्डहरू जाँच गर्न र एकै समयमा एन

1. जब नयाँ त्रुटि फेला पर्नु अघि जाँच गरिएका रेकर्डहरूको संख्या स्थिर हुन्छ;
2. जब अर्को त्रुटि फेला पार्न अघि जाँच गरिएको रेकर्ड संख्या बढ्नेछ।

महत्वपूर्ण मूल्य निर्धारण गर्न, मैले आर्थिक सम्भाव्यताको अवधारणामा फर्कें, जुन यस अवस्थामा, सामाजिक लागतको अवधारणा प्रयोग गरेर निम्नानुसार तयार गर्न सकिन्छ: "त्रुटि सच्याउन सक्ने आर्थिक एजेन्टले वहन गर्नुपर्नेछ। यो सबैभन्दा कम लागतमा।" हामीसँग एक एजेन्ट छ - एक परीक्षक जसले एक रेकर्ड जाँच गर्न 1 मिनेट खर्च गर्दछ। मौद्रिक सर्तहरूमा, यदि तपाईंले 6000 rubles/दिन कमाउनुभयो भने, यो 12,2 rubles हुनेछ। (लगभग आज)। आर्थिक कानूनमा सन्तुलनको दोस्रो पक्ष निर्धारण गर्न बाँकी छ। मैले यसरी तर्क गरें। अवस्थित त्रुटिले सम्बन्धित व्यक्तिलाई सच्याउनको लागि प्रयास खर्च गर्न आवश्यक पर्दछ, अर्थात्, सम्पत्ति मालिक। मानौं यसका लागि १ दिनको कार्य आवश्यक छ (एउटा आवेदन पेश गर्नुहोस्, सही कागजात प्राप्त गर्नुहोस्)। त्यसपछि, सामाजिक दृष्टिकोणबाट, उसको लागत प्रति दिन औसत तलब बराबर हुनेछ। Khanty-Mansi Autonomous Okrug मा औसत प्राप्त तलब "Khanty-Mansiysk स्वायत्त ओक्रग - Ugra को जनवरी-सेप्टेम्बर 2019 को सामाजिक-आर्थिक विकासको परिणाम" 73285 रु. वा 3053,542 rubles/दिन। तदनुसार, हामी बराबर एक महत्वपूर्ण मान प्राप्त गर्छौं:
3053,542: 12,2 = 250,4 रेकर्डको एकाइ।

यसको मतलब, सामाजिक दृष्टिकोणबाट, यदि एक परीक्षकले 251 रेकर्डहरू जाँच गर्यो र एउटा त्रुटि फेला पार्यो भने, यो प्रयोगकर्ताले यो त्रुटि आफैं फिक्स गर्ने बराबर हो। तदनुसार, यदि परीक्षकले अर्को त्रुटि फेला पार्न 252 रेकर्डहरू जाँच गर्न बराबर समय बितायो भने, यस अवस्थामा यो प्रयोगकर्तालाई सुधारको लागत सार्न राम्रो छ।

यहाँ एक सरलीकृत दृष्टिकोण प्रस्तुत गरिएको छ, किनकि सामाजिक दृष्टिकोणबाट प्रत्येक विशेषज्ञले उत्पन्न गरेको सबै अतिरिक्त मूल्यलाई ध्यानमा राख्न आवश्यक छ, अर्थात्, कर र सामाजिक भुक्तानीहरू सहित लागतहरू, तर मोडेल स्पष्ट छ। यस सम्बन्धको नतिजा विशेषज्ञहरूको लागि निम्न आवश्यकता हो: IT उद्योगका एक विशेषज्ञको तलब राष्ट्रिय औसत भन्दा बढी हुनुपर्छ। यदि उसको तलब सम्भावित डाटाबेस प्रयोगकर्ताहरूको औसत तलब भन्दा कम छ भने, उसले आफैंले सम्पूर्ण डाटाबेस हात-हात जाँच गर्नुपर्छ।

वर्णन गरिएको मापदण्ड प्रयोग गर्दा, डाटाबेसको गुणस्तरको लागि पहिलो आवश्यकता बनाइन्छ:
I(tr)। महत्वपूर्ण त्रुटिहरूको साझेदारी 1/250,4 = 0,39938% भन्दा बढी हुनु हुँदैन। भन्दा अलि कम परिष्करण उद्योगमा सुन। र भौतिक सर्तहरूमा त्रुटिहरूसँग 1459 भन्दा बढी रेकर्डहरू छैनन्।

आर्थिक वापसी।

वास्तवमा, अभिलेखहरूमा यस्ता धेरै त्रुटिहरू गरेर, समाजले निम्न रकममा आर्थिक नोक्सानलाई स्वीकार गर्दछ:

1459*3053,542 = 4 रूबल।

यो रकम यस तथ्यले निर्धारण गर्दछ कि समाजसँग यी लागतहरू घटाउने उपकरणहरू छैनन्। यो निम्नानुसार छ कि यदि कसैसँग एउटा प्रविधि छ जसले तिनीहरूलाई त्रुटिहरू सहित रेकर्डहरूको संख्या घटाउन अनुमति दिन्छ, उदाहरणका लागि, 259, तब यसले समाजलाई बचत गर्न अनुमति दिनेछ:
1200*3053,542 = 3 रूबल।

तर एकै समयमा, उसले आफ्नो प्रतिभा र कामको लागि सोध्न सक्छ, भनौं - 1 मिलियन रूबल।
अर्थात्, सामाजिक लागतहरू निम्नद्वारा घटाइन्छ:

3 – 664 = 250 रूबल।

संक्षेपमा, यो प्रभाव BigDat प्रविधिहरूको प्रयोगबाट थपिएको मान हो।

तर यहाँ यो ध्यानमा राख्नु पर्छ कि यो एक सामाजिक प्रभाव हो, र डाटाबेस को मालिक नगरपालिका अधिकारीहरु, 0,3% को दर मा, यस डाटाबेस मा रेकर्ड सम्पत्ति को उपयोग को उपयोग को लागी आफ्नो आय, छ: 2,778 बिलियन rubles/ वर्ष। र यी लागतहरू (4 रूबल) उसलाई धेरै परेशान गर्दैनन्, किनकि तिनीहरू सम्पत्ति मालिकहरूलाई हस्तान्तरण गरिएका छन्। र, यस पक्षमा, Bigdata मा थप परिष्कृत टेक्नोलोजीहरूको विकासकर्ताले यस डाटाबेसको मालिकलाई मनाउन सक्ने क्षमता देखाउनुपर्नेछ, र त्यस्ता चीजहरूको लागि पर्याप्त प्रतिभा चाहिन्छ।

यस उदाहरणमा, त्रुटि मूल्याङ्कन एल्गोरिथ्म विश्वसनीयता परीक्षणको समयमा सफ्टवेयर प्रमाणिकरणको Schumann मोडेल [2] मा आधारित छ। इन्टरनेटमा यसको व्यापकता र आवश्यक सांख्यिकीय संकेतकहरू प्राप्त गर्ने क्षमताको कारण। पद्धति Monakov Yu.M बाट लिइएको हो। "सूचना प्रणालीहरूको कार्यात्मक स्थिरता", चित्रमा स्पोइलर अन्तर्गत हेर्नुहोस्। ७-९।

चामल। 7 - 9 Schumann मोडेल को विधि





यो सामाग्री को दोस्रो भाग डेटा सफाई को एक उदाहरण प्रस्तुत गर्दछ, जसमा Schumann मोडेल को उपयोग को परिणाम प्राप्त गरिन्छ।
मलाई प्राप्त परिणामहरू प्रस्तुत गर्न दिनुहोस्:
त्रुटिहरूको अनुमानित संख्या N = 3167 n।
प्यारामिटर C, lambda र विश्वसनीयता प्रकार्य:

चित्र १

अनिवार्य रूपमा, lambda तीव्रताको वास्तविक सूचक हो जसको साथ प्रत्येक चरणमा त्रुटिहरू पत्ता लगाइन्छ। यदि तपाइँ दोस्रो भागमा हेर्नुहुन्छ भने, यो सूचकको लागि अनुमान प्रति घण्टा 42,4 त्रुटिहरू थियो, जुन Schumann सूचकसँग तुलनात्मक छ। माथि, यो निर्धारण गरिएको थियो कि विकासकर्ताहरूले त्रुटिहरू फेला पार्ने दर प्रति मिनेट 1 रेकर्ड जाँच गर्दा, प्रति 250,4 रेकर्डहरू 1 त्रुटि भन्दा कम हुनु हुँदैन। त्यसैले शुमन मोडेलको लागि लाम्ब्डाको महत्वपूर्ण मूल्य:

.60 250,4.२ / १० = 0,239617.२XNUMX

अर्थात्, विद्यमान ३८.९६४ बाट घटेर ०.२३९६१७ मा ल्याम्बडा नहुँदासम्म त्रुटि पत्ता लगाउने प्रक्रियाहरू पूरा गर्न आवश्यक छ।

वा सूचक N (त्रुटिहरूको सम्भावित संख्या) माइनस n (त्रुटिहरूको सही संख्या) हाम्रो स्वीकृत थ्रेसहोल्ड - 1459 pcs भन्दा कम नभएसम्म।

साहित्य

1. मोनाखोभ, यू. एम. सूचना प्रणालीको कार्यात्मक स्थिरता। ३ घण्टामा। भाग १। सफ्टवेयर विश्वसनीयता: पाठ्यपुस्तक। भत्ता / यू एम मोनाखोव; भ्लादिम। राज्य विश्वविद्यालय - व्लादिमिर: इज्वो भ्लादिम। राज्य विश्वविद्यालय, 3। - 1 p। – ISBN 2011-60-978-5-9984।
2. मार्टिन एल शूमन, "सफ्टवेयर विश्वसनीयता भविष्यवाणीको लागि सम्भावित मोडेल।"
3. आईटी पेशेवरहरूका लागि डाटा भण्डारण आधारभूतहरू / पॉलराज पोन्निया। -2nd संस्करण।

भाग दुई। सैद्धान्तिक

स्रोत: www.habr.com