रॉक, पेपर, कैंची के खेल की तरह डेटा साफ़ करें। क्या यह एक खेल है जिसका अंत है या नहीं? भाग 1. सैद्धांतिक

1. प्रारंभिक डेटा

डेटा सफाई डेटा विश्लेषण कार्यों के सामने आने वाली चुनौतियों में से एक है। यह सामग्री भूकर मूल्य के निर्माण में डेटाबेस के विश्लेषण की व्यावहारिक समस्या को हल करने के परिणामस्वरूप उत्पन्न हुए विकास और समाधानों को दर्शाती है। सूत्र यहाँ "खांटी-मानसीस्क ऑटोनॉमस ऑक्रग - उग्रा के क्षेत्र में सभी प्रकार की अचल संपत्ति (भूमि भूखंडों को छोड़कर) के राज्य भूकर मूल्यांकन के परिणामों पर रिपोर्ट संख्या 01/ओकेएस-2019".

फ़ाइल "तुलनात्मक मॉडल total.ods" "परिशिष्ट बी। केएस 5 के निर्धारण के परिणाम। भूकर मूल्य 5.1 तुलनात्मक दृष्टिकोण निर्धारित करने की विधि पर जानकारी" पर विचार किया गया था।

तालिका 1. फ़ाइल "तुलनात्मक मॉडल total.ods" में डेटासेट के सांख्यिकीय संकेतक
फ़ील्ड की कुल संख्या, पीसी। — 44
रिकॉर्ड की कुल संख्या, पीसी। — 365
वर्णों की कुल संख्या, पीसी। — 101 714 693
एक रिकॉर्ड में वर्णों की औसत संख्या, पीसी। — 278,297
रिकॉर्ड में वर्णों का मानक विचलन, पीसी। — 15,510
किसी प्रविष्टि में वर्णों की न्यूनतम संख्या, पीसी। — 198
किसी प्रविष्टि में वर्णों की अधिकतम संख्या, पीसी। —363

2. परिचयात्मक भाग. बुनियादी मानक

निर्दिष्ट डेटाबेस का विश्लेषण करते समय, शुद्धि की डिग्री के लिए आवश्यकताओं को निर्दिष्ट करने के लिए एक कार्य बनाया गया था, क्योंकि, जैसा कि सभी के लिए स्पष्ट है, निर्दिष्ट डेटाबेस उपयोगकर्ताओं के लिए कानूनी और आर्थिक परिणाम बनाता है। काम के दौरान, यह पता चला कि बड़े डेटा की सफाई की डिग्री के लिए कोई विशेष आवश्यकताएं नहीं थीं। इस मामले में कानूनी मानदंडों का विश्लेषण करते हुए, मैं इस निष्कर्ष पर पहुंचा कि वे सभी संभावनाओं से बने हैं। अर्थात्, एक निश्चित कार्य सामने आया है, कार्य के लिए सूचना स्रोतों को संकलित किया जाता है, फिर एक डेटासेट बनाया जाता है और, बनाए गए डेटासेट के आधार पर, समस्या को हल करने के लिए उपकरण तैयार किए जाते हैं। परिणामी समाधान विकल्पों में से चुनने में संदर्भ बिंदु हैं। मैंने इसे चित्र 1 में प्रस्तुत किया है।



चूँकि, किसी भी मानक को निर्धारित करने के मामले में, सिद्ध प्रौद्योगिकियों पर भरोसा करना बेहतर होता है, इसलिए मैंने निर्धारित आवश्यकताओं को चुना "MHRA GxP डेटा इंटीग्रिटी परिभाषाएँ और उद्योग के लिए मार्गदर्शन", क्योंकि मैंने इस दस्तावेज़ को इस मुद्दे के लिए सबसे व्यापक माना। विशेष रूप से, इस दस्तावेज़ में अनुभाग कहता है "यह ध्यान दिया जाना चाहिए कि डेटा अखंडता आवश्यकताएं मैन्युअल (कागज) और इलेक्ट्रॉनिक डेटा पर समान रूप से लागू होती हैं।" (अनुवाद: "...डेटा अखंडता आवश्यकताएं मैन्युअल (पेपर) और इलेक्ट्रॉनिक डेटा पर समान रूप से लागू होती हैं")। यह सूत्रीकरण सिविल प्रक्रिया संहिता, कला के अनुच्छेद 71 के प्रावधानों में "लिखित साक्ष्य" की अवधारणा से काफी विशिष्ट रूप से जुड़ा हुआ है। 70 सीएएस, कला. 75 एपीसी, "लिखित रूप में" कला. 84 सिविल प्रक्रिया संहिता।

चित्र 2 न्यायशास्त्र में सूचना के प्रकारों के दृष्टिकोण के गठन का एक आरेख प्रस्तुत करता है।

चावल। 2. स्रोत यहां.

चित्र 3 उपरोक्त "मार्गदर्शन" के कार्यों के लिए चित्र 1 के तंत्र को दर्शाता है। तुलना करके यह देखना आसान है कि सूचना प्रणालियों के लिए आधुनिक मानकों में सूचना अखंडता की आवश्यकताओं को पूरा करते समय उपयोग किए जाने वाले दृष्टिकोण सूचना की कानूनी अवधारणा की तुलना में काफी सीमित हैं।

Ris.3

निर्दिष्ट दस्तावेज़ (मार्गदर्शन) में, तकनीकी भाग का कनेक्शन, डेटा को संसाधित करने और संग्रहीत करने की क्षमता, अध्याय 18.2 के एक उद्धरण द्वारा अच्छी तरह से पुष्टि की गई है। संबंधपरक डेटाबेस: "यह फ़ाइल संरचना स्वाभाविक रूप से अधिक सुरक्षित है, क्योंकि डेटा को एक बड़े फ़ाइल प्रारूप में रखा जाता है जो डेटा और मेटाडेटा के बीच संबंध को संरक्षित करता है।"

वास्तव में, इस दृष्टिकोण में - मौजूदा तकनीकी क्षमताओं से, कुछ भी असामान्य नहीं है और, अपने आप में, यह एक प्राकृतिक प्रक्रिया है, क्योंकि अवधारणाओं का विस्तार सबसे अधिक अध्ययन की गई गतिविधि - डेटाबेस डिज़ाइन से होता है। लेकिन, दूसरी ओर, कानूनी मानदंड सामने आते हैं जो मौजूदा प्रणालियों की तकनीकी क्षमताओं पर छूट प्रदान नहीं करते हैं, उदाहरण के लिए: जीडीपीआर - सामान्य डेटा संरक्षण विनियमन.

चावल। 4. तकनीकी क्षमताओं का फ़नल (स्रोत).

इन पहलुओं में, यह स्पष्ट हो जाता है कि मूल डेटासेट (चित्र 1) को, सबसे पहले, सहेजना होगा, और दूसरा, इससे अतिरिक्त जानकारी निकालने का आधार बनना होगा। ठीक है, एक उदाहरण के रूप में: यातायात नियमों को रिकॉर्ड करने वाले कैमरे सर्वव्यापी हैं, सूचना प्रसंस्करण प्रणालियाँ उल्लंघनकर्ताओं को बाहर निकालती हैं, लेकिन अन्य जानकारी भी अन्य उपभोक्ताओं को दी जा सकती है, उदाहरण के लिए, शॉपिंग सेंटर में ग्राहकों के प्रवाह की संरचना की मार्केटिंग निगरानी के रूप में। और BigDat का उपयोग करते समय यह अतिरिक्त अतिरिक्त मूल्य का एक स्रोत है। यह बहुत संभव है कि अभी एकत्र किए जा रहे डेटासेट, भविष्य में कहीं, वर्तमान समय में 1700 के दुर्लभ संस्करणों के मूल्य के समान एक तंत्र के अनुसार मूल्य होंगे। आख़िरकार, वास्तव में, अस्थायी डेटासेट अद्वितीय होते हैं और भविष्य में इन्हें दोहराए जाने की संभावना नहीं है।

3. परिचयात्मक भाग. मूल्यांकन के मानदंड

प्रसंस्करण प्रक्रिया के दौरान, त्रुटियों का निम्नलिखित वर्गीकरण विकसित किया गया था।

1. त्रुटि वर्ग (GOST R 8.736-2011 पर आधारित): ए) व्यवस्थित त्रुटियाँ; बी) यादृच्छिक त्रुटियां; ग) एक भूल.

2. बहुलता द्वारा: ए) मोनो विरूपण; बी) बहु-विरूपण।

3. परिणामों की गंभीरता के अनुसार: ए) महत्वपूर्ण; बी) आलोचनात्मक नहीं.

4. घटना के स्रोत के अनुसार:

ए) तकनीकी - उपकरण के संचालन के दौरान होने वाली त्रुटियां। IoT सिस्टम के लिए एक काफी प्रासंगिक त्रुटि, संचार, उपकरण (हार्डवेयर) की गुणवत्ता पर महत्वपूर्ण प्रभाव डालने वाले सिस्टम।

बी) ऑपरेटर त्रुटियाँ - इनपुट के दौरान ऑपरेटर टाइपो से लेकर डेटाबेस डिज़ाइन के लिए तकनीकी विशिष्टताओं में त्रुटियों तक की एक विस्तृत श्रृंखला में त्रुटियाँ।

सी) उपयोगकर्ता त्रुटियां - यहां "लेआउट स्विच करना भूल गए" से लेकर मीटर को पैर समझने तक की संपूर्ण श्रेणी में उपयोगकर्ता त्रुटियां हैं।

5. एक अलग वर्ग में विभाजित:

ए) "विभाजक का कार्य", यानी, स्थान और ":" (हमारे मामले में) जब इसे दोहराया गया था;
बी) एक साथ लिखे गए शब्द;
ग) सेवा वर्णों के बाद कोई स्थान नहीं
डी) सममित रूप से एकाधिक प्रतीक: (), "", "..."।

चित्र 5 में प्रस्तुत डेटाबेस त्रुटियों के व्यवस्थितकरण के साथ, त्रुटियों की खोज करने और इस उदाहरण के लिए डेटा सफाई एल्गोरिदम विकसित करने के लिए एक काफी प्रभावी समन्वय प्रणाली बनाई गई है।

चावल। 5. डेटाबेस की संरचनात्मक इकाइयों से संबंधित विशिष्ट त्रुटियाँ (स्रोत: ओरेशकोव वी.आई., पाकलिन एन.बी. "डेटा समेकन की प्रमुख अवधारणाएँ").

सटीकता, डोमेन अखंडता, डेटा प्रकार, संगति, अतिरेक, पूर्णता, दोहराव, व्यावसायिक नियमों के अनुरूपता, संरचनात्मक निश्चितता, डेटा विसंगति, स्पष्टता, समयबद्धता, डेटा अखंडता नियमों का पालन। (पेज 334. आईटी पेशेवरों के लिए डेटा वेयरहाउसिंग के बुनियादी सिद्धांत / पॉलराज पोन्नैया।—दूसरा संस्करण।)

अंग्रेजी शब्दांकन और रूसी मशीनी अनुवाद कोष्ठक में प्रस्तुत किया गया है।

शुद्धता। किसी डेटा तत्व के लिए सिस्टम में संग्रहीत मूल्य डेटा तत्व की उस घटना के लिए सही मूल्य है। यदि आपके पास किसी ग्राहक का नाम और पता किसी रिकॉर्ड में संग्रहीत है, तो वह पता उस नाम वाले ग्राहक के लिए सही पता है। यदि आपको ऑर्डर संख्या 1000 के रिकॉर्ड में ऑर्डर की गई मात्रा 12345678 इकाइयों के रूप में मिलती है, तो वह मात्रा उस ऑर्डर के लिए सटीक मात्रा है।
[शुद्धता। किसी डेटा तत्व के लिए सिस्टम में संग्रहीत मान डेटा तत्व की उस घटना के लिए सही मान है। यदि आपके पास किसी ग्राहक का नाम और पता किसी रिकॉर्ड में संग्रहीत है, तो वह पता उस नाम वाले ग्राहक के लिए सही पता है। यदि आपको ऑर्डर संख्या 1000 के रिकॉर्ड में ऑर्डर की गई मात्रा 12345678 इकाइयों के रूप में मिलती है, तो वह मात्रा उस ऑर्डर के लिए सटीक मात्रा है।]

डोमेन अखंडता. किसी विशेषता का डेटा मान स्वीकार्य, परिभाषित मानों की सीमा में आता है। सामान्य उदाहरण लिंग डेटा तत्व के लिए स्वीकार्य मान "पुरुष" और "महिला" है।
[डोमेन इंटीग्रिटी. विशेषता डेटा मान वैध, परिभाषित मानों की सीमा के भीतर आता है। एक सामान्य उदाहरण लिंग डेटा तत्व के लिए मान्य मान "पुरुष" और "महिला" है।]

डेटा प्रकार। किसी डेटा विशेषता का मान वास्तव में उस विशेषता के लिए परिभाषित डेटा प्रकार के रूप में संग्रहीत किया जाता है। जब स्टोर नाम फ़ील्ड के डेटा प्रकार को "टेक्स्ट" के रूप में परिभाषित किया जाता है, तो उस फ़ील्ड के सभी उदाहरणों में टेक्स्ट प्रारूप में दिखाया गया स्टोर नाम होता है, न कि संख्यात्मक कोड।
[डेटा प्रकार। किसी डेटा विशेषता का मान वास्तव में उस विशेषता के लिए परिभाषित डेटा प्रकार के रूप में संग्रहीत किया जाता है। यदि स्टोर नाम फ़ील्ड डेटा प्रकार को "टेक्स्ट" के रूप में परिभाषित किया गया है, तो इस फ़ील्ड के सभी उदाहरणों में स्टोर नाम संख्यात्मक कोड के बजाय टेक्स्ट प्रारूप में प्रदर्शित होता है।]

स्थिरता। डेटा फ़ील्ड का रूप और सामग्री कई स्रोत प्रणालियों में समान होती है। यदि एक सिस्टम में उत्पाद एबीसी का उत्पाद कोड 1234 है, तो प्रत्येक स्रोत सिस्टम में इस उत्पाद का कोड 1234 है।
[स्थिरता। विभिन्न स्रोत प्रणालियों में डेटा फ़ील्ड का रूप और सामग्री समान होती है। यदि एक सिस्टम पर उत्पाद एबीसी के लिए उत्पाद कोड 1234 है, तो प्रत्येक स्रोत सिस्टम पर उस उत्पाद का कोड 1234 है।]

अतिरेक. किसी सिस्टम में एक ही डेटा को एक से अधिक स्थानों पर संग्रहीत नहीं किया जाना चाहिए। यदि, दक्षता के कारणों से, किसी डेटा तत्व को जानबूझकर सिस्टम में एक से अधिक स्थानों पर संग्रहीत किया जाता है, तो अतिरेक को स्पष्ट रूप से पहचाना और सत्यापित किया जाना चाहिए।
[अतिरेक. सिस्टम में एक ही डेटा को एक से अधिक स्थानों पर संग्रहीत नहीं किया जाना चाहिए। यदि, दक्षता के कारणों से, किसी डेटा तत्व को जानबूझकर सिस्टम में कई स्थानों पर संग्रहीत किया जाता है, तो अतिरेक को स्पष्ट रूप से परिभाषित और सत्यापित किया जाना चाहिए।]

संपूर्णता. सिस्टम में किसी दिए गए विशेषता के लिए कोई गुम मान नहीं हैं। उदाहरण के लिए, किसी ग्राहक फ़ाइल में, प्रत्येक ग्राहक के लिए "राज्य" फ़ील्ड के लिए एक वैध मान होना चाहिए। ऑर्डर विवरण के लिए फ़ाइल में, ऑर्डर के लिए प्रत्येक विवरण रिकॉर्ड पूरी तरह से भरा जाना चाहिए।
[संपूर्णता. इस विशेषता के लिए सिस्टम में कोई गुम मान नहीं हैं। उदाहरण के लिए, क्लाइंट फ़ाइल में प्रत्येक क्लाइंट के लिए "स्थिति" फ़ील्ड के लिए एक मान्य मान होना चाहिए। ऑर्डर विवरण फ़ाइल में, प्रत्येक ऑर्डर विवरण रिकॉर्ड पूरी तरह से पूरा होना चाहिए।]

दोहराव। किसी सिस्टम में रिकॉर्ड के दोहराव का पूरी तरह से समाधान हो गया है। यदि उत्पाद फ़ाइल में डुप्लिकेट रिकॉर्ड होने का पता चलता है, तो प्रत्येक उत्पाद के लिए सभी डुप्लिकेट रिकॉर्ड की पहचान की जाती है और एक क्रॉस-रेफरेंस बनाया जाता है।
[डुप्लिकेट. सिस्टम में रिकार्डों की नकल को पूरी तरह समाप्त कर दिया गया है। यदि किसी उत्पाद फ़ाइल में डुप्लिकेट प्रविष्टियाँ शामिल हैं, तो प्रत्येक उत्पाद के लिए सभी डुप्लिकेट प्रविष्टियों की पहचान की जाती है और एक क्रॉस-रेफरेंस बनाया जाता है।]

व्यावसायिक नियमों का अनुपालन. प्रत्येक डेटा आइटम का मान निर्धारित व्यावसायिक नियमों का पालन करता है। नीलामी प्रणाली में, हथौड़ा या बिक्री मूल्य आरक्षित मूल्य से कम नहीं हो सकता। बैंक ऋण प्रणाली में, ऋण शेष हमेशा सकारात्मक या शून्य होना चाहिए।
[व्यावसायिक नियमों का अनुपालन। प्रत्येक डेटा तत्व का मान स्थापित व्यावसायिक नियमों का अनुपालन करता है। नीलामी प्रणाली में, हथौड़ा या बिक्री मूल्य आरक्षित मूल्य से कम नहीं हो सकता। बैंकिंग क्रेडिट प्रणाली में, ऋण शेष हमेशा सकारात्मक या शून्य होना चाहिए।]

संरचनात्मक निश्चितता. जहां भी किसी डेटा आइटम को स्वाभाविक रूप से अलग-अलग घटकों में संरचित किया जा सकता है, आइटम में यह अच्छी तरह से परिभाषित संरचना होनी चाहिए। उदाहरण के लिए, किसी व्यक्ति का नाम स्वाभाविक रूप से प्रथम नाम, मध्य प्रारंभिक और अंतिम नाम में विभाजित होता है। व्यक्तियों के नामों का मान प्रथम नाम, मध्य प्रारंभिक और अंतिम नाम के रूप में संग्रहीत किया जाना चाहिए। डेटा गुणवत्ता की यह विशेषता मानकों के प्रवर्तन को सरल बनाती है और लुप्त मूल्यों को कम करती है।
[संरचनात्मक निश्चितता. जहां एक डेटा तत्व को स्वाभाविक रूप से अलग-अलग घटकों में संरचित किया जा सकता है, तत्व में यह अच्छी तरह से परिभाषित संरचना होनी चाहिए। उदाहरण के लिए, किसी व्यक्ति का नाम स्वाभाविक रूप से प्रथम नाम, मध्य प्रारंभिक और अंतिम नाम में विभाजित होता है। व्यक्तिगत नामों के मानों को प्रथम नाम, मध्य प्रारंभिक और अंतिम नाम के रूप में संग्रहीत किया जाना चाहिए। यह डेटा गुणवत्ता विशेषता मानकों के अनुप्रयोग को सरल बनाती है और लुप्त मूल्यों को कम करती है।]

डेटा विसंगति. किसी फ़ील्ड का उपयोग केवल उसी उद्देश्य के लिए किया जाना चाहिए जिसके लिए उसे परिभाषित किया गया है। यदि फ़ील्ड पता-3 को लंबे पतों के लिए पते की किसी संभावित तीसरी पंक्ति के लिए परिभाषित किया गया है, तो इस फ़ील्ड का उपयोग केवल पते की तीसरी पंक्ति को रिकॉर्ड करने के लिए किया जाना चाहिए। इसका उपयोग ग्राहक के लिए फ़ोन या फ़ैक्स नंबर दर्ज करने के लिए नहीं किया जाना चाहिए।
[डेटा विसंगति. किसी फ़ील्ड का उपयोग केवल उसी उद्देश्य के लिए किया जाना चाहिए जिसके लिए उसे परिभाषित किया गया है। यदि पता-3 फ़ील्ड को लंबे पतों के लिए किसी संभावित तीसरी पता पंक्ति के लिए परिभाषित किया गया है, तो इस फ़ील्ड का उपयोग केवल तीसरी पता पंक्ति को रिकॉर्ड करने के लिए किया जाएगा। इसका उपयोग किसी ग्राहक के लिए टेलीफोन या फैक्स नंबर दर्ज करने के लिए नहीं किया जाना चाहिए।]

स्पष्टता. एक डेटा तत्व में गुणवत्ता डेटा की अन्य सभी विशेषताएं हो सकती हैं लेकिन यदि उपयोगकर्ता इसका अर्थ स्पष्ट रूप से नहीं समझते हैं, तो डेटा तत्व का उपयोगकर्ताओं के लिए कोई मूल्य नहीं है। उचित नामकरण परंपराएँ उपयोगकर्ताओं को डेटा तत्वों को अच्छी तरह से समझने में मदद करती हैं।
[स्पष्टता. एक डेटा तत्व में अच्छे डेटा की अन्य सभी विशेषताएं हो सकती हैं, लेकिन यदि उपयोगकर्ता इसका अर्थ स्पष्ट रूप से नहीं समझते हैं, तो डेटा तत्व का उपयोगकर्ताओं के लिए कोई मूल्य नहीं है। सही नामकरण परंपराएं डेटा तत्वों को उपयोगकर्ताओं द्वारा अच्छी तरह से समझने में मदद करती हैं।]

सामयिक. उपयोगकर्ता डेटा की समयबद्धता निर्धारित करते हैं। यदि उपयोगकर्ता उम्मीद करते हैं कि ग्राहक आयाम डेटा एक दिन से अधिक पुराना न हो, तो स्रोत सिस्टम में ग्राहक डेटा में परिवर्तन प्रतिदिन डेटा वेयरहाउस पर लागू किया जाना चाहिए।
[एक समय पर तरीके से। उपयोगकर्ता डेटा की समयबद्धता निर्धारित करते हैं। यदि उपयोगकर्ता उम्मीद करते हैं कि ग्राहक आयाम डेटा एक दिन से अधिक पुराना न हो, तो स्रोत सिस्टम में ग्राहक डेटा में परिवर्तन दैनिक आधार पर डेटा वेयरहाउस पर लागू किया जाना चाहिए।]

उपयोगिता. डेटा वेयरहाउस में प्रत्येक डेटा तत्व को उपयोगकर्ताओं के संग्रह की कुछ आवश्यकताओं को पूरा करना होगा। एक डेटा तत्व सटीक और उच्च गुणवत्ता का हो सकता है, लेकिन यदि इसका उपयोगकर्ताओं के लिए कोई मूल्य नहीं है, तो डेटा वेयरहाउस में उस डेटा तत्व का होना पूरी तरह से अनावश्यक है।
[उपयोगिता। डेटा स्टोर में प्रत्येक डेटा आइटम को उपयोगकर्ता संग्रह की कुछ आवश्यकताओं को पूरा करना होगा। एक डेटा तत्व सटीक और उच्च गुणवत्ता वाला हो सकता है, लेकिन यदि यह उपयोगकर्ताओं को मूल्य प्रदान नहीं करता है, तो उस डेटा तत्व का डेटा वेयरहाउस में होना आवश्यक नहीं है।]

डेटा अखंडता नियमों का पालन। स्रोत सिस्टम के रिलेशनल डेटाबेस में संग्रहीत डेटा को इकाई अखंडता और संदर्भात्मक अखंडता नियमों का पालन करना चाहिए। कोई भी तालिका जो प्राथमिक कुंजी के रूप में शून्य की अनुमति देती है, उसमें इकाई अखंडता नहीं होती है। संदर्भात्मक अखंडता माता-पिता-बच्चे के संबंधों को सही ढंग से स्थापित करने के लिए बाध्य करती है। ग्राहक-से-ऑर्डर संबंध में, संदर्भात्मक अखंडता डेटाबेस में प्रत्येक ऑर्डर के लिए ग्राहक के अस्तित्व को सुनिश्चित करती है।
[डेटा अखंडता नियमों का अनुपालन। स्रोत सिस्टम के संबंधपरक डेटाबेस में संग्रहीत डेटा को इकाई अखंडता और संदर्भात्मक अखंडता के नियमों का पालन करना चाहिए। कोई भी तालिका जो शून्य को प्राथमिक कुंजी के रूप में अनुमति देती है, उसमें इकाई अखंडता नहीं होती है। संदर्भात्मक अखंडता माता-पिता और बच्चों के बीच संबंध को सही ढंग से स्थापित करने के लिए मजबूर करती है। ग्राहक-ऑर्डर संबंध में, संदर्भात्मक अखंडता यह सुनिश्चित करती है कि डेटाबेस में प्रत्येक ऑर्डर के लिए एक ग्राहक मौजूद है।]

4. डेटा सफ़ाई की गुणवत्ता

बिगडेटा में डेटा सफ़ाई की गुणवत्ता एक समस्याग्रस्त मुद्दा है। कार्य को पूरा करने के लिए किस स्तर की डेटा सफ़ाई आवश्यक है, इस प्रश्न का उत्तर देना प्रत्येक डेटा विश्लेषक के लिए मौलिक है। अधिकांश मौजूदा समस्याओं में, प्रत्येक विश्लेषक इसे स्वयं निर्धारित करता है और यह संभावना नहीं है कि बाहर से कोई भी उसके समाधान में इस पहलू का मूल्यांकन करने में सक्षम हो। लेकिन इस मामले में मौजूदा कार्य के लिए, यह मुद्दा बेहद महत्वपूर्ण था, क्योंकि कानूनी डेटा की विश्वसनीयता एक होनी चाहिए।

परिचालन विश्वसनीयता निर्धारित करने के लिए सॉफ़्टवेयर परीक्षण प्रौद्योगिकियों पर विचार करना। आज इन मॉडलों की संख्या अधिक है 200. कई मॉडल दावा सेवा मॉडल का उपयोग करते हैं:

अंजीर. 6

इस प्रकार सोचें: "यदि पाई गई त्रुटि इस मॉडल में विफलता की घटना के समान एक घटना है, तो पैरामीटर टी का एनालॉग कैसे खोजा जाए?" और मैंने निम्नलिखित मॉडल संकलित किया: आइए कल्पना करें कि एक परीक्षक को एक रिकॉर्ड की जांच करने में लगने वाला समय 1 मिनट है (संबंधित डेटाबेस के लिए), तो सभी त्रुटियों को खोजने के लिए उसे 365 मिनट की आवश्यकता होगी, जो लगभग 494 वर्ष और 3 है महीनों का कार्य समय. जैसा कि हम समझते हैं, यह बहुत बड़ी मात्रा में काम है और डेटाबेस की जाँच की लागत इस डेटाबेस के कंपाइलर के लिए निषेधात्मक होगी। इस प्रतिबिंब में, लागत की आर्थिक अवधारणा प्रकट होती है और विश्लेषण के बाद मैं इस निष्कर्ष पर पहुंचा कि यह एक काफी प्रभावी उपकरण है। अर्थशास्त्र के नियम के आधार पर: "उत्पादन की मात्रा (इकाइयों में) जिस पर एक फर्म का अधिकतम लाभ प्राप्त होता है वह उस बिंदु पर स्थित होता है जहां उत्पादन की एक नई इकाई के उत्पादन की सीमांत लागत की तुलना उस कीमत से की जाती है जो इस फर्म को प्राप्त हो सकती है एक नई इकाई के लिए।” इस धारणा के आधार पर कि प्रत्येक बाद की त्रुटि का पता लगाने के लिए रिकॉर्ड की अधिक से अधिक जाँच की आवश्यकता होती है, यह एक लागत कारक है। अर्थात्, परीक्षण मॉडलों में अपनाई गई अभिधारणा निम्नलिखित पैटर्न में एक भौतिक अर्थ लेती है: यदि i-वें त्रुटि को खोजने के लिए n रिकॉर्ड की जाँच करना आवश्यक था, तो अगली (i+3) त्रुटि को खोजने के लिए यह आवश्यक होगा एम रिकॉर्ड की जांच करने के लिए और एक ही समय में एन

1. जब कोई नई त्रुटि पाए जाने से पहले जाँचे गए रिकॉर्ड की संख्या स्थिर हो जाती है;
2. जब अगली त्रुटि खोजने से पहले जाँचे गए रिकॉर्ड की संख्या बढ़ जाएगी।

महत्वपूर्ण मूल्य निर्धारित करने के लिए, मैंने आर्थिक व्यवहार्यता की अवधारणा की ओर रुख किया, जिसे इस मामले में, सामाजिक लागतों की अवधारणा का उपयोग करते हुए, निम्नानुसार तैयार किया जा सकता है: "त्रुटि को ठीक करने की लागत उस आर्थिक एजेंट द्वारा वहन की जानी चाहिए जो ऐसा कर सकता है यह सबसे कम कीमत पर है।” हमारे पास एक एजेंट है - एक परीक्षक जो एक रिकॉर्ड की जांच करने में 1 मिनट खर्च करता है। मौद्रिक संदर्भ में, यदि आप प्रतिदिन 6000 रूबल कमाते हैं, तो यह 12,2 रूबल होगा। (लगभग आज)। यह आर्थिक कानून में संतुलन के दूसरे पक्ष को निर्धारित करने के लिए बना हुआ है। मैंने इस तरह तर्क किया. किसी मौजूदा त्रुटि के लिए संबंधित व्यक्ति, यानी संपत्ति के मालिक को इसे ठीक करने के लिए प्रयास करने की आवश्यकता होगी। मान लीजिए कि इसके लिए 1 दिन की कार्रवाई की आवश्यकता है (एक आवेदन जमा करें, एक सही दस्तावेज़ प्राप्त करें)। फिर, सामाजिक दृष्टिकोण से, उसकी लागत प्रति दिन औसत वेतन के बराबर होगी। खांटी-मानसी स्वायत्त ऑक्रग में औसत अर्जित वेतन "जनवरी-सितंबर 2019 के लिए खांटी-मानसीस्क ऑटोनॉमस ऑक्रग - उग्रा के सामाजिक-आर्थिक विकास के परिणाम" 73285 रगड़। या 3053,542 रूबल/दिन। तदनुसार, हमें इसके बराबर एक महत्वपूर्ण मान प्राप्त होता है:
3053,542: 12,2 = 250,4 यूनिट रिकॉर्ड।

इसका मतलब है, सामाजिक दृष्टिकोण से, यदि एक परीक्षक ने 251 रिकॉर्ड की जाँच की और एक त्रुटि पाई, तो यह उपयोगकर्ता द्वारा स्वयं इस त्रुटि को ठीक करने के बराबर है। तदनुसार, यदि परीक्षक ने अगली त्रुटि खोजने के लिए 252 रिकॉर्ड की जाँच के बराबर समय बिताया, तो इस मामले में सुधार की लागत को उपयोगकर्ता पर स्थानांतरित करना बेहतर है।

यहां एक सरलीकृत दृष्टिकोण प्रस्तुत किया गया है, क्योंकि सामाजिक दृष्टिकोण से प्रत्येक विशेषज्ञ द्वारा उत्पन्न सभी अतिरिक्त मूल्य, यानी करों और सामाजिक भुगतान सहित लागतों को ध्यान में रखना आवश्यक है, लेकिन मॉडल स्पष्ट है। इस संबंध का परिणाम विशेषज्ञों के लिए निम्नलिखित आवश्यकता है: आईटी उद्योग के एक विशेषज्ञ का वेतन राष्ट्रीय औसत से अधिक होना चाहिए। यदि उसका वेतन संभावित डेटाबेस उपयोगकर्ताओं के औसत वेतन से कम है, तो उसे स्वयं पूरे डेटाबेस की जांच करनी होगी।

वर्णित मानदंड का उपयोग करते समय, डेटाबेस की गुणवत्ता के लिए पहली आवश्यकता बनती है:
मैं(tr). गंभीर त्रुटियों का हिस्सा 1/250,4 = 0,39938% से अधिक नहीं होना चाहिए। से थोड़ा कम परिष्कृत उद्योग में सोना. और भौतिक दृष्टि से त्रुटियों वाले 1459 से अधिक रिकॉर्ड नहीं हैं।

आर्थिक वापसी.

वास्तव में, अभिलेखों में इतनी अधिक त्रुटियाँ करने से समाज को कितनी मात्रा में आर्थिक हानि उठानी पड़ती है:

1459*3053,542 = 4 रूबल।

यह राशि इस तथ्य से निर्धारित होती है कि समाज के पास इन लागतों को कम करने के लिए उपकरण नहीं हैं। इसका तात्पर्य यह है कि यदि किसी के पास ऐसी तकनीक है जो उन्हें त्रुटियों वाले रिकॉर्ड की संख्या को कम करने की अनुमति देती है, उदाहरण के लिए, 259, तो इससे समाज को बचत करने की अनुमति मिलेगी:
1200*3053,542 = 3 रूबल।

लेकिन साथ ही, वह अपनी प्रतिभा और काम के लिए भी पूछ सकता है, ठीक है, मान लीजिए - 1 मिलियन रूबल।
अर्थात्, सामाजिक लागतें कम हो जाती हैं:

3 – 664 = 250 रूबल।

संक्षेप में, यह प्रभाव बिगडैट प्रौद्योगिकियों के उपयोग से जोड़ा गया मूल्य है।

लेकिन यहां यह ध्यान में रखा जाना चाहिए कि यह एक सामाजिक प्रभाव है, और डेटाबेस का मालिक नगर निगम के अधिकारी हैं, इस डेटाबेस में दर्ज संपत्ति के उपयोग से उनकी आय, 0,3% की दर से है: 2,778 बिलियन रूबल/ वर्ष। और ये लागत (4 रूबल) उसे ज्यादा परेशान नहीं करती, क्योंकि वे संपत्ति मालिकों को हस्तांतरित कर दी जाती हैं। और, इस पहलू में, बिगडेटा में अधिक परिष्कृत प्रौद्योगिकियों के डेवलपर को इस डेटाबेस के मालिक को समझाने की क्षमता दिखानी होगी, और ऐसी चीजों के लिए काफी प्रतिभा की आवश्यकता होती है।

इस उदाहरण में, विश्वसनीयता परीक्षण के दौरान सॉफ़्टवेयर सत्यापन के शुमान मॉडल [2] के आधार पर त्रुटि मूल्यांकन एल्गोरिदम को चुना गया था। इंटरनेट पर इसकी व्यापकता और आवश्यक सांख्यिकीय संकेतक प्राप्त करने की क्षमता के कारण। कार्यप्रणाली मोनाखोव यू.एम. से ली गई है। "सूचना प्रणालियों की कार्यात्मक स्थिरता", चित्र में स्पॉइलर के नीचे देखें। 7-9.

चावल। 7 - 9 शुमान मॉडल की पद्धति





इस सामग्री का दूसरा भाग डेटा सफाई का एक उदाहरण प्रस्तुत करता है, जिसमें शुमान मॉडल का उपयोग करने के परिणाम प्राप्त होते हैं।
आइए मैं प्राप्त परिणाम प्रस्तुत करता हूँ:
त्रुटियों की अनुमानित संख्या N = 3167 n.
पैरामीटर सी, लैम्ब्डा और विश्वसनीयता फ़ंक्शन:

Ris.17

मूलतः, लैम्ब्डा उस तीव्रता का एक वास्तविक संकेतक है जिसके साथ प्रत्येक चरण में त्रुटियों का पता लगाया जाता है। यदि आप दूसरे भाग को देखें, तो इस सूचक का अनुमान प्रति घंटे 42,4 त्रुटियाँ था, जो शुमान सूचक से काफी तुलनीय है। ऊपर, यह निर्धारित किया गया था कि प्रति मिनट 1 रिकॉर्ड की जाँच करते समय, जिस दर पर डेवलपर को त्रुटियाँ मिलती हैं, वह प्रति 250,4 रिकॉर्ड में 1 त्रुटि से कम नहीं होनी चाहिए। इसलिए शुमान मॉडल के लिए लैम्ब्डा का महत्वपूर्ण मूल्य:

60 / 250,4 = 0,239617।

अर्थात्, त्रुटि का पता लगाने की प्रक्रियाओं को तब तक पूरा करने की आवश्यकता है जब तक कि लैम्ब्डा, मौजूदा 38,964 से घटकर 0,239617 न हो जाए।

या जब तक संकेतक एन (त्रुटियों की संभावित संख्या) माइनस एन (त्रुटियों की सही संख्या) हमारी स्वीकृत सीमा - 1459 पीसी से कम न हो जाए।

साहित्य

1. मोनाखोव, यू.एम. सूचना प्रणालियों की कार्यात्मक स्थिरता। 3 घंटे में। भाग 1. सॉफ़्टवेयर विश्वसनीयता: पाठ्यपुस्तक। भत्ता / यू. एम. मोनाखोव; व्लादिमीर। राज्य विश्वविद्यालय. - व्लादिमीर: इज़्वो व्लादिमीर। राज्य विश्वविद्यालय, 2011. - 60 पी। - आईएसबीएन 978-5-9984-0189-3।
2. मार्टिन एल. शूमन, "सॉफ्टवेयर विश्वसनीयता भविष्यवाणी के लिए संभाव्य मॉडल।"
3. आईटी पेशेवरों के लिए डेटा वेयरहाउसिंग के बुनियादी सिद्धांत / पॉलराज पोन्नैया।—दूसरा संस्करण।

भाग दो। सैद्धांतिक

स्रोत: www.habr.com