रॉक, पेपर, सिझर्सचा गेम सारखा डेटा साफ करा. हा खेळ संपणारा किंवा न संपणारा आहे का? भाग 1. सैद्धांतिक

1. प्रारंभिक डेटा

डेटा क्लीनिंग हे डेटा विश्लेषण कार्यांसमोरील आव्हानांपैकी एक आहे. ही सामग्री कॅडस्ट्रल मूल्याच्या निर्मितीमध्ये डेटाबेसचे विश्लेषण करण्याच्या व्यावहारिक समस्येचे निराकरण करण्याच्या परिणामी उद्भवलेल्या घडामोडी आणि निराकरणे प्रतिबिंबित करते. येथे स्रोत “खंटी-मानसिस्क स्वायत्त ऑक्रग - उग्राच्या प्रदेशातील सर्व प्रकारच्या रिअल इस्टेटच्या (जमीन प्लॉट्स वगळता) राज्य कॅडस्ट्रल मूल्यांकनाच्या निकालांवरील अहवाल क्रमांक 01/OKS-2019”.

"परिशिष्ट B. KS 5 ठरवण्याचे परिणाम" मधील "तुलनात्मक मॉडेल total.ods" फाइल. कॅडस्ट्रल मूल्य 5.1 तुलनात्मक दृष्टिकोन निश्चित करण्याच्या पद्धतीची माहिती विचारात घेण्यात आली.

तक्ता 1. "तुलनात्मक मॉडेल total.ods" फाइलमधील डेटासेटचे सांख्यिकीय निर्देशक
फील्डची एकूण संख्या, pcs. - ४४
रेकॉर्डची एकूण संख्या, pcs. — ३६५ ४९०
अक्षरांची एकूण संख्या, pcs. — १०१ ७१४ ६९३
रेकॉर्डमधील वर्णांची सरासरी संख्या, pcs. — २७८,२९७
रेकॉर्डमधील वर्णांचे मानक विचलन, pcs. — १५,५१०
नोंदीतील अक्षरांची किमान संख्या, pcs. - १९८
एंट्रीमधील वर्णांची कमाल संख्या, pcs. — ३६३

2. प्रास्ताविक भाग. मूलभूत मानके

निर्दिष्ट डेटाबेसचे विश्लेषण करताना, शुद्धीकरणाच्या डिग्रीसाठी आवश्यकता निर्दिष्ट करण्यासाठी एक कार्य तयार केले गेले, कारण, प्रत्येकासाठी स्पष्ट आहे, निर्दिष्ट डेटाबेस वापरकर्त्यांसाठी कायदेशीर आणि आर्थिक परिणाम निर्माण करतो. कामाच्या दरम्यान, हे दिसून आले की मोठ्या डेटाच्या साफसफाईच्या डिग्रीसाठी कोणत्याही विशिष्ट आवश्यकता नाहीत. या प्रकरणातील कायदेशीर निकषांचे विश्लेषण करून, मी या निष्कर्षापर्यंत पोहोचलो की ते सर्व शक्यतांपासून बनलेले आहेत. म्हणजेच, एक विशिष्ट कार्य दिसले आहे, कार्यासाठी माहितीचे स्त्रोत संकलित केले आहेत, त्यानंतर डेटासेट तयार केला जातो आणि तयार केलेल्या डेटासेटवर आधारित, समस्या सोडवण्यासाठी साधने. परिणामी उपाय पर्यायांमधून निवडण्याचे संदर्भ बिंदू आहेत. मी हे आकृती 1 मध्ये सादर केले आहे.



कोणतीही मानके ठरविण्याच्या बाबतीत, सिद्ध तंत्रज्ञानावर अवलंबून राहणे अधिक श्रेयस्कर असल्याने, मी त्यात नमूद केलेल्या आवश्यकता निवडल्या. "MHRA GxP डेटा इंटिग्रिटी व्याख्या आणि उद्योगासाठी मार्गदर्शन", कारण मी हा दस्तऐवज या समस्येसाठी सर्वात व्यापक मानला आहे. विशेषतः, या दस्तऐवजात विभाग म्हणतो "हे लक्षात घ्यावे की डेटा अखंडता आवश्यकता मॅन्युअल (कागद) आणि इलेक्ट्रॉनिक डेटासाठी समानपणे लागू होते." (अनुवाद: "...डेटा अखंडता आवश्यकता मॅन्युअल (कागद) आणि इलेक्ट्रॉनिक डेटासाठी समान रीतीने लागू होते"). हे फॉर्म्युलेशन सिव्हिल प्रोसिजर, आर्टच्या कलम 71 च्या तरतुदींमध्ये "लिखित पुरावे" या संकल्पनेशी विशेषतः संबंधित आहे. 70 CAS, कला. 75 APC, “लिखित” कला. 84 नागरी प्रक्रिया संहिता.

आकृती 2 न्यायशास्त्रातील माहितीच्या प्रकारांच्या दृष्टिकोनाच्या निर्मितीचे आकृती प्रस्तुत करते.

तांदूळ. 2. स्रोत येथे.

आकृती 3 वरील "मार्गदर्शन" च्या कार्यांसाठी आकृती 1 ची यंत्रणा दर्शविते. तुलना करून हे पाहणे सोपे आहे की माहितीच्या कायदेशीर संकल्पनेच्या तुलनेत माहितीच्या अखंडतेच्या आधुनिक मानकांमध्ये माहितीच्या अखंडतेच्या आवश्यकतांची पूर्तता करताना वापरलेले दृष्टिकोन लक्षणीयरीत्या मर्यादित आहेत.

आकृती 3

निर्दिष्ट दस्तऐवज (मार्गदर्शन) मध्ये, तांत्रिक भागाशी कनेक्शन, डेटा प्रक्रिया आणि संचयित करण्याच्या क्षमता, धडा 18.2 मधील कोटद्वारे चांगल्या प्रकारे पुष्टी केली जाते. रिलेशनल डेटाबेस: "ही फाईल स्ट्रक्चर मूळतः अधिक सुरक्षित आहे, कारण डेटा मोठ्या फाईल फॉरमॅटमध्ये ठेवला जातो जो डेटा आणि मेटाडेटामधील संबंध जतन करतो."

खरं तर, या दृष्टिकोनात - विद्यमान तांत्रिक क्षमतांमधून, असामान्य काहीही नाही आणि स्वतःच, ही एक नैसर्गिक प्रक्रिया आहे, कारण संकल्पनांचा विस्तार सर्वात अभ्यासलेल्या क्रियाकलाप - डेटाबेस डिझाइनमधून होतो. परंतु, दुसरीकडे, कायदेशीर निकष दिसतात जे विद्यमान सिस्टमच्या तांत्रिक क्षमतेवर सूट देत नाहीत, उदाहरणार्थ: GDPR - सामान्य डेटा संरक्षण नियमन.

तांदूळ. 4. तांत्रिक क्षमतांचे फनेल (स्त्रोत).

या पैलूंमध्ये, हे स्पष्ट होते की मूळ डेटासेट (चित्र 1) सर्व प्रथम, जतन करणे आवश्यक आहे आणि दुसरे म्हणजे, त्यातून अतिरिक्त माहिती काढण्यासाठी आधार असणे आवश्यक आहे. बरं, उदाहरण म्हणून: रहदारीचे नियम रेकॉर्ड करणारे कॅमेरे सर्वव्यापी आहेत, माहिती प्रक्रिया प्रणाली उल्लंघन करणार्‍यांना बाहेर काढतात, परंतु इतर माहिती इतर ग्राहकांना देखील दिली जाऊ शकते, उदाहरणार्थ, शॉपिंग सेंटरमध्ये ग्राहकांच्या प्रवाहाच्या संरचनेचे विपणन निरीक्षण म्हणून. आणि बिगडॅट वापरताना हे अतिरिक्त जोडलेले मूल्य आहे. हे शक्य आहे की आता संकलित केलेल्या डेटासेटचे, भविष्यात कुठेतरी, सध्याच्या 1700 च्या दुर्मिळ आवृत्त्यांच्या मूल्याप्रमाणेच एका यंत्रणेनुसार मूल्य असेल. तथापि, खरं तर, तात्पुरते डेटासेट अद्वितीय आहेत आणि भविष्यात पुनरावृत्ती होण्याची शक्यता नाही.

3. प्रास्ताविक भाग. मूल्यमापन निकष

प्रक्रिया प्रक्रियेदरम्यान, त्रुटींचे खालील वर्गीकरण विकसित केले गेले.

1. त्रुटी वर्ग (GOST R 8.736-2011 वर आधारित): a) पद्धतशीर त्रुटी; ब) यादृच्छिक चुका; c) एक चूक.

2. गुणाकारानुसार: अ) मोनो विरूपण; ब) बहु-विकृती.

3. परिणामांच्या गंभीरतेनुसार: अ) गंभीर; ब) गंभीर नाही.

4. घटनेच्या स्त्रोतानुसार:

अ) तांत्रिक - उपकरणाच्या ऑपरेशन दरम्यान उद्भवणार्‍या त्रुटी. आयओटी सिस्टम, संप्रेषण, उपकरणे (हार्डवेअर) च्या गुणवत्तेवर महत्त्वपूर्ण प्रभाव असलेल्या सिस्टमसाठी बर्‍यापैकी संबंधित त्रुटी.

ब) ऑपरेटर त्रुटी - इनपुट दरम्यान ऑपरेटर टायपोपासून ते डेटाबेस डिझाइनसाठी तांत्रिक वैशिष्ट्यांमधील त्रुटींपर्यंत विस्तृत श्रेणीतील त्रुटी.

C) वापरकर्ता त्रुटी - येथे "लेआउट स्विच करण्यास विसरला" पासून पायांसाठी मीटर चुकीच्या पद्धतीने वापरकर्त्याच्या त्रुटी आहेत.

5. वेगळ्या वर्गात विभक्त:

अ) "विभाजकाचे कार्य", म्हणजेच जागा आणि ":" (आमच्या बाबतीत) जेव्हा ते डुप्लिकेट केले गेले होते;
ब) एकत्र लिहिलेले शब्द;
c) सेवा वर्णांनंतर जागा नाही
d) सममितीयपणे अनेक चिन्हे: (), "", "...".

एकत्रितपणे, आकृती 5 मध्ये सादर केलेल्या डेटाबेस त्रुटींच्या पद्धतशीरीकरणासह, त्रुटी शोधण्यासाठी आणि या उदाहरणासाठी डेटा क्लीनिंग अल्गोरिदम विकसित करण्यासाठी एक प्रभावी समन्वय प्रणाली तयार केली जाते.

तांदूळ. 5. डेटाबेसच्या स्ट्रक्चरल युनिट्सशी संबंधित ठराविक त्रुटी (स्रोत: ओरेशकोव्ह V.I., पाकलिन एन.बी. "डेटा एकत्रीकरणाच्या प्रमुख संकल्पना").

अचूकता, डोमेन अखंडता, डेटा प्रकार, सातत्य, रिडंडंसी, पूर्णता, डुप्लिकेशन, व्यवसाय नियमांचे पालन, संरचनात्मक निश्चितता, डेटा विसंगती, स्पष्टता, वेळेवर, डेटा अखंडता नियमांचे पालन. (पृष्ठ 334. आयटी व्यावसायिकांसाठी डेटा वेअरहाउसिंग मूलभूत तत्त्वे / पॉलराज पोनिया.—2री आवृत्ती.)

कंसात इंग्रजी शब्दरचना आणि रशियन मशीन भाषांतर सादर केले.

अचूकता. डेटा घटकासाठी सिस्टममध्ये संग्रहित मूल्य हे डेटा घटकाच्या घटनेसाठी योग्य मूल्य आहे. जर तुमच्याकडे ग्राहकाचे नाव आणि एखादा पत्ता रेकॉर्डमध्ये संग्रहित असेल, तर पत्ता हा त्या नावाच्या ग्राहकासाठी योग्य पत्ता आहे. ऑर्डर क्रमांक 1000 च्या रेकॉर्डमध्ये तुम्हाला 12345678 युनिट्स म्हणून ऑर्डर केलेले प्रमाण आढळल्यास, ते प्रमाण त्या ऑर्डरसाठी अचूक प्रमाण आहे.
[अचूकता. डेटा घटकासाठी सिस्टममध्ये संग्रहित मूल्य हे डेटा घटकाच्या घटनेसाठी योग्य मूल्य आहे. जर तुमच्याकडे ग्राहकाचे नाव आणि पत्ता रेकॉर्डमध्ये संग्रहित असेल, तर पत्ता हा त्या नावाच्या ग्राहकासाठी योग्य पत्ता आहे. ऑर्डर क्रमांक 1000 च्या रेकॉर्डमध्ये तुम्हाला 12345678 युनिट्स म्हणून ऑर्डर केलेले प्रमाण आढळल्यास, ते प्रमाण त्या ऑर्डरसाठी अचूक प्रमाण आहे.]

डोमेन अखंडता. विशेषताचे डेटा मूल्य स्वीकार्य, परिभाषित मूल्यांच्या श्रेणीमध्ये येते. सामान्य उदाहरण म्हणजे लिंग डेटा घटकासाठी “पुरुष” आणि “स्त्री” ही स्वीकार्य मूल्ये.
[डोमेन अखंडता. विशेषता डेटा मूल्य वैध, परिभाषित मूल्यांच्या श्रेणीमध्ये येते. एक सामान्य उदाहरण म्हणजे लिंग डेटा घटकासाठी "पुरुष" आणि "स्त्री" ही वैध मूल्ये.]

डेटा प्रकार. डेटा विशेषताचे मूल्य प्रत्यक्षात त्या विशेषतासाठी परिभाषित केलेला डेटा प्रकार म्हणून संग्रहित केले जाते. जेव्हा स्टोअर नाव फील्डचा डेटा प्रकार "मजकूर" म्हणून परिभाषित केला जातो तेव्हा त्या फील्डच्या सर्व उदाहरणांमध्ये स्टोअरचे नाव मजकूर स्वरूपात दाखवले जाते आणि अंकीय कोड नसतात.
[डेटा प्रकार. डेटा विशेषताचे मूल्य प्रत्यक्षात त्या विशेषतासाठी परिभाषित डेटा प्रकार म्हणून संग्रहित केले जाते. जर स्टोअर नाव फील्ड डेटा प्रकार "मजकूर" म्हणून परिभाषित केला असेल, तर या फील्डच्या सर्व उदाहरणांमध्ये अंकीय कोडऐवजी मजकूर स्वरूपात प्रदर्शित केलेले स्टोअरचे नाव असते.]

सुसंगतता. डेटा फील्डचा फॉर्म आणि सामग्री एकाधिक स्त्रोत प्रणालींमध्ये समान आहे. एका सिस्टीममध्ये उत्पादन ABC साठी उत्पादन कोड 1234 असल्यास, प्रत्येक स्त्रोत प्रणालीमध्ये या उत्पादनाचा कोड 1234 असेल.
[सुसंगतता. डेटा फील्डचे स्वरूप आणि सामग्री भिन्न स्त्रोत प्रणालींमध्ये समान आहे. एका सिस्टीमवर उत्पादन ABC साठी उत्पादन कोड 1234 असल्यास, प्रत्येक स्त्रोत प्रणालीवर त्या उत्पादनाचा कोड 1234 असेल.]

अतिरेक. सिस्टममध्ये समान डेटा एकापेक्षा जास्त ठिकाणी संग्रहित केला जाऊ नये. जर, कार्यक्षमतेच्या कारणास्तव, सिस्टममध्ये डेटा घटक जाणूनबुजून एकापेक्षा जास्त ठिकाणी संग्रहित केला गेला असेल, तर रिडंडंसी स्पष्टपणे ओळखणे आणि सत्यापित करणे आवश्यक आहे.
[अनावश्यकता. समान डेटा सिस्टममध्ये एकापेक्षा जास्त ठिकाणी संग्रहित केला जाऊ नये. जर, कार्यक्षमतेच्या कारणास्तव, डेटा घटक एखाद्या सिस्टममध्ये अनेक ठिकाणी हेतुपुरस्सर संग्रहित केला असेल, तर रिडंडंसी स्पष्टपणे परिभाषित आणि सत्यापित करणे आवश्यक आहे.]

पूर्णता. सिस्टममध्ये दिलेल्या विशेषतासाठी कोणतीही गहाळ मूल्ये नाहीत. उदाहरणार्थ, ग्राहक फाइलमध्ये, प्रत्येक ग्राहकासाठी "राज्य" फील्डसाठी वैध मूल्य असणे आवश्यक आहे. ऑर्डर तपशीलासाठी फाइलमध्ये, ऑर्डरसाठी प्रत्येक तपशील रेकॉर्ड पूर्णपणे भरलेला असणे आवश्यक आहे.
[पूर्णता. या गुणधर्मासाठी सिस्टममध्ये कोणतीही गहाळ मूल्ये नाहीत. उदाहरणार्थ, क्लायंट फाइलमध्ये प्रत्येक क्लायंटसाठी "स्थिती" फील्डसाठी वैध मूल्य असणे आवश्यक आहे. ऑर्डर तपशील फाइलमध्ये, प्रत्येक ऑर्डर तपशील रेकॉर्ड पूर्णपणे पूर्ण करणे आवश्यक आहे.]

डुप्लिकेशन. सिस्टममधील रेकॉर्डची डुप्लिकेशन पूर्णपणे निराकरण केली जाते. उत्पादन फाइलमध्ये डुप्लिकेट रेकॉर्ड असल्याचे ज्ञात असल्यास, प्रत्येक उत्पादनासाठी सर्व डुप्लिकेट रेकॉर्ड ओळखले जातात आणि क्रॉस-रेफरन्स तयार केला जातो.
[नक्कल. प्रणालीतील नोंदींचे डुप्लिकेशन पूर्णपणे काढून टाकण्यात आले आहे. उत्पादन फाइलमध्ये डुप्लिकेट एंट्री असल्याचे ज्ञात असल्यास, प्रत्येक उत्पादनासाठी सर्व डुप्लिकेट नोंदी ओळखल्या जातात आणि क्रॉस-रेफरन्स तयार केला जातो.]

व्यवसाय नियमांचे पालन. प्रत्येक डेटा आयटमची मूल्ये विहित व्यवसाय नियमांचे पालन करतात. लिलाव प्रणालीमध्ये, हातोडा किंवा विक्री किंमत राखीव किंमतीपेक्षा कमी असू शकत नाही. बँक कर्ज प्रणालीमध्ये, कर्जाची शिल्लक नेहमी सकारात्मक किंवा शून्य असणे आवश्यक आहे.
[व्यवसाय नियमांचे पालन. प्रत्येक डेटा घटकाची मूल्ये स्थापित व्यवसाय नियमांचे पालन करतात. लिलाव प्रणालीमध्ये, हातोडा किंवा विक्री किंमत राखीव किंमतीपेक्षा कमी असू शकत नाही. बँकिंग क्रेडिट सिस्टममध्ये, कर्जाची शिल्लक नेहमी सकारात्मक किंवा शून्य असणे आवश्यक आहे.]

स्ट्रक्चरल निश्चितता. जिथे जिथे डेटा आयटम नैसर्गिकरित्या वैयक्तिक घटकांमध्ये संरचित केला जाऊ शकतो, आयटममध्ये ही सु-परिभाषित रचना असणे आवश्यक आहे. उदाहरणार्थ, एखाद्या व्यक्तीचे नाव नैसर्गिकरित्या प्रथम नाव, मधले आद्याक्षर आणि आडनावामध्ये विभागले जाते. व्यक्तींच्या नावांची मूल्ये प्रथम नाव, मधले आद्याक्षर आणि आडनाव म्हणून संग्रहित करणे आवश्यक आहे. डेटा गुणवत्तेचे हे वैशिष्ट्य मानकांची अंमलबजावणी सुलभ करते आणि गहाळ मूल्ये कमी करते.
[स्ट्रक्चरल निश्चितता. जिथे डेटा घटक नैसर्गिकरित्या वैयक्तिक घटकांमध्ये संरचित केला जाऊ शकतो, त्या घटकामध्ये ही सु-परिभाषित रचना असणे आवश्यक आहे. उदाहरणार्थ, एखाद्या व्यक्तीचे नाव नैसर्गिकरित्या प्रथम नाव, मधले आद्याक्षर आणि आडनाव असे विभागलेले असते. वैयक्तिक नावांसाठी मूल्ये नाव, मधले आद्याक्षर आणि आडनाव म्हणून संग्रहित केले जावे. हे डेटा गुणवत्तेचे वैशिष्ट्य मानकांचा वापर सुलभ करते आणि गहाळ मूल्ये कमी करते.]

डेटा विसंगती. फील्डचा वापर केवळ त्याच उद्देशासाठी केला जाणे आवश्यक आहे ज्यासाठी ते परिभाषित केले आहे. जर पत्ता-3 फील्ड लांब पत्त्यांसाठी पत्त्याच्या कोणत्याही संभाव्य तिसऱ्या ओळीसाठी परिभाषित केले असेल, तर हे फील्ड फक्त पत्त्याच्या तिसऱ्या ओळीच्या रेकॉर्डिंगसाठी वापरणे आवश्यक आहे. तो ग्राहकासाठी फोन किंवा फॅक्स क्रमांक प्रविष्ट करण्यासाठी वापरला जाऊ नये.
[डेटा विसंगती. फील्ड फक्त त्या उद्देशासाठी वापरणे आवश्यक आहे ज्यासाठी ते परिभाषित केले आहे. जर पत्ता-3 फील्ड लांब पत्त्यांसाठी कोणत्याही संभाव्य तिसऱ्या अॅड्रेस लाइनसाठी परिभाषित केले असेल, तर हे फील्ड फक्त तिसऱ्या अॅड्रेस लाइन रेकॉर्ड करण्यासाठी वापरले जाईल. ग्राहकासाठी टेलिफोन किंवा फॅक्स क्रमांक टाकण्यासाठी त्याचा वापर केला जाऊ नये.]

स्पष्टता. डेटा घटकामध्ये दर्जेदार डेटाची इतर सर्व वैशिष्ट्ये असू शकतात परंतु जर वापरकर्त्यांना त्याचा अर्थ स्पष्टपणे समजला नसेल, तर डेटा घटक वापरकर्त्यांसाठी मूल्यवान नाही. योग्य नामकरण पद्धती वापरकर्त्यांना डेटा घटक चांगल्या प्रकारे समजण्यास मदत करतात.
[स्पष्टता. डेटा घटकामध्ये चांगल्या डेटाची इतर सर्व वैशिष्ट्ये असू शकतात, परंतु जर वापरकर्त्यांना त्याचा अर्थ स्पष्टपणे समजला नसेल, तर डेटा घटक वापरकर्त्यांसाठी मूल्यवान नाही. अचूक नामकरण पद्धती वापरकर्त्यांना डेटा घटक चांगल्या प्रकारे समजण्यास मदत करतात.]

वेळेवर. वापरकर्ते डेटाची कालबद्धता ठरवतात. जर वापरकर्त्यांनी ग्राहक परिमाण डेटा एका दिवसापेक्षा जुना नसावा अशी अपेक्षा केली असेल तर, स्त्रोत सिस्टममधील ग्राहक डेटामधील बदल डेटा वेअरहाऊसवर दररोज लागू केले जाणे आवश्यक आहे.
[ वेळेवर. वापरकर्ते डेटाची कालबद्धता निर्धारित करतात. जर वापरकर्त्यांना ग्राहक परिमाण डेटा एका दिवसापेक्षा जास्त जुना नसावा अशी अपेक्षा असेल तर, स्त्रोत सिस्टममधील ग्राहक डेटामधील बदल डेटा वेअरहाऊसवर दररोज लागू केले जावेत.]

उपयुक्तता. डेटा वेअरहाऊसमधील प्रत्येक डेटा घटकाने वापरकर्त्यांच्या संकलनाच्या काही आवश्यकता पूर्ण केल्या पाहिजेत. डेटा घटक अचूक आणि उच्च गुणवत्तेचा असू शकतो, परंतु जर ते वापरकर्त्यांसाठी मूल्यवान नसेल, तर तो डेटा घटक डेटा वेअरहाऊसमध्ये असणे पूर्णपणे अनावश्यक आहे.
[उपयुक्तता. डेटा स्टोअरमधील प्रत्येक डेटा आयटमने वापरकर्ता संकलनाच्या काही आवश्यकता पूर्ण केल्या पाहिजेत. डेटा घटक अचूक आणि उच्च गुणवत्तेचा असू शकतो, परंतु जर ते वापरकर्त्यांना मूल्य देत नसेल, तर तो डेटा घटक डेटा वेअरहाऊसमध्ये असणे आवश्यक नाही.]

डेटा इंटिग्रिटी नियमांचे पालन. स्त्रोत सिस्टमच्या रिलेशनल डेटाबेसमध्ये संग्रहित डेटाने अस्तित्व अखंडता आणि संदर्भ अखंडता नियमांचे पालन केले पाहिजे. प्राथमिक की म्हणून शून्य करण्याची परवानगी देणार्‍या कोणत्याही सारणीमध्ये अस्तित्वाची अखंडता नसते. संदर्भात्मक अखंडता पालक-मुलांचे संबंध योग्यरित्या स्थापित करण्यास भाग पाडते. ग्राहक-ते-ऑर्डर संबंधात, संदर्भात्मक अखंडता डेटाबेसमधील प्रत्येक ऑर्डरसाठी ग्राहकाचे अस्तित्व सुनिश्चित करते.
[डेटा अखंडतेच्या नियमांचे पालन. स्त्रोत सिस्टमच्या रिलेशनल डेटाबेसमध्ये संग्रहित केलेला डेटा घटक अखंडता आणि संदर्भ अखंडतेच्या नियमांचे पालन करणे आवश्यक आहे. प्राथमिक की म्हणून शून्याला अनुमती देणार्‍या कोणत्याही सारणीमध्ये अस्तित्वाची अखंडता नसते. संदर्भात्मक अखंडता पालक आणि मुलांमधील संबंध योग्यरित्या स्थापित करण्यास भाग पाडते. ग्राहक-ऑर्डर संबंधात, संदर्भातील अखंडता हे सुनिश्चित करते की डेटाबेसमधील प्रत्येक ऑर्डरसाठी ग्राहक अस्तित्वात आहे.]

4. डेटा साफ करण्याची गुणवत्ता

डेटा क्लीनिंगची गुणवत्ता ही बिगडेटामध्ये एक समस्याप्रधान समस्या आहे. कार्य पूर्ण करण्यासाठी किती प्रमाणात डेटा साफ करणे आवश्यक आहे या प्रश्नाचे उत्तर देणे प्रत्येक डेटा विश्लेषकासाठी मूलभूत आहे. बर्‍याच वर्तमान समस्यांमध्ये, प्रत्येक विश्लेषक हे स्वतः ठरवतो आणि बाहेरून कोणीही त्याच्या निराकरणात या पैलूचे मूल्यांकन करण्यास सक्षम असण्याची शक्यता नाही. परंतु या प्रकरणात हाती असलेल्या कार्यासाठी, हा मुद्दा अत्यंत महत्वाचा होता, कारण कायदेशीर डेटाची विश्वासार्हता एकाकडे वळली पाहिजे.

ऑपरेशनल विश्वसनीयता निश्चित करण्यासाठी सॉफ्टवेअर चाचणी तंत्रज्ञानाचा विचार करणे. आज या मॉडेल्सपेक्षा जास्त आहेत 200. अनेक मॉडेल्स क्लेम सर्व्हिसिंग मॉडेल वापरतात:

अंजीर 6

खालीलप्रमाणे विचार करणे: "जर आढळलेली त्रुटी ही या मॉडेलमधील अपयशाच्या घटनेसारखीच घटना असेल तर टी पॅरामीटरचे अॅनालॉग कसे शोधायचे?" आणि मी खालील मॉडेल संकलित केले: चला कल्पना करूया की एक रेकॉर्ड तपासण्यासाठी परीक्षकाला 1 मिनिट लागतो (प्रश्नात असलेल्या डेटाबेससाठी), नंतर सर्व त्रुटी शोधण्यासाठी त्याला 365 मिनिटे लागतील, जे अंदाजे 494 वर्षे आणि 3 आहे. कामाचे महिने. जसे आपण समजतो, हे काम खूप मोठे आहे आणि डेटाबेस तपासण्यासाठी लागणारा खर्च या डेटाबेसच्या संकलकासाठी प्रतिबंधात्मक असेल. या प्रतिबिंबात, खर्चाची आर्थिक संकल्पना दिसून येते आणि विश्लेषणानंतर मी निष्कर्षापर्यंत पोहोचलो की हे एक प्रभावी साधन आहे. अर्थशास्त्राच्या कायद्यावर आधारित: “उत्पादनाचे प्रमाण (युनिटमध्ये) ज्यावर फर्मचा जास्तीत जास्त नफा मिळवला जातो त्या ठिकाणी असते जेथे उत्पादनाच्या नवीन युनिटच्या उत्पादनाच्या किरकोळ खर्चाची तुलना या फर्मला मिळू शकणार्‍या किमतीशी केली जाते. नवीन युनिटसाठी." पुढील प्रत्येक त्रुटी शोधण्यासाठी रेकॉर्डची अधिकाधिक तपासणी करणे आवश्यक आहे या धारणावर आधारित, हा खर्चाचा घटक आहे. म्हणजेच, चाचणी मॉडेल्समध्ये स्वीकारल्या गेलेल्या पोस्टुलेटचा खालील पॅटर्नमध्ये भौतिक अर्थ होतो: जर i-th त्रुटी शोधण्यासाठी n रेकॉर्ड तपासणे आवश्यक होते, तर पुढील (i+3) त्रुटी शोधण्यासाठी ते आवश्यक असेल. m रेकॉर्ड तपासण्यासाठी आणि त्याच वेळी n<m. हे पोस्ट्युलेट, चाचणी मॉडेल्समध्ये, प्रामुख्याने आढळलेल्या त्रुटी रेकॉर्ड केल्या पाहिजेत, परंतु दुरुस्त केल्या जात नाहीत, जेणेकरून सॉफ्टवेअरची चाचणी त्याच्या नैसर्गिक स्थितीत केली जाते, म्हणजेच अपयशाचा प्रवाह एकसमान असतो. त्यानुसार, आमच्या केससाठी, रेकॉर्ड तपासणे एकसंधतेसाठी दोन पर्याय प्रकट करू शकतात:

1. जेव्हा नवीन त्रुटी आढळण्यापूर्वी तपासलेल्या नोंदींची संख्या स्थिर होते;
2. जेव्हा पुढील त्रुटी शोधण्यापूर्वी तपासलेल्या नोंदींची संख्या वाढेल.

गंभीर मूल्य निश्चित करण्यासाठी, मी आर्थिक व्यवहार्यतेच्या संकल्पनेकडे वळलो, जे या प्रकरणात, सामाजिक खर्चाच्या संकल्पनेचा वापर करून, खालीलप्रमाणे तयार केले जाऊ शकते: “त्रुटी दुरुस्त करण्याचा खर्च आर्थिक एजंटने उचलला पाहिजे जो करू शकतो. ते सर्वात कमी किमतीत." आमच्याकडे एक एजंट आहे - एक परीक्षक जो एक रेकॉर्ड तपासण्यासाठी 1 मिनिट घालवतो. आर्थिक दृष्टीने, तुम्ही 6000 रूबल/दिवस कमावल्यास, हे 12,2 रूबल होईल. (अंदाजे आज). आर्थिक कायद्यातील समतोलाची दुसरी बाजू निश्चित करणे बाकी आहे. मी असा तर्क केला. विद्यमान त्रुटीसाठी संबंधित व्यक्तीने ती दुरुस्त करण्यासाठी प्रयत्न करणे आवश्यक आहे, म्हणजेच मालमत्ता मालकाने. समजा यासाठी 1 दिवसाची कृती आवश्यक आहे (अर्ज सबमिट करा, दुरुस्त केलेला दस्तऐवज प्राप्त करा). मग, सामाजिक दृष्टिकोनातून, त्याची किंमत दररोज सरासरी पगाराच्या समान असेल. खांटी-मानसी ऑटोनॉमस ऑक्रगमध्ये सरासरी जमा झालेला पगार "जानेवारी-सप्टेंबर 2019 साठी खांटी-मानसिस्क स्वायत्त ऑक्रग - उग्राच्या सामाजिक-आर्थिक विकासाचे परिणाम" 73285 घासणे. किंवा 3053,542 रूबल/दिवस. त्यानुसार, आम्हाला समान मूल्य प्राप्त होते:
3053,542: 12,2 = 250,4 रेकॉर्डची एकके.

याचा अर्थ, सामाजिक दृष्टिकोनातून, जर परीक्षकाने 251 रेकॉर्ड तपासले आणि त्यात एक त्रुटी आढळली, तर ही त्रुटी वापरकर्त्याने स्वत: दुरुस्त केल्याच्या समतुल्य आहे. त्यानुसार, जर परीक्षकाने पुढील त्रुटी शोधण्यासाठी 252 रेकॉर्ड तपासण्याइतका वेळ घालवला, तर या प्रकरणात दुरुस्तीची किंमत वापरकर्त्याकडे हलविणे चांगले आहे.

येथे एक सरलीकृत दृष्टीकोन सादर केला आहे, कारण सामाजिक दृष्टिकोनातून प्रत्येक तज्ञाद्वारे व्युत्पन्न केलेले सर्व अतिरिक्त मूल्य विचारात घेणे आवश्यक आहे, म्हणजेच कर आणि सामाजिक देयकांसह खर्च, परंतु मॉडेल स्पष्ट आहे. या संबंधाचा परिणाम म्हणजे तज्ञांसाठी खालील आवश्यकता आहे: IT उद्योगातील तज्ञाचा पगार राष्ट्रीय सरासरीपेक्षा जास्त असणे आवश्यक आहे. जर त्याचा पगार संभाव्य डेटाबेस वापरकर्त्यांच्या सरासरी पगारापेक्षा कमी असेल, तर त्याने स्वतः संपूर्ण डेटाबेस हाताने तपासला पाहिजे.

वर्णित निकष वापरताना, डेटाबेसच्या गुणवत्तेसाठी प्रथम आवश्यकता तयार केली जाते:
I(tr). गंभीर त्रुटींचा वाटा 1/250,4 = 0,39938% पेक्षा जास्त नसावा. पेक्षा थोडे कमी परिष्करण उद्योगात सोने. आणि भौतिक अटींमध्ये त्रुटींसह 1459 पेक्षा जास्त रेकॉर्ड नाहीत.

आर्थिक माघार.

किंबहुना, नोंदींमध्ये अशा अनेक चुका करून, समाज खालील प्रमाणात आर्थिक नुकसानास सहमती देतो:

1459*3053,542 = 4 रूबल.

हे खर्च कमी करण्यासाठी समाजाकडे साधने नाहीत या वस्तुस्थितीवरून ही रक्कम निश्चित केली जाते. हे खालीलप्रमाणे आहे की जर कोणाकडे तंत्रज्ञान असेल जे त्यांना त्रुटींसह रेकॉर्डची संख्या कमी करू देते, उदाहरणार्थ, 259, तर हे समाजाला बचत करण्यास अनुमती देईल:
1200*3053,542 = 3 रूबल.

परंतु त्याच वेळी, तो आपली प्रतिभा आणि कार्य विचारू शकतो, बरं, समजा - 1 दशलक्ष रूबल.
म्हणजेच, सामाजिक खर्च याद्वारे कमी केले जातात:

3 – 664 = 250 रूबल.

थोडक्यात, हा प्रभाव BigDat तंत्रज्ञानाच्या वापरामुळे जोडलेले मूल्य आहे.

परंतु येथे हे लक्षात घेतले पाहिजे की हा एक सामाजिक प्रभाव आहे आणि डेटाबेसचे मालक महापालिका अधिकारी आहेत, या डेटाबेसमध्ये नोंदवलेल्या मालमत्तेच्या वापरातून त्यांचे उत्पन्न 0,3% च्या दराने आहे: 2,778 अब्ज रूबल/ वर्ष आणि हे खर्च (4 रूबल) त्याला जास्त त्रास देत नाहीत, कारण ते मालमत्ता मालकांना हस्तांतरित केले जातात. आणि, या पैलूमध्ये, बिगडेटा मधील अधिक परिष्कृत तंत्रज्ञानाच्या विकसकाला या डेटाबेसच्या मालकाला पटवून देण्याची क्षमता दर्शवावी लागेल आणि अशा गोष्टींसाठी लक्षणीय प्रतिभा आवश्यक आहे.

या उदाहरणात, विश्वसनीयता चाचणी दरम्यान सॉफ्टवेअर पडताळणीच्या शुमन मॉडेल [२] च्या आधारे त्रुटी मूल्यांकन अल्गोरिदम निवडले गेले. इंटरनेटवरील त्याच्या प्रसारामुळे आणि आवश्यक सांख्यिकीय निर्देशक प्राप्त करण्याच्या क्षमतेमुळे. कार्यपद्धती मोनाखोव्ह यु.एम. "माहिती प्रणालीची कार्यात्मक स्थिरता", अंजीर मध्ये स्पॉयलर अंतर्गत पहा. 2-7.

तांदूळ. शुमन मॉडेलची 7 - 9 पद्धत





या सामग्रीचा दुसरा भाग डेटा क्लीनिंगचे उदाहरण सादर करतो, ज्यामध्ये शुमन मॉडेल वापरण्याचे परिणाम प्राप्त होतात.
मला मिळालेले परिणाम सादर करू द्या:
त्रुटींची अंदाजे संख्या N = 3167 n.
पॅरामीटर सी, लॅम्बडा आणि विश्वसनीयता कार्य:

आकृती 17

मूलत:, लॅम्ब्डा हे तीव्रतेचे वास्तविक सूचक आहे ज्यासह प्रत्येक टप्प्यावर त्रुटी आढळतात. आपण दुसरा भाग पाहिल्यास, या निर्देशकाचा अंदाज प्रति तास 42,4 त्रुटी होत्या, जो शुमन इंडिकेटरशी तुलना करता येतो. वर, हे निर्धारित करण्यात आले होते की 1 रेकॉर्ड प्रति मिनिट तपासताना विकासकांना ज्या दराने त्रुटी आढळतात तो दर 250,4 रेकॉर्डमध्ये 1 त्रुटीपेक्षा कमी नसावा. म्हणून शुमन मॉडेलसाठी लॅम्बडाचे महत्त्वपूर्ण मूल्य:

60 / 250,4 = 0,239617.

म्हणजेच, विद्यमान ३८.९६४ वरून लॅम्बडा ०.२३९६१७ पर्यंत कमी होईपर्यंत त्रुटी शोधण्याची प्रक्रिया पार पाडणे आवश्यक आहे.

किंवा सूचक N (त्रुटींची संभाव्य संख्या) वजा n (त्रुटींची दुरुस्त संख्या) आमच्या स्वीकृत थ्रेशोल्डच्या खाली कमी होईपर्यंत - 1459 pcs.

साहित्य

1. मोनाखोव, यू. एम. माहिती प्रणालीची कार्यात्मक स्थिरता. 3 तासात. भाग 1. सॉफ्टवेअर विश्वसनीयता: पाठ्यपुस्तक. भत्ता / यू. एम. मोनाखोव; व्लादिम. राज्य विद्यापीठ - व्लादिमीर: इझ्वो व्लादिम. राज्य विद्यापीठ, 2011. - 60 पी. – ISBN 978-5-9984-0189-3.
2. मार्टिन एल. शूमन, "सॉफ्टवेअर विश्वसनीयता अंदाजासाठी संभाव्य मॉडेल्स."
3. आयटी व्यावसायिकांसाठी डेटा वेअरहाउसिंग मूलभूत गोष्टी / पॉलराज पोनिया.—2रा संस्करण.

भाग दुसरा. सैद्धांतिक

स्त्रोत: www.habr.com