गोदाम में डेटा गुणवत्ता

बहुमूल्य जानकारी प्राप्त करने के लिए गोदाम में डेटा की गुणवत्ता एक महत्वपूर्ण शर्त है। खराब गुणवत्ता लंबे समय में नकारात्मक श्रृंखला प्रतिक्रिया की ओर ले जाती है।
सबसे पहले, प्रदान की गई जानकारी पर विश्वास खो जाता है। लोग बिजनेस इंटेलिजेंस एप्लिकेशन का कम उपयोग करना शुरू कर रहे हैं; एप्लिकेशन की क्षमता लावारिस बनी हुई है।
परिणामस्वरूप, विश्लेषणात्मक परियोजना में आगे के निवेश पर प्रश्नचिह्न लग जाता है।

डेटा गुणवत्ता के लिए जिम्मेदारी

बीआई परियोजनाओं में डेटा गुणवत्ता में सुधार से संबंधित पहलू बहुत महत्वपूर्ण है। हालाँकि, यह केवल तकनीकी विशेषज्ञों का विशेषाधिकार नहीं है।
डेटा गुणवत्ता भी ऐसे पहलुओं से प्रभावित होती है

कॉर्पोरेट संस्कृति

• क्या श्रमिक स्वयं अच्छी गुणवत्ता का उत्पादन करने में रुचि रखते हैं?
• यदि नहीं, तो क्यों नहीं? हितों का टकराव हो सकता है.
• शायद ऐसे कॉर्पोरेट नियम हैं जो यह निर्धारित करते हैं कि गुणवत्ता के लिए कौन ज़िम्मेदार है?

Процессы

• इन श्रृंखलाओं के अंत में कौन सा डेटा बनाया जाता है?
• शायद ऑपरेटिंग सिस्टम इस तरह से कॉन्फ़िगर किए गए हैं कि आपको वास्तविकता में इस या उस स्थिति को प्रतिबिंबित करने के लिए "ट्विस्ट" करने की आवश्यकता है।
• क्या ऑपरेटिंग सिस्टम डेटा सत्यापन और मिलान स्वयं करते हैं?

रिपोर्टिंग सिस्टम में डेटा की गुणवत्ता के लिए संगठन में हर कोई जिम्मेदार है।

परिभाषा एवं अर्थ

गुणवत्ता ग्राहकों की अपेक्षाओं की सिद्ध संतुष्टि है।

लेकिन डेटा गुणवत्ता में कोई परिभाषा नहीं होती है। यह हमेशा उपयोग के संदर्भ को दर्शाता है। डेटा वेयरहाउस और बीआई सिस्टम उस ऑपरेटिंग सिस्टम से भिन्न उद्देश्यों को पूरा करते हैं जिससे डेटा आता है।

उदाहरण के लिए, किसी ऑपरेटिंग सिस्टम पर, ग्राहक विशेषता एक वैकल्पिक फ़ील्ड हो सकती है। रिपॉजिटरी में, इस विशेषता को एक आयाम के रूप में उपयोग किया जा सकता है और इसे भरना आवश्यक है। जो, बदले में, डिफ़ॉल्ट मानों को भरने की आवश्यकता का परिचय देता है।

डेटा भंडारण आवश्यकताएं लगातार बदल रही हैं और वे आमतौर पर ऑपरेटिंग सिस्टम की तुलना में अधिक होती हैं। लेकिन यह दूसरा तरीका भी हो सकता है, जब ऑपरेटिंग सिस्टम से विस्तृत जानकारी को स्टोरेज में संग्रहीत करने की आवश्यकता नहीं होती है।

डेटा गुणवत्ता को मापने योग्य बनाने के लिए इसके मानकों का वर्णन किया जाना चाहिए। जो लोग अपने काम के लिए जानकारी और आंकड़ों का उपयोग करते हैं उन्हें विवरण प्रक्रिया में शामिल होना चाहिए। इस भागीदारी का परिणाम एक नियम हो सकता है, जिसका पालन करके कोई भी तालिका पर एक नज़र डालकर बता सकता है कि कोई त्रुटि है या नहीं। इस नियम को आगामी सत्यापन के लिए एक स्क्रिप्ट/कोड के रूप में स्वरूपित किया जाना चाहिए।

डेटा गुणवत्ता में सुधार

वेयरहाउस में डेटा लोड करने की प्रक्रिया के दौरान सभी काल्पनिक त्रुटियों को साफ़ करना और सही करना असंभव है। अच्छी डेटा गुणवत्ता केवल सभी प्रतिभागियों के बीच घनिष्ठ सहयोग से ही प्राप्त की जा सकती है। जो लोग ऑपरेटिंग सिस्टम में डेटा दर्ज करते हैं उन्हें यह सीखने की जरूरत है कि किन कार्यों से त्रुटियां होती हैं।

डेटा गुणवत्ता एक प्रक्रिया है. दुर्भाग्य से, कई संगठनों के पास निरंतर सुधार की कोई रणनीति नहीं है। कई लोग खुद को केवल डेटा संग्रहीत करने तक ही सीमित रखते हैं और विश्लेषणात्मक प्रणालियों की पूरी क्षमता का उपयोग नहीं करते हैं। आमतौर पर, डेटा वेयरहाउस विकसित करते समय, बजट का 70-80% डेटा एकीकरण को लागू करने पर खर्च किया जाता है। निगरानी और सुधार प्रक्रिया अधूरी है, यदि है भी तो।

उपकरण

सॉफ़्टवेयर टूल का उपयोग डेटा गुणवत्ता सुधार और निगरानी को स्वचालित करने की प्रक्रिया में मदद कर सकता है। उदाहरण के लिए, वे भंडारण संरचनाओं के तकनीकी सत्यापन को पूरी तरह से स्वचालित कर सकते हैं: फ़ील्ड प्रारूप, डिफ़ॉल्ट मानों की उपस्थिति, तालिका फ़ील्ड नामों का अनुपालन।

सामग्री की जाँच करना अधिक कठिन हो सकता है. जैसे-जैसे भंडारण आवश्यकताएँ बदलती हैं, डेटा की व्याख्या भी बदल सकती है। यह उपकरण अपने आप में एक बहुत बड़ा प्रोजेक्ट बन सकता है जिसके लिए समर्थन की आवश्यकता होती है।

परिषद

रिलेशनल डेटाबेस, जिसमें स्टोर आमतौर पर डिज़ाइन किए जाते हैं, में दृश्य बनाने की उल्लेखनीय क्षमता होती है। यदि आप सामग्री की बारीकियों को जानते हैं तो उनका उपयोग डेटा की त्वरित जांच के लिए किया जा सकता है। डेटा में त्रुटि या समस्या खोजने के प्रत्येक मामले को डेटाबेस क्वेरी के रूप में दर्ज किया जा सकता है।

इस तरह, सामग्री के बारे में एक ज्ञान आधार तैयार हो जाएगा। बेशक, ऐसे अनुरोध तेज़ होने चाहिए। दृश्य को बनाए रखने के लिए आमतौर पर तालिका-आधारित टूल की तुलना में कम मानव समय की आवश्यकता होती है। परीक्षण का परिणाम प्रदर्शित करने के लिए दृश्य हमेशा तैयार रहता है।
महत्वपूर्ण रिपोर्टों के मामले में, दृश्य में प्राप्तकर्ता के साथ एक कॉलम हो सकता है। वेयरहाउस में डेटा गुणवत्ता की स्थिति पर रिपोर्ट करने के लिए समान बीआई टूल का उपयोग करना समझ में आता है।

उदाहरण

क्वेरी Oracle डेटाबेस के लिए लिखी गई थी। इस उदाहरण में, परीक्षण एक संख्यात्मक मान लौटाते हैं जिसकी व्याख्या इच्छानुसार की जा सकती है। अलार्म स्तर को समायोजित करने के लिए T_MIN और T_MAX मानों का उपयोग किया जा सकता है। रिपोर्ट फ़ील्ड को एक बार एक वाणिज्यिक ईटीएल उत्पाद में एक संदेश के रूप में उपयोग किया जाता था जो ईमेल को ठीक से भेजने का तरीका नहीं जानता था, इसलिए आरपैड एक "बैसाखी" है।

एक बड़ी तालिका के मामले में, आप जोड़ सकते हैं, उदाहरण के लिए, और ROWNUM <= 10, यानी। यदि 10 त्रुटियाँ हैं, तो यह अलार्म पैदा करने के लिए पर्याप्त है।

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

प्रकाशन पुस्तक से सामग्री का उपयोग करता है
रोनाल्ड बैचमैन, डॉ. गुइडो केम्पर
रौस ऑस डेर बी-फ़ैल
विए बिजनेस इंटेलिजेंस ज़म एरफोल्ग विर्ड

स्रोत: www.habr.com