गोदाममा डाटा गुणस्तर

गोदाममा डाटाको गुणस्तर बहुमूल्य जानकारी प्राप्त गर्नको लागि महत्त्वपूर्ण शर्त हो। खराब गुणस्तरले लामो समयसम्म नकारात्मक चेन प्रतिक्रिया निम्त्याउँछ।
पहिलो, प्रदान गरिएको जानकारीमा विश्वास हराएको छ। मानिसहरूले व्यापार खुफिया अनुप्रयोगहरू कम प्रयोग गर्न थालेका छन्; अनुप्रयोगहरूको सम्भाव्यता अदावी रहन्छ।
नतिजाको रूपमा, विश्लेषणात्मक परियोजनामा ​​थप लगानी प्रश्नमा बोलाइएको छ।

डाटा गुणस्तरको लागि जिम्मेवारी

डाटा गुणस्तर सुधार गर्न सम्बन्धित पक्ष BI परियोजनाहरूमा मेगा-महत्वपूर्ण छ। यद्यपि, यो प्राविधिक विशेषज्ञहरूको मात्र विशेषाधिकार होइन।
डाटा गुणस्तर पनि त्यस्ता पक्षहरूले प्रभाव पार्छ

कर्पोरेट संस्कृति

• के श्रमिकहरू आफैं राम्रो गुणस्तर उत्पादन गर्न इच्छुक छन्?
• यदि छैन भने, किन छैन? स्वार्थको द्वन्द्व हुन सक्छ।
• हुनसक्छ त्यहाँ कर्पोरेट नियमहरू छन् जसले गुणस्तरको लागि जिम्मेवार को हो भनेर निर्धारण गर्दछ?

प्रक्रियाहरू

• यी चेनहरूको अन्त्यमा कुन डाटा सिर्जना गरिन्छ?
• हुनसक्छ अपरेटिङ सिस्टमहरू यस्तो तरिकाले कन्फिगर गरिएको छ कि तपाईंले यो वा त्यो अवस्थालाई वास्तविकतामा प्रतिबिम्बित गर्न "ट्विस्ट" गर्न आवश्यक छ।
• के अपरेटिङ सिस्टमहरूले डाटा प्रमाणिकरण र मेलमिलाप आफैं गर्छन्?

संगठनमा सबैजना रिपोर्टिङ प्रणालीहरूमा डेटाको गुणस्तरको लागि जिम्मेवार छन्।

परिभाषा र अर्थ

गुणस्तर ग्राहक अपेक्षाहरु को प्रमाणित सन्तुष्टि हो।

तर डाटा गुणस्तर परिभाषा समावेश गर्दैन। यसले सधैं प्रयोगको सन्दर्भलाई प्रतिबिम्बित गर्दछ। डाटा गोदाम र बीआई प्रणालीले डाटा आउँने अपरेटिङ सिस्टम भन्दा फरक उद्देश्यहरू सेवा गर्दछ।

उदाहरण को लागी, एक अपरेटिङ सिस्टम मा, ग्राहक विशेषता एक वैकल्पिक क्षेत्र हुन सक्छ। भण्डारमा, यो विशेषतालाई आयामको रूपमा प्रयोग गर्न सकिन्छ र यसको भर्न आवश्यक छ। जसले, बारीमा, पूर्वनिर्धारित मानहरू भर्न आवश्यक परिचय दिन्छ।

डाटा भण्डारण आवश्यकताहरू निरन्तर परिवर्तन हुँदैछन् र तिनीहरू सामान्यतया अपरेटिङ सिस्टमहरूका लागि भन्दा बढी हुन्छन्। तर यो अर्को तरिका पनि हुन सक्छ, जब भण्डारणमा अपरेटिङ सिस्टमबाट विस्तृत जानकारी भण्डारण गर्न आवश्यक छैन।

डाटा गुणस्तर मापनयोग्य बनाउन, यसको मापदण्डहरू वर्णन गर्नुपर्छ। आफ्नो कामको लागि जानकारी र आंकडाहरू प्रयोग गर्ने व्यक्तिहरू वर्णन प्रक्रियामा संलग्न हुनुपर्छ। यस संलग्नताको नतिजा एक नियम हुन सक्छ, जसलाई पछ्याएर एक तालिकामा एक नजरमा बताउन सक्छ कि त्यहाँ त्रुटि छ वा छैन। यस नियमलाई पछिको प्रमाणीकरणको लागि लिपि/कोडको रूपमा ढाँचाबद्ध गर्नुपर्छ।

डाटा गुणस्तर सुधार

गोदाममा डाटा लोड गर्ने प्रक्रियामा सबै काल्पनिक त्रुटिहरू सफा गर्न र सच्याउन असम्भव छ। सबै सहभागीहरू बीचको नजिकको सहकार्यबाट मात्र राम्रो डेटा गुणस्तर हासिल गर्न सकिन्छ। अपरेटिङ सिस्टमहरूमा डाटा प्रविष्ट गर्ने व्यक्तिहरूले कुन कार्यहरूले त्रुटिहरू निम्त्याउँछ जान्न आवश्यक छ।

डाटा गुणस्तर एक प्रक्रिया हो। दुर्भाग्यवश, धेरै संस्थाहरूसँग निरन्तर सुधारको लागि रणनीति छैन। धेरैले आफूलाई डाटा भण्डारणमा मात्र सीमित गर्छन् र विश्लेषणात्मक प्रणालीहरूको पूर्ण क्षमता प्रयोग गर्दैनन्। सामान्यतया, डाटा गोदामहरू विकास गर्दा, बजेटको 70-80% डाटा एकीकरण लागू गर्न खर्च गरिन्छ। अनुगमन र सुधार प्रक्रिया अधुरो रहन्छ, यदि सबै हो।

उपकरणहरू

सफ्टवेयर उपकरणहरूको प्रयोगले डाटा गुणस्तर सुधार र अनुगमनलाई स्वचालित बनाउने प्रक्रियामा मद्दत गर्न सक्छ। उदाहरणका लागि, तिनीहरूले भण्डारण संरचनाहरूको प्राविधिक प्रमाणीकरण पूर्ण रूपमा स्वचालित गर्न सक्छन्: क्षेत्र ढाँचा, पूर्वनिर्धारित मानहरूको उपस्थिति, तालिका क्षेत्र नामहरूको अनुपालन।

सामग्री जाँच गर्न अझ गाह्रो हुन सक्छ। भण्डारण आवश्यकताहरू परिवर्तन हुँदा, डाटाको व्याख्या पनि परिवर्तन हुन सक्छ। उपकरण आफैं एक ठूलो परियोजना बन्न सक्छ जसलाई समर्थन चाहिन्छ।

सुझाव

रिलेशनल डाटाबेसहरू, जसमा स्टोरहरू सामान्यतया डिजाइन गरिएका हुन्छन्, दृश्यहरू सिर्जना गर्ने उल्लेखनीय क्षमता हुन्छ। यदि तपाइँ सामग्रीको विवरणहरू जान्नुहुन्छ भने तिनीहरू द्रुत रूपमा डेटा जाँच गर्न प्रयोग गर्न सकिन्छ। डाटामा त्रुटि वा समस्या फेला पार्ने प्रत्येक केस डाटाबेस क्वेरीको रूपमा रेकर्ड गर्न सकिन्छ।

यसरी, सामग्रीको बारेमा ज्ञानको आधार बनाइनेछ। निस्सन्देह, त्यस्ता अनुरोधहरू छिटो हुनुपर्छ। तालिकामा आधारित उपकरणहरू भन्दा हेराइहरूलाई कायम राख्न सामान्यतया कम मानव समय चाहिन्छ। दृश्य सधैं परीक्षणको नतिजा प्रदर्शन गर्न तयार छ।
महत्त्वपूर्ण रिपोर्टहरूको मामलामा, दृश्यले प्राप्तकर्तासँग स्तम्भ समावेश गर्न सक्छ। गोदाममा डाटा गुणस्तरको स्थितिमा रिपोर्ट गर्न उही BI उपकरणहरू प्रयोग गर्न यो अर्थपूर्ण छ।

उदाहरण:

क्वेरी Oracle डाटाबेसको लागि लेखिएको थियो। यस उदाहरणमा, परीक्षणहरूले संख्यात्मक मान फर्काउँछ जुन वांछित रूपमा व्याख्या गर्न सकिन्छ। T_MIN र T_MAX मानहरू अलार्म स्तर समायोजन गर्न प्रयोग गर्न सकिन्छ। REPORT फिल्ड एक पटक व्यापारिक ETL उत्पादनमा सन्देशको रूपमा प्रयोग गरिएको थियो जसलाई इमेलहरू कसरी पठाउने भन्ने थाहा थिएन, त्यसैले rpad एउटा "क्रच" हो।

ठुलो तालिकाको अवस्थामा, तपाईले थप्न सक्नुहुन्छ, उदाहरणका लागि, AND ROWNUM <= 10, i.e. यदि त्यहाँ 10 त्रुटिहरू छन् भने, यो अलार्मको कारण पर्याप्त छ।

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

प्रकाशनले पुस्तकका सामग्रीहरू प्रयोग गरेको छ
रोनाल्ड बाचम्यान, डा. गुइडो केम्पर
Raus aus der BI-Falle
व्यापार बुद्धिमत्ता zum Erfolg wird

स्रोत: www.habr.com