கிடங்கில் தரவு தரம்

கிடங்கில் உள்ள தரவின் தரம் மதிப்புமிக்க தகவல்களைப் பெறுவதற்கு ஒரு முக்கியமான முன்நிபந்தனையாகும். மோசமான தரம் நீண்ட காலத்திற்கு எதிர்மறை சங்கிலி எதிர்வினைக்கு வழிவகுக்கிறது.
முதலில், வழங்கப்பட்ட தகவல்களில் நம்பிக்கை இழக்கப்படுகிறது. வணிக நுண்ணறிவு பயன்பாடுகளை மக்கள் குறைவாகப் பயன்படுத்தத் தொடங்கியுள்ளனர்; பயன்பாடுகளின் சாத்தியம் உரிமை கோரப்படாமல் உள்ளது.
இதன் விளைவாக, பகுப்பாய்வு திட்டத்தில் மேலும் முதலீடு கேள்விக்குள்ளாக்கப்படுகிறது.

தரவு தரத்திற்கான பொறுப்பு

BI திட்டங்களில் தரவு தரத்தை மேம்படுத்துவது தொடர்பான அம்சம் மிக முக்கியமானது. இருப்பினும், இது தொழில்நுட்ப வல்லுனர்களின் சலுகை அல்ல.
போன்ற அம்சங்களால் தரவுத் தரமும் பாதிக்கப்படுகிறது

பெருநிறுவன கலாச்சாரம்

• நல்ல தரத்தை உற்பத்தி செய்வதில் தொழிலாளர்கள் ஆர்வம் காட்டுகிறார்களா?
• இல்லை என்றால், ஏன் இல்லை? வட்டி மோதல் இருக்கலாம்.
• தரத்திற்கு யார் பொறுப்பு என்பதை தீர்மானிக்கும் கார்ப்பரேட் விதிகள் இருக்கலாம்?

செயல்முறைகள்

• இந்த சங்கிலிகளின் முடிவில் என்ன தரவு உருவாக்கப்படுகிறது?
• இந்த அல்லது அந்த சூழ்நிலையை உண்மையில் பிரதிபலிக்க நீங்கள் "திருப்ப" வேண்டிய வகையில் இயக்க முறைமைகள் கட்டமைக்கப்பட்டிருக்கலாம்.
• இயக்க முறைமைகள் தரவு சரிபார்ப்பு மற்றும் நல்லிணக்கத்தை தாங்களாகவே செய்கின்றனவா?

அறிக்கையிடல் அமைப்புகளில் தரவின் தரத்திற்கு நிறுவனத்தில் உள்ள அனைவரும் பொறுப்பு.

வரையறை மற்றும் பொருள்

தரம் என்பது வாடிக்கையாளர் எதிர்பார்ப்புகளின் நிரூபிக்கப்பட்ட திருப்தி.

ஆனால் தரவு தரம் ஒரு வரையறையைக் கொண்டிருக்கவில்லை. இது எப்போதும் பயன்பாட்டின் சூழலை பிரதிபலிக்கிறது. தரவுக் கிடங்கு மற்றும் BI அமைப்பு தரவு வரும் இயக்க முறைமையை விட வெவ்வேறு நோக்கங்களுக்காக சேவை செய்கின்றன.

எடுத்துக்காட்டாக, ஒரு இயக்க முறைமையில், வாடிக்கையாளர் பண்புக்கூறு ஒரு விருப்பப் புலமாக இருக்கலாம். களஞ்சியத்தில், இந்த பண்பு ஒரு பரிமாணமாக பயன்படுத்தப்படலாம் மற்றும் அதன் நிரப்புதல் தேவைப்படுகிறது. இது, இயல்புநிலை மதிப்புகளை நிரப்ப வேண்டியதன் அவசியத்தை அறிமுகப்படுத்துகிறது.

தரவு சேமிப்பக தேவைகள் தொடர்ந்து மாறிக்கொண்டே இருக்கின்றன, மேலும் அவை பொதுவாக இயக்க முறைமைகளை விட அதிகமாக இருக்கும். ஆனால் இயக்க முறைமையிலிருந்து விரிவான தகவல்களை சேமிப்பகத்தில் சேமிக்க வேண்டிய அவசியம் இல்லாதபோது இது வேறு விதமாகவும் இருக்கலாம்.

தரவு தரத்தை அளவிடக்கூடியதாக மாற்ற, அதன் தரநிலைகள் விவரிக்கப்பட வேண்டும். தங்கள் பணிக்கு தகவல் மற்றும் புள்ளிவிவரங்களைப் பயன்படுத்தும் நபர்கள் விளக்கச் செயல்பாட்டில் ஈடுபட வேண்டும். இந்த ஈடுபாட்டின் விளைவாக ஒரு விதியாக இருக்கலாம், அதைத் தொடர்ந்து ஒரு பிழை இருக்கிறதா இல்லையா என்பதை அட்டவணையில் ஒரு பார்வையில் சொல்ல முடியும். இந்த விதியானது, அடுத்தடுத்த சரிபார்ப்புக்கு ஸ்கிரிப்ட்/குறியீடாக வடிவமைக்கப்பட வேண்டும்.

தரவு தரத்தை மேம்படுத்துதல்

கிடங்கில் தரவை ஏற்றும் செயல்பாட்டின் போது அனைத்து அனுமான பிழைகளையும் சுத்தம் செய்து சரிசெய்வது சாத்தியமில்லை. அனைத்து பங்கேற்பாளர்களுக்கும் இடையிலான நெருக்கமான ஒத்துழைப்பின் மூலம் மட்டுமே நல்ல தரவு தரத்தை அடைய முடியும். இயக்க முறைமைகளில் தரவை உள்ளிடுபவர்கள் என்ன செயல்கள் பிழைகளுக்கு வழிவகுக்கும் என்பதை அறிய வேண்டும்.

தரவு தரம் என்பது ஒரு செயல்முறை. துரதிர்ஷ்டவசமாக, பல நிறுவனங்களுக்கு தொடர்ச்சியான முன்னேற்றத்திற்கான உத்தி இல்லை. பலர் தரவுகளை சேமிப்பதில் மட்டுமே தங்களைக் கட்டுப்படுத்திக் கொள்கிறார்கள் மற்றும் பகுப்பாய்வு அமைப்புகளின் முழு திறனைப் பயன்படுத்துவதில்லை. பொதுவாக, தரவுக் கிடங்குகளை உருவாக்கும் போது, ​​பட்ஜெட்டில் 70-80% தரவு ஒருங்கிணைப்பை செயல்படுத்த செலவிடப்படுகிறது. கண்காணிப்பு மற்றும் மேம்படுத்தல் செயல்முறை முழுமையடையாமல் உள்ளது.

கருவிகள்

மென்பொருள் கருவிகளின் பயன்பாடு, தரவு தர மேம்பாடு மற்றும் கண்காணிப்பை தானியங்குபடுத்தும் செயல்பாட்டில் உதவும். எடுத்துக்காட்டாக, அவை சேமிப்பக கட்டமைப்புகளின் தொழில்நுட்ப சரிபார்ப்பை முழுமையாக தானியக்கமாக்க முடியும்: புல வடிவம், இயல்புநிலை மதிப்புகளின் இருப்பு, அட்டவணை புலப் பெயர்களுடன் இணக்கம்.

உள்ளடக்கத்தைச் சரிபார்ப்பது மிகவும் கடினமாக இருக்கலாம். சேமிப்பக தேவைகள் மாறும்போது, ​​தரவின் விளக்கமும் மாறலாம். கருவியே ஆதரவு தேவைப்படும் ஒரு பெரிய திட்டமாக மாறும்.

கவுன்சில்

தொடர்புடைய தரவுத்தளங்கள், இதில் கடைகள் பொதுவாக வடிவமைக்கப்பட்டுள்ளன, காட்சிகளை உருவாக்கும் குறிப்பிடத்தக்க திறனைக் கொண்டுள்ளன. உள்ளடக்கத்தின் பிரத்தியேகங்கள் உங்களுக்குத் தெரிந்தால், தரவை விரைவாகச் சரிபார்க்க அவை பயன்படுத்தப்படலாம். தரவுகளில் பிழை அல்லது சிக்கலைக் கண்டறியும் ஒவ்வொரு சந்தர்ப்பமும் தரவுத்தள வினவல் வடிவத்தில் பதிவு செய்யப்படலாம்.

இதன் மூலம், உள்ளடக்கத்தைப் பற்றிய அறிவுத் தளம் உருவாகும். நிச்சயமாக, அத்தகைய கோரிக்கைகள் வேகமாக இருக்க வேண்டும். அட்டவணை அடிப்படையிலான கருவிகளைக் காட்டிலும் பார்வைகளை பராமரிக்க பொதுவாக குறைவான மனித நேரம் தேவைப்படுகிறது. சோதனையின் முடிவைக் காட்ட காட்சி எப்போதும் தயாராக இருக்கும்.
முக்கியமான அறிக்கைகளின் விஷயத்தில், பார்வையில் பெறுநருடன் ஒரு நெடுவரிசை இருக்கலாம். கிடங்கில் உள்ள தரவுத் தரத்தின் நிலையைப் புகாரளிக்க அதே BI கருவிகளைப் பயன்படுத்துவது அர்த்தமுள்ளதாக இருக்கிறது.

உதாரணமாக

வினவல் ஆரக்கிள் தரவுத்தளத்திற்காக எழுதப்பட்டது. இந்த எடுத்துக்காட்டில், சோதனைகள் ஒரு எண் மதிப்பைத் தருகின்றன, அதை விரும்பியவாறு விளக்கலாம். அலாரம் அளவை சரிசெய்ய T_MIN மற்றும் T_MAX மதிப்புகள் பயன்படுத்தப்படலாம். REPORT புலம் ஒருமுறை வணிகரீதியான ETL தயாரிப்பில் ஒரு செய்தியாகப் பயன்படுத்தப்பட்டது, அது மின்னஞ்சல்களை எவ்வாறு சரியாக அனுப்புவது என்று தெரியவில்லை, எனவே rpad என்பது "ஊன்றுகோல்" ஆகும்.

பெரிய அட்டவணையில், நீங்கள் சேர்க்கலாம், எடுத்துக்காட்டாக, மற்றும் ROWNUM <= 10, அதாவது. 10 பிழைகள் இருந்தால், அலாரத்தை ஏற்படுத்த இது போதுமானது.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

வெளியீடு புத்தகத்திலிருந்து பொருட்களைப் பயன்படுத்துகிறது
ரொனால்ட் பச்மேன், டாக்டர். கைடோ கெம்பர்
ராஸ் ஆஸ் டெர் பிஐ-ஃபால்லே
Wie Business Intelligence zum Erfolg wird

ஆதாரம்: www.habr.com