വെയർഹൗസിലെ ഡാറ്റയുടെ ഗുണനിലവാരം

വിലയേറിയ വിവരങ്ങൾ ലഭിക്കുന്നതിന് വെയർഹൗസിലെ ഡാറ്റയുടെ ഗുണനിലവാരം ഒരു പ്രധാന മുൻവ്യവസ്ഥയാണ്. മോശം ഗുണനിലവാരം ദീർഘകാലാടിസ്ഥാനത്തിൽ ഒരു നെഗറ്റീവ് ചെയിൻ പ്രതികരണത്തിലേക്ക് നയിക്കുന്നു.
ഒന്നാമതായി, നൽകിയിരിക്കുന്ന വിവരങ്ങളിലുള്ള വിശ്വാസം നഷ്ടപ്പെടുന്നു. ആളുകൾ ബിസിനസ്സ് ഇന്റലിജൻസ് ആപ്ലിക്കേഷനുകൾ ഉപയോഗിക്കാൻ തുടങ്ങിയിരിക്കുന്നു; ആപ്ലിക്കേഷനുകളുടെ സാധ്യതകൾ ക്ലെയിം ചെയ്യപ്പെടാതെ തുടരുന്നു.
തൽഫലമായി, അനലിറ്റിക്കൽ പ്രോജക്റ്റിലെ കൂടുതൽ നിക്ഷേപം ചോദ്യം ചെയ്യപ്പെടുന്നു.

ഡാറ്റ ഗുണനിലവാരത്തിനുള്ള ഉത്തരവാദിത്തം

ഡാറ്റയുടെ ഗുണനിലവാരം മെച്ചപ്പെടുത്തുന്നതുമായി ബന്ധപ്പെട്ട വശം ബിഐ പ്രോജക്റ്റുകളിൽ മെഗാ-പ്രധാനമാണ്. എന്നിരുന്നാലും, ഇത് സാങ്കേതിക വിദഗ്ധരുടെ മാത്രം പ്രത്യേകാവകാശമല്ല.
ഡാറ്റയുടെ ഗുണനിലവാരവും അത്തരം വശങ്ങളാൽ സ്വാധീനിക്കപ്പെടുന്നു

കോർപ്പറേറ്റ് സംസ്കാരം

• നല്ല നിലവാരമുള്ള ഉൽപ്പാദനത്തിൽ തൊഴിലാളികൾക്ക് തന്നെ താൽപ്പര്യമുണ്ടോ?
• ഇല്ലെങ്കിൽ, എന്തുകൊണ്ട്? താൽപ്പര്യ വൈരുദ്ധ്യം ഉണ്ടാകാം.
• ഗുണനിലവാരത്തിന് ആരാണ് ഉത്തരവാദിയെന്ന് നിർണ്ണയിക്കുന്ന കോർപ്പറേറ്റ് നിയമങ്ങളുണ്ടോ?

പ്രക്രിയകൾ

• ഈ ശൃംഖലകളുടെ അവസാനം എന്ത് ഡാറ്റയാണ് സൃഷ്ടിക്കുന്നത്?
• ഒരുപക്ഷേ ഈ അല്ലെങ്കിൽ ആ സാഹചര്യത്തെ യാഥാർത്ഥ്യത്തിൽ പ്രതിഫലിപ്പിക്കുന്നതിന് നിങ്ങൾ "വളച്ചൊടിക്കേണ്ട" വിധത്തിലാണ് ഓപ്പറേറ്റിംഗ് സിസ്റ്റങ്ങൾ ക്രമീകരിച്ചിരിക്കുന്നത്.
• ഓപ്പറേറ്റിംഗ് സിസ്റ്റങ്ങൾ സ്വയം ഡാറ്റ പരിശോധനയും അനുരഞ്ജനവും നടത്തുന്നുണ്ടോ?

റിപ്പോർട്ടിംഗ് സിസ്റ്റങ്ങളിലെ ഡാറ്റയുടെ ഗുണനിലവാരത്തിന് ഓർഗനൈസേഷനിലെ എല്ലാവർക്കും ഉത്തരവാദിത്തമുണ്ട്.

നിർവചനവും അർത്ഥവും

ഉപഭോക്തൃ പ്രതീക്ഷകളുടെ തെളിയിക്കപ്പെട്ട സംതൃപ്തിയാണ് ഗുണനിലവാരം.

എന്നാൽ ഡാറ്റ ഗുണനിലവാരത്തിൽ ഒരു നിർവചനം അടങ്ങിയിട്ടില്ല. ഇത് എല്ലായ്പ്പോഴും ഉപയോഗത്തിന്റെ സന്ദർഭത്തെ പ്രതിഫലിപ്പിക്കുന്നു. ഡാറ്റ വെയർഹൗസും ബിഐ സിസ്റ്റവും ഡാറ്റ ലഭിക്കുന്ന ഓപ്പറേറ്റിംഗ് സിസ്റ്റത്തേക്കാൾ വ്യത്യസ്തമായ ഉദ്ദേശ്യങ്ങൾ നിറവേറ്റുന്നു.

ഉദാഹരണത്തിന്, ഒരു ഓപ്പറേറ്റിംഗ് സിസ്റ്റത്തിൽ, ഉപഭോക്തൃ ആട്രിബ്യൂട്ട് ഒരു ഓപ്ഷണൽ ഫീൽഡ് ആയിരിക്കാം. റിപ്പോസിറ്ററിയിൽ, ഈ ആട്രിബ്യൂട്ട് ഒരു അളവായി ഉപയോഗിക്കാം, അതിന്റെ പൂരിപ്പിക്കൽ ആവശ്യമാണ്. അത്, സ്ഥിരസ്ഥിതി മൂല്യങ്ങൾ പൂരിപ്പിക്കേണ്ടതിന്റെ ആവശ്യകത അവതരിപ്പിക്കുന്നു.

ഡാറ്റ സ്റ്റോറേജ് ആവശ്യകതകൾ നിരന്തരം മാറിക്കൊണ്ടിരിക്കുന്നു, അവ സാധാരണയായി ഓപ്പറേറ്റിംഗ് സിസ്റ്റങ്ങളേക്കാൾ ഉയർന്നതാണ്. എന്നാൽ ഓപ്പറേറ്റിംഗ് സിസ്റ്റത്തിൽ നിന്നുള്ള വിശദമായ വിവരങ്ങൾ സ്റ്റോറേജിൽ സംഭരിക്കേണ്ട ആവശ്യമില്ലാത്തപ്പോൾ ഇത് മറ്റൊരു വഴിയും ആകാം.

ഡാറ്റയുടെ ഗുണനിലവാരം അളക്കാൻ, അതിന്റെ മാനദണ്ഡങ്ങൾ വിവരിക്കേണ്ടതുണ്ട്. വിവരങ്ങളും കണക്കുകളും അവരുടെ ജോലിക്കായി ഉപയോഗിക്കുന്ന ആളുകൾ വിവരണ പ്രക്രിയയിൽ ഉൾപ്പെട്ടിരിക്കണം. ഈ ഇടപെടലിന്റെ ഫലം ഒരു നിയമമായിരിക്കാം, അത് പിന്തുടരുന്ന ഒരാൾക്ക് ഒരു പിശക് ഉണ്ടോ ഇല്ലയോ എന്ന് പട്ടികയിൽ ഒറ്റനോട്ടത്തിൽ പറയാൻ കഴിയും. തുടർന്നുള്ള സ്ഥിരീകരണത്തിനായി ഈ നിയമം ഒരു സ്ക്രിപ്റ്റ്/കോഡ് ആയി ഫോർമാറ്റ് ചെയ്തിരിക്കണം.

ഡാറ്റ നിലവാരം മെച്ചപ്പെടുത്തുന്നു

വെയർഹൗസിലേക്ക് ഡാറ്റ ലോഡ് ചെയ്യുന്ന പ്രക്രിയയിൽ എല്ലാ സാങ്കൽപ്പിക പിശകുകളും വൃത്തിയാക്കാനും ശരിയാക്കാനും അസാധ്യമാണ്. എല്ലാ പങ്കാളികളും തമ്മിലുള്ള അടുത്ത സഹകരണത്തിലൂടെ മാത്രമേ നല്ല ഡാറ്റ നിലവാരം കൈവരിക്കാൻ കഴിയൂ. ഓപ്പറേറ്റിംഗ് സിസ്റ്റങ്ങളിൽ ഡാറ്റ നൽകുന്ന ആളുകൾ പിശകുകളിലേക്ക് നയിക്കുന്ന പ്രവർത്തനങ്ങൾ പഠിക്കേണ്ടതുണ്ട്.

ഡാറ്റ ഗുണനിലവാരം ഒരു പ്രക്രിയയാണ്. നിർഭാഗ്യവശാൽ, പല ഓർഗനൈസേഷനുകൾക്കും തുടർച്ചയായ മെച്ചപ്പെടുത്താനുള്ള ഒരു തന്ത്രം ഇല്ല. പലരും ഡാറ്റ സംഭരിക്കുന്നതിൽ മാത്രം ഒതുങ്ങുന്നു, കൂടാതെ വിശകലന സംവിധാനങ്ങളുടെ മുഴുവൻ സാധ്യതകളും ഉപയോഗിക്കുന്നില്ല. സാധാരണഗതിയിൽ, ഡാറ്റ വെയർഹൗസുകൾ വികസിപ്പിക്കുമ്പോൾ, ബജറ്റിന്റെ 70-80% ഡാറ്റ സംയോജനം നടപ്പിലാക്കുന്നതിനായി ചെലവഴിക്കുന്നു. നിരീക്ഷണവും മെച്ചപ്പെടുത്തൽ പ്രക്രിയയും അപൂർണ്ണമായി തുടരുന്നു.

ഉപകരണങ്ങൾ

സോഫ്റ്റ്‌വെയർ ടൂളുകളുടെ ഉപയോഗം ഡാറ്റയുടെ ഗുണനിലവാരം മെച്ചപ്പെടുത്തുന്നതിനും നിരീക്ഷിക്കുന്നതിനും ഓട്ടോമേറ്റ് ചെയ്യുന്ന പ്രക്രിയയിൽ സഹായിക്കും. ഉദാഹരണത്തിന്, അവർക്ക് സ്റ്റോറേജ് ഘടനകളുടെ സാങ്കേതിക പരിശോധന പൂർണ്ണമായി ഓട്ടോമേറ്റ് ചെയ്യാൻ കഴിയും: ഫീൽഡ് ഫോർമാറ്റ്, ഡിഫോൾട്ട് മൂല്യങ്ങളുടെ സാന്നിധ്യം, പട്ടിക ഫീൽഡ് നാമങ്ങൾ പാലിക്കൽ.

ഉള്ളടക്കം പരിശോധിക്കുന്നത് കൂടുതൽ ബുദ്ധിമുട്ടായിരിക്കാം. സ്റ്റോറേജ് ആവശ്യകതകൾ മാറുന്നതിനനുസരിച്ച്, ഡാറ്റയുടെ വ്യാഖ്യാനവും മാറിയേക്കാം. ഉപകരണം തന്നെ പിന്തുണ ആവശ്യമുള്ള ഒരു വലിയ പദ്ധതിയായി മാറും.

നുറുങ്ങ്

സ്റ്റോറുകൾ സാധാരണയായി രൂപകൽപ്പന ചെയ്തിട്ടുള്ള റിലേഷണൽ ഡാറ്റാബേസുകൾക്ക് കാഴ്ചകൾ സൃഷ്ടിക്കുന്നതിനുള്ള ശ്രദ്ധേയമായ കഴിവുണ്ട്. ഉള്ളടക്കത്തിന്റെ പ്രത്യേകതകൾ നിങ്ങൾക്കറിയാമെങ്കിൽ അവ വേഗത്തിൽ ഡാറ്റ പരിശോധിക്കാൻ ഉപയോഗിക്കാം. ഡാറ്റയിൽ ഒരു പിശക് അല്ലെങ്കിൽ പ്രശ്നം കണ്ടെത്തുന്ന ഓരോ കേസും ഒരു ഡാറ്റാബേസ് അന്വേഷണത്തിന്റെ രൂപത്തിൽ രേഖപ്പെടുത്താം.

ഈ രീതിയിൽ, ഉള്ളടക്കത്തെക്കുറിച്ചുള്ള ഒരു വിജ്ഞാന അടിത്തറ രൂപപ്പെടും. തീർച്ചയായും, അത്തരം അഭ്യർത്ഥനകൾ വേഗത്തിലായിരിക്കണം. ടേബിൾ അധിഷ്‌ഠിത ടൂളുകളേക്കാൾ കാഴ്ചകൾ നിലനിർത്താൻ സാധാരണ മനുഷ്യരുടെ സമയം കുറവാണ്. പരിശോധനയുടെ ഫലം പ്രദർശിപ്പിക്കാൻ കാഴ്ച എപ്പോഴും തയ്യാറാണ്.
പ്രധാനപ്പെട്ട റിപ്പോർട്ടുകളുടെ കാര്യത്തിൽ, കാഴ്ചയിൽ സ്വീകർത്താവിനൊപ്പം ഒരു കോളം അടങ്ങിയിരിക്കാം. വെയർഹൗസിലെ ഡാറ്റയുടെ ഗുണനിലവാരം റിപ്പോർട്ടുചെയ്യുന്നതിന് അതേ ബിഐ ടൂളുകൾ ഉപയോഗിക്കുന്നത് യുക്തിസഹമാണ്.

ഉദാഹരണം:

ഒറാക്കിൾ ഡാറ്റാബേസിനുവേണ്ടിയാണ് ചോദ്യം എഴുതിയത്. ഈ ഉദാഹരണത്തിൽ, ടെസ്റ്റുകൾ ആവശ്യമുള്ള രീതിയിൽ വ്യാഖ്യാനിക്കാവുന്ന ഒരു സംഖ്യാ മൂല്യം നൽകുന്നു. അലാറം ലെവൽ ക്രമീകരിക്കാൻ T_MIN, T_MAX മൂല്യങ്ങൾ ഉപയോഗിക്കാം. ഇമെയിലുകൾ എങ്ങനെ ശരിയായി അയയ്‌ക്കണമെന്ന് അറിയാത്ത വാണിജ്യ ETL ഉൽപ്പന്നത്തിലെ ഒരു സന്ദേശമായി റിപ്പോർട്ട് ഫീൽഡ് ഒരിക്കൽ ഉപയോഗിച്ചിരുന്നു, അതിനാൽ rpad ഒരു "ക്രച്ച്" ആണ്.

ഒരു വലിയ പട്ടികയുടെ കാര്യത്തിൽ, നിങ്ങൾക്ക് ചേർക്കാം, ഉദാഹരണത്തിന്, കൂടാതെ ROWNUM <= 10, അതായത്. 10 പിശകുകൾ ഉണ്ടെങ്കിൽ, അലാറം ഉണ്ടാക്കാൻ ഇത് മതിയാകും.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

പ്രസിദ്ധീകരണം പുസ്തകത്തിൽ നിന്നുള്ള മെറ്റീരിയലുകൾ ഉപയോഗിക്കുന്നു
റൊണാൾഡ് ബാച്ച്മാൻ, ഡോ. ഗൈഡോ കെമ്പർ
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird

അവലംബം: www.habr.com