વેરહાઉસમાં ડેટાની ગુણવત્તા

મૂલ્યવાન માહિતી મેળવવા માટે વેરહાઉસમાં ડેટાની ગુણવત્તા એ એક મહત્વપૂર્ણ પૂર્વશરત છે. નબળી ગુણવત્તા લાંબા ગાળે નકારાત્મક સાંકળ પ્રતિક્રિયા તરફ દોરી જાય છે.
પ્રથમ, આપેલી માહિતી પરનો વિશ્વાસ ખોવાઈ જાય છે. લોકો બિઝનેસ ઇન્ટેલિજન્સ એપ્લિકેશનનો ઓછો ઉપયોગ કરવાનું શરૂ કરી રહ્યા છે;
પરિણામે, વિશ્લેષણાત્મક પ્રોજેક્ટમાં વધુ રોકાણ પ્રશ્નમાં આવે છે.

ડેટા ગુણવત્તા માટે જવાબદારી

BI પ્રોજેક્ટ્સમાં ડેટાની ગુણવત્તા સુધારવા સંબંધિત પાસું મેગા-મહત્વનું છે. જો કે, તે ફક્ત તકનીકી નિષ્ણાતોનો વિશેષાધિકાર નથી.
ડેટાની ગુણવત્તા પણ આવા પાસાઓથી પ્રભાવિત થાય છે

કોર્પોરેટ સંસ્કૃતિ

• શું કામદારો પોતે સારી ગુણવત્તાના ઉત્પાદનમાં રસ ધરાવે છે?
• જો નહીં, તો કેમ નહીં? હિતોનો ટકરાવ થઈ શકે છે.
• કદાચ ત્યાં કોર્પોરેટ નિયમો છે જે નક્કી કરે છે કે ગુણવત્તા માટે કોણ જવાબદાર છે?

પ્રક્રિયાઓ

• આ સાંકળોના અંતે કયો ડેટા બનાવવામાં આવે છે?
• કદાચ ઑપરેટિંગ સિસ્ટમ્સ એવી રીતે ગોઠવવામાં આવી છે કે તમારે આ અથવા તે પરિસ્થિતિને વાસ્તવિકતામાં પ્રતિબિંબિત કરવા માટે "ટ્વિસ્ટ" કરવાની જરૂર છે.
• શું ઑપરેટિંગ સિસ્ટમ્સ પોતે જ ડેટા વેરિફિકેશન અને સમાધાન કરે છે?

સંસ્થામાં દરેક વ્યક્તિ રિપોર્ટિંગ સિસ્ટમ્સમાં ડેટાની ગુણવત્તા માટે જવાબદાર છે.

વ્યાખ્યા અને અર્થ

ગુણવત્તા એ ગ્રાહકની અપેક્ષાઓની સાબિત સંતોષ છે.

પરંતુ ડેટા ગુણવત્તામાં કોઈ વ્યાખ્યા નથી. તે હંમેશા ઉપયોગના સંદર્ભને પ્રતિબિંબિત કરે છે. ડેટા વેરહાઉસ અને BI સિસ્ટમ ઓપરેટિંગ સિસ્ટમ જેમાંથી ડેટા આવે છે તેના કરતાં અલગ હેતુઓ પૂરા પાડે છે.

ઉદાહરણ તરીકે, ઑપરેટિંગ સિસ્ટમ પર, ગ્રાહક વિશેષતા વૈકલ્પિક ક્ષેત્ર હોઈ શકે છે. રીપોઝીટરીમાં, આ લક્ષણનો પરિમાણ તરીકે ઉપયોગ કરી શકાય છે અને તેનું ભરણ જરૂરી છે. જે બદલામાં, ડિફોલ્ટ મૂલ્યો ભરવાની જરૂરિયાતનો પરિચય આપે છે.

ડેટા સ્ટોરેજ જરૂરિયાતો સતત બદલાતી રહે છે અને તે સામાન્ય રીતે ઓપરેટિંગ સિસ્ટમ્સ કરતા વધારે હોય છે. પરંતુ તે બીજી રીતે પણ હોઈ શકે છે, જ્યારે સ્ટોરેજમાં ઑપરેટિંગ સિસ્ટમમાંથી વિગતવાર માહિતી સંગ્રહિત કરવાની જરૂર નથી.

ડેટાની ગુણવત્તાને માપી શકાય તે માટે, તેના ધોરણોનું વર્ણન કરવું આવશ્યક છે. જે લોકો તેમના કાર્ય માટે માહિતી અને આંકડાઓનો ઉપયોગ કરે છે તેઓ વર્ણન પ્રક્રિયામાં સામેલ હોવા જોઈએ. આ સંડોવણીનું પરિણામ એક નિયમ હોઈ શકે છે, જેને અનુસરીને કોઈ વ્યક્તિ ટેબલ પર એક નજરમાં કહી શકે છે કે શું ભૂલ છે કે નહીં. આ નિયમ અનુગામી ચકાસણી માટે સ્ક્રિપ્ટ/કોડ તરીકે ફોર્મેટ થયેલ હોવો આવશ્યક છે.

ડેટાની ગુણવત્તામાં સુધારો

વેરહાઉસમાં ડેટા લોડ કરવાની પ્રક્રિયા દરમિયાન બધી કાલ્પનિક ભૂલોને સાફ કરવી અને સુધારવી અશક્ય છે. તમામ સહભાગીઓ વચ્ચે ગાઢ સહયોગ દ્વારા જ સારી ડેટા ગુણવત્તા પ્રાપ્ત કરી શકાય છે. જે લોકો ઓપરેટિંગ સિસ્ટમમાં ડેટા દાખલ કરે છે તેઓને જાણવાની જરૂર છે કે કઈ ક્રિયાઓ ભૂલો તરફ દોરી જાય છે.

ડેટા ગુણવત્તા એક પ્રક્રિયા છે. કમનસીબે, ઘણી સંસ્થાઓ પાસે સતત સુધારણા માટેની વ્યૂહરચના નથી. ઘણા પોતાની જાતને માત્ર ડેટા સ્ટોર કરવા માટે મર્યાદિત કરે છે અને વિશ્લેષણાત્મક સિસ્ટમ્સની સંપૂર્ણ ક્ષમતાનો ઉપયોગ કરતા નથી. સામાન્ય રીતે, જ્યારે ડેટા વેરહાઉસ વિકસાવવામાં આવે છે, ત્યારે બજેટનો 70-80% ડેટા એકીકરણના અમલીકરણ પર ખર્ચવામાં આવે છે. દેખરેખ અને સુધારણા પ્રક્રિયા અધૂરી રહે છે, જો બિલકુલ.

સાધનો

સૉફ્ટવેર ટૂલ્સનો ઉપયોગ ડેટા ગુણવત્તા સુધારણા અને દેખરેખને સ્વચાલિત કરવાની પ્રક્રિયામાં મદદ કરી શકે છે. ઉદાહરણ તરીકે, તેઓ સ્ટોરેજ સ્ટ્રક્ચર્સની તકનીકી ચકાસણીને સંપૂર્ણપણે સ્વચાલિત કરી શકે છે: ફીલ્ડ ફોર્મેટ, ડિફૉલ્ટ મૂલ્યોની હાજરી, કોષ્ટક ક્ષેત્રના નામોનું પાલન.

સામગ્રી તપાસવી વધુ મુશ્કેલ હોઈ શકે છે. જેમ જેમ સ્ટોરેજ જરૂરિયાતો બદલાય છે તેમ, ડેટાનું અર્થઘટન પણ બદલાઈ શકે છે. સાધન પોતે એક વિશાળ પ્રોજેક્ટ બની શકે છે જેને સમર્થનની જરૂર છે.

ટિપ

રિલેશનલ ડેટાબેઝ, જેમાં સ્ટોર્સ સામાન્ય રીતે ડિઝાઇન કરવામાં આવે છે, તેમાં દૃશ્યો બનાવવાની નોંધપાત્ર ક્ષમતા હોય છે. જો તમને સામગ્રીની વિશિષ્ટતાઓ ખબર હોય તો ડેટાને ઝડપથી તપાસવા માટે તેનો ઉપયોગ કરી શકાય છે. ડેટામાં ભૂલ અથવા સમસ્યા શોધવાના દરેક કેસને ડેટાબેઝ ક્વેરી સ્વરૂપે રેકોર્ડ કરી શકાય છે.

આ રીતે, સામગ્રી વિશે જ્ઞાન આધાર રચવામાં આવશે. અલબત્ત, આવી વિનંતીઓ ઝડપી હોવી જોઈએ. ટેબલ-આધારિત ટૂલ્સ કરતાં દૃશ્યોને જાળવવા માટે સામાન્ય રીતે ઓછા માનવ સમયની જરૂર પડે છે. દૃશ્ય હંમેશા પરીક્ષણ પરિણામ પ્રદર્શિત કરવા માટે તૈયાર છે.
મહત્વપૂર્ણ અહેવાલોના કિસ્સામાં, દૃશ્યમાં પ્રાપ્તકર્તા સાથેની કૉલમ હોઈ શકે છે. વેરહાઉસમાં ડેટા ગુણવત્તાની સ્થિતિની જાણ કરવા માટે સમાન BI સાધનોનો ઉપયોગ કરવો તે અર્થપૂર્ણ છે.

ઉદાહરણ:

ક્વેરી ઓરેકલ ડેટાબેઝ માટે લખવામાં આવી હતી. આ ઉદાહરણમાં, પરીક્ષણો સંખ્યાત્મક મૂલ્ય આપે છે જેનો ઇચ્છિત અર્થઘટન કરી શકાય છે. T_MIN અને T_MAX મૂલ્યોનો ઉપયોગ એલાર્મ સ્તરને સમાયોજિત કરવા માટે થઈ શકે છે. રિપોર્ટ ફીલ્ડનો ઉપયોગ એક વખત કોમર્શિયલ ETL પ્રોડક્ટમાં મેસેજ તરીકે થતો હતો જે યોગ્ય રીતે ઈમેલ કેવી રીતે મોકલવા તે જાણતા ન હતા, તેથી rpad એ "ક્રચ" છે.

મોટા કોષ્ટકના કિસ્સામાં, તમે ઉમેરી શકો છો, ઉદાહરણ તરીકે, AND ROWNUM <= 10, એટલે કે. જો ત્યાં 10 ભૂલો છે, તો આ એલાર્મ માટે પૂરતું છે.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

પ્રકાશન પુસ્તકમાંથી સામગ્રીનો ઉપયોગ કરે છે
રોનાલ્ડ બેચમેન, ડો. ગાઇડો કેમ્પર
રાઉસ ઓસ ડેર BI-ફાલે
બિઝનેસ ઇન્ટેલિજન્સ ઝુમ Erfolg wird

સોર્સ: www.habr.com