Il-kwalità tad-dejta fil-maħżen hija prerekwiżit importanti biex tinkiseb informazzjoni siewja. Kwalità fqira twassal għal reazzjoni katina negattiva fit-tul.
L-ewwel, il-fiduċja fl-informazzjoni pprovduta tintilef. In-nies qed jibdew jużaw inqas applikazzjonijiet tal-Business Intelligence; il-potenzjal tal-applikazzjonijiet għadu mhux mitlub.
Bħala riżultat, aktar investiment fil-proġett analitiku jitqiegħed f'dubju.
Responsabbiltà għall-kwalità tad-data
L-aspett relatat mat-titjib tal-kwalità tad-dejta huwa importanti ħafna fi proġetti tal-BI. Madankollu, mhuwiex il-privileġġ ta 'speċjalisti tekniċi biss.
Il-kwalità tad-dejta hija wkoll influwenzata minn aspetti bħal
Kultura korporattiva
- Il-ħaddiema nfushom huma interessati li jipproduċu kwalità tajba?
- Jekk le, għaliex le? Jista' jkun hemm kunflitt ta' interess.
- Forsi hemm regoli korporattivi li jiddeterminaw min huwa responsabbli għall-kwalità?
Proċessi
- X'dejta tinħoloq fl-aħħar ta' dawn il-ktajjen?
- Forsi s-sistemi operattivi huma kkonfigurati b'tali mod li għandek bżonn "tgħawweġ" biex tirrifletti din jew dik is-sitwazzjoni fir-realtà.
- Is-sistemi operattivi jwettqu l-verifika u r-rikonċiljazzjoni tad-dejta huma stess?
Kulħadd fl-organizzazzjoni huwa responsabbli għall-kwalità tad-dejta fis-sistemi ta’ rappurtar.
Definizzjoni u tifsira
Il-kwalità hija s-sodisfazzjon ippruvat tal-aspettattivi tal-klijenti.
Iżda l-kwalità tad-dejta ma fihiex definizzjoni. Dejjem tirrifletti l-kuntest tal-użu. Il-maħżen tad-dejta u s-sistema BI jaqdu skopijiet differenti mis-sistema operattiva li minnha tiġi d-dejta.
Pereżempju, fuq sistema operattiva, l-attribut tal-klijent jista' jkun qasam fakultattiv. Fir-repożitorju, dan l-attribut jista 'jintuża bħala dimensjoni u l-mili tiegħu huwa meħtieġ. Li, min-naħa tiegħu, jintroduċi l-ħtieġa li timla l-valuri awtomatiċi.
Ir-rekwiżiti tal-ħażna tad-dejta qed jinbidlu kontinwament u ġeneralment ikunu ogħla minn dawk għas-sistemi operattivi. Iżda jista 'jkun ukoll bil-maqlub, meta ma jkunx hemm bżonn li tinħażen informazzjoni dettaljata mis-sistema operattiva fil-ħażna.
Biex il-kwalità tad-dejta tkun tista' titkejjel, l-istandards tagħha għandhom jiġu deskritti. Nies li jużaw informazzjoni u figuri għax-xogħol tagħhom għandhom ikunu involuti fil-proċess tad-deskrizzjoni. Ir-riżultat ta 'dan l-involviment jista' jkun regola, li warajha wieħed jista 'jgħid f'daqqa t'għajn lejn il-mejda jekk hemmx żball jew le. Din ir-regola għandha tkun ifformattjata bħala script/kodiċi għal verifika sussegwenti.
Titjib tal-kwalità tad-dejta
Huwa impossibbli li tnaddaf u tikkoreġi l-iżbalji ipotetiċi kollha matul il-proċess tat-tagħbija tad-dejta fil-maħżen. Kwalità tajba tad-dejta tista' tinkiseb biss permezz ta' kollaborazzjoni mill-qrib bejn il-parteċipanti kollha. Nies li jdaħħlu data fis-sistemi operattivi jeħtieġ li jitgħallmu liema azzjonijiet iwasslu għal żbalji.
Il-kwalità tad-dejta hija proċess. Sfortunatament, ħafna organizzazzjonijiet m'għandhomx strateġija għal titjib kontinwu. Ħafna jillimitaw ruħhom biss biex jaħżnu d-dejta u ma jużawx il-potenzjal sħiħ tas-sistemi analitiċi. Tipikament, meta jiġu żviluppati mħażen tad-dejta, 70-80% tal-baġit jintefaq fuq l-implimentazzjoni tal-integrazzjoni tad-dejta. Il-proċess ta' monitoraġġ u titjib għadu mhux komplut, jekk xejn.
Għodod
L-użu ta' għodod tas-softwer jista' jgħin fil-proċess ta' awtomatizzazzjoni tat-titjib u l-monitoraġġ tal-kwalità tad-dejta. Pereżempju, jistgħu awtomatizzati bis-sħiħ il-verifika teknika tal-istrutturi tal-ħażna: format tal-qasam, preżenza ta 'valuri awtomatiċi, konformità mal-ismijiet tal-kamp tat-tabella.
Jista 'jkun aktar diffiċli li tivverifika l-kontenut. Hekk kif ir-rekwiżiti tal-ħażna jinbidlu, l-interpretazzjoni tad-dejta tista' tinbidel ukoll. L-għodda nnifisha tista 'ssir proġett kbir li jeħtieġ appoġġ.
Tip
Databases relazzjonali, li fihom il-ħwienet huma tipikament iddisinjati, għandhom l-abbiltà notevoli li joħolqu fehmiet. Jistgħu jintużaw biex jiċċekkjaw malajr id-dejta jekk taf l-ispeċifiċitajiet tal-kontenut. Kull każ ta 'sejba ta' żball jew problema fid-data jista 'jiġi rreġistrat fil-forma ta' mistoqsija ta 'database.
B'dan il-mod, se tiġi ffurmata bażi ta 'għarfien dwar il-kontenut. Naturalment, talbiet bħal dawn għandhom ikunu veloċi. Il-veduti tipikament jeħtieġu inqas ħin uman biex jinżammu minn għodod ibbażati fuq il-mejda. Il-veduta hija dejjem lesta biex turi r-riżultat tat-test.
Fil-każ ta' rapporti importanti, il-veduta jista' jkun fiha kolonna mar-riċevitur. Jagħmel sens li tuża l-istess għodod tal-BI biex tirrapporta dwar l-istat tal-kwalità tad-dejta fil-maħżen.
Eżempju
Il-mistoqsija nkitbet għad-database Oracle. F'dan l-eżempju, it-testijiet jirritornaw valur numeriku li jista' jiġi interpretat kif mixtieq. Il-valuri T_MIN u T_MAX jistgħu jintużaw biex jaġġustaw il-livell ta 'allarm. Il-qasam RAPPORT darba kien użat bħala messaġġ fi prodott ETL kummerċjali li ma kienx jaf kif jibgħat emails sew, għalhekk rpad huwa "crutch".
Fil-każ ta 'tabella kbira, tista' żżid, pereżempju, AND ROWNUM <= 10, i.e. jekk ikun hemm 10 żbalji, allura dan huwa biżżejjed biex jikkawża allarm.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Count of blanks' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- not default value
AND ATTRIBUTE IS NULL ); -- count blanks
Il-pubblikazzjoni tuża materjali mill-ktieb
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird
Sors: www.habr.com