D'Qualitéit vun den Daten am Lager ass eng wichteg Viraussetzung fir wäertvoll Informatioun ze kréien. Schlecht Qualitéit féiert zu enger negativer Kettenreaktioun op laang Siicht.
Als éischt ass d'Vertrauen an d'Informatioun verluer. D'Leit fänken un Business Intelligence Uwendungen manner ze benotzen; d'Potenzial vun Uwendungen bleift onerlaabt.
Als Resultat gëtt weider Investitiounen an den analytesche Projet a Fro gestallt.
Verantwortung fir Datenqualitéit
Den Aspekt am Zesummenhang mat der Verbesserung vun der Datequalitéit ass mega-wichteg an BI Projeten. Allerdéngs ass et net de Privileg vun nëmmen technesch Spezialisten.
Datequalitéit gëtt och beaflosst vu sou Aspekter wéi
Firmenkultur
- Sinn d'Aarbechter selwer interesséiert fir gutt Qualitéit ze produzéieren?
- Wann net, firwat net? Et kann en Interessekonflikt ginn.
- Vläicht ginn et Firmeregelen déi bestëmmen wien fir Qualitéit verantwortlech ass?
D'Prozesser
- Wéi eng Daten ginn um Enn vun dëse Ketten erstallt?
- Vläicht sinn d'Betribssystemer esou konfiguréiert datt Dir musst "verdréien" fir dës oder déi Situatioun an der Realitéit ze reflektéieren.
- Maacht Betribssystemer Datenverifizéierung a Reconciliatioun selwer?
Jiddereen an der Organisatioun ass verantwortlech fir d'Qualitéit vun den Daten a Berichterstattungssystemer.
Definitioun a Bedeitung
Qualitéit ass déi bewisen Zefriddenheet vun de Client Erwaardungen.
Awer Datenqualitéit enthält keng Definitioun. Et reflektéiert ëmmer de Kontext vum Gebrauch. D'Datelager an de BI System déngen aner Zwecker wéi de Betribssystem, aus deem d'Donnéeë kommen.
Zum Beispill, op engem Betribssystem, kann de Client Attribut en fakultativ Feld sinn. Am Repository kann dëst Attribut als Dimensioun benotzt ginn a seng Füllung ass erfuerderlech. Wat, ofwiesselnd, d'Noutwennegkeet agefouert fir Standardwäerter auszefëllen.
Datespeicherungsfuerderunge verännere sech dauernd a si sinn normalerweis méi héich wéi déi fir Betribssystemer. Awer et kann och de Géigendeel sinn, wann et net néideg ass fir detailléiert Informatioun vum Betribssystem an der Späichere ze späicheren.
Fir Datenqualitéit moossbar ze maachen, musse seng Norme beschriwwe ginn. Leit, déi Informatioun a Figure fir hir Aarbecht benotzen, mussen am Beschreiwungsprozess involvéiert sinn. D'Resultat vun dëser Bedeelegung kann eng Regel sinn, duerno kann een op ee Bléck op den Dësch soen ob et e Feeler ass oder net. Dës Regel muss als Skript / Code fir spéider Verifizéierung formatéiert ginn.
Verbesserung vun Daten Qualitéit
Et ass onméiglech all hypothetesch Feeler ze botzen an ze korrigéieren während dem Prozess vun der Luede vun Daten an de Lager. Gutt Datequalitéit kann nëmmen duerch enk Zesummenaarbecht tëscht all Participanten erreecht ginn. Leit, déi Daten an Betribssystemer aginn, musse léieren, wéi eng Aktiounen zu Feeler féieren.
Datequalitéit ass e Prozess. Leider hu vill Organisatiounen keng Strategie fir kontinuéierlech Verbesserung. Vill limitéieren sech fir nëmmen Daten ze späicheren a benotzen net dat vollt Potenzial vun analytesche Systemer. Typesch, wann Dir Datelager entwéckelt, ginn 70-80% vum Budget fir d'Ëmsetzung vun Datenintegratioun ausginn. Den Iwwerwaachungs- a Verbesserungsprozess bleift onkomplett, wann iwwerhaapt.
Tools
D'Benotzung vu Software Tools kann hëllefen am Prozess vun der Automatiséierung vun der Verbesserung vun der Datequalitéit an der Iwwerwaachung. Zum Beispill kënne se d'technesch Verifizéierung vu Späicherstrukturen voll automatiséieren: Feldformat, Präsenz vu Standardwäerter, Konformitéit mat Tabellefeldnimm.
Et kann méi schwéier sinn den Inhalt ze kontrolléieren. Wéi d'Späicherefuerderunge änneren, kann d'Interpretatioun vun den Donnéeën och änneren. D'Tool selwer kann e grousse Projet ginn deen Ënnerstëtzung erfuerdert.
Tip
Relational Datenbanken, an deenen Geschäfter typesch entworf sinn, hunn déi bemierkenswäert Fäegkeet fir Meenungen ze kreéieren. Si kënne benotzt ginn fir séier Daten z'iwwerpréiwen wann Dir d'Spezifizitéiten vum Inhalt kennt. All Fall fir e Feeler oder Problem an den Donnéeën ze fannen kann a Form vun enger Datebank Ufro opgeholl ginn.
Op dës Manéier gëtt eng Wëssensbasis iwwer den Inhalt geformt. Natierlech mussen esou Ufroe séier sinn. Views erfuerderen typesch manner mënschlech Zäit fir z'erhalen wéi Dësch-baséiert Tools. D'Vue ass ëmmer prett fir d'Resultat vum Test ze weisen.
Am Fall vu wichtege Berichter kann d'Vue eng Kolonn mam Empfänger enthalen. Et mécht Sënn déiselwecht BI Tools ze benotzen fir iwwer den Zoustand vun der Datequalitéit am Lager ze berichten.
Beispill:
D'Ufro gouf fir d'Oracle Datebank geschriwwen. An dësem Beispill ginn d'Tester en numeresche Wäert zréck, dee wéi gewënscht interpretéiert ka ginn. D'T_MIN an T_MAX Wäerter kënne benotzt ginn fir den Alarmniveau unzepassen. D'REPORT Feld gouf eemol als Message an engem kommerziellen ETL Produkt benotzt, deen net wousst wéi Dir E-Mailen richteg schéckt, sou datt rpad eng "Krëpp" ass.
Am Fall vun engem groussen Dësch kënnt Dir zum Beispill AN ROWNUM <= 10 addéieren, d.h. wann et 10 Feeler, dann ass dat genuch Alarm ze féieren.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Count of blanks' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- not default value
AND ATTRIBUTE IS NULL ); -- count blanks
D'Publikatioun benotzt Material aus dem Buch
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird
Source: will.com