Datakvalitet i lagringen

Kvaliteten på dataene i lagringen er en viktig forutsetning for å oppnå verdifull informasjon. Dårlig kvalitet fører til en negativ kjedereaksjon på lang sikt.
Først mister man tilliten til den informasjonen som tilbys. Folk begynner å bruke Business Intelligence-applikasjonene mindre, og potensialet i applikasjonene forblir ubenyttet.
Som et resultat stilles videre investeringer i det analytiske prosjektet spørsmål.

Ansvar for datakvalitet

Aspektet knyttet til å forbedre datakvalitet er megaviktig i BI-prosjekter. Men det er ikke kun privilegiet til tekniske spesialister.
Datakvalitet påvirkes også av aspekter som

Bedriftskultur

• Er de ansatte selv interessert i å produsere god kvalitet?
• Hvis ikke, hvorfor? Kan det være interessekonflikter?
• Kan det være bedriftsregler som bestemmer hvem som er ansvarlig for kvaliteten?

Prosesser

• Hvilke data produseres i enden av disse kjedene?
• Kanskje er operativsystemene konfigurert slik at man må "kjempe" for å gjenspeile en bestemt situasjon i virkeligheten.
• Utfører operativsystemene selv sjekk og verifisering av dataene?

Alle i organisasjonen er ansvarlige for datakvaliteten i rapporteringssystemene.

Definisjon og betydning

Kvalitet er bekreftet tilfredsstillelse av kundens forventninger.

Men datakvalitet inneholder ikke en definisjon. Den reflekterer alltid bruken av konteksten. Datavarehuset og BI-systemet har andre mål enn operativsystemet hvor dataene er hentet fra.

For eksempel kan kundeattributtet i operativsystemet være et valgfritt felt. I lagringen kan dette attributtet brukes som en dimensjon og dets utfylling er obligatorisk. Dette medfører i sin tur behovet for å fylle ut med standardverdier.

Kravene til datalagring endres stadig og de er vanligvis høyere enn kravene til operativsystemene. Men det kan også være omvendt, når lagringen ikke krever å oppbevare detaljert informasjon fra operativsystemet.

For data quality to be measurable, its standards must be described. Those who use information and figures in their work should be involved in the description process. The result of this involvement can be a rule that allows one to determine at a glance whether there is an error in the table or not. This rule needs to be formalized in the form of a script/code for subsequent verification.

Data Quality Improvement

It is impossible to clean and correct all hypothetical errors in the data loading process into the storage. Good data quality can only be achieved through close collaboration among all participants. The people entering data into operational systems need to learn what actions lead to errors.

Data quality is a process. Unfortunately, many organizations lack a strategy for its continuous improvement. Many limit themselves to merely storing data and do not utilize the full potential of analytical systems. Typically, in the development of data warehouses, 70-80% of the budget goes to data integration implementation. The process of control and improvement remains underdeveloped, if it exists at all.

Tools

The use of software tools can assist in the automation of improving and monitoring data quality. For example, they can fully automate the technical verification of storage structures: field formats, existence of default values, compliance with table field name requirements.

It can be more challenging to verify the content. As storage requirements change, so may the interpretation of data. The tool itself can turn into a massive project requiring support.

Advice

Relational databases, in which warehouses are typically designed, have the remarkable ability to create views. These can be used for quick data verification if the specifics of the content are known. Each instance of finding an error or problem in the data can be recorded as a query to the database.

Slik vil det dannes en kunnskapsbase om innholdet. Selvfølgelig må slike forespørsel være raske. Vanligvis tar det mindre menneskelig tid å vedlikeholde visninger enn verktøy organisert i tabeller. Visningen er alltid klar til å vise resultatet av kontrollen.
I tilfellet med viktige rapporter kan visningen inneholde en kolonne med mottakeren. Det gir mening å bruke de samme BI-verktøyene til å lage rapporter om datakvaliteten i lagringen.

Eksempel

Forespørselen er skrevet for Oracle-databasen. I dette eksemplet returnerer testene et numerisk verdien som kan tolkes på ønsket måte. Verdiene T_MIN og T_MAX kan justere graden av varsling. Feltet REPORT ble en gang brukt som melding i et kommersielt ETL-produkt som ikke kunne sende e-poster på en ordentlig måte, så rpad er en 'løsning'.

I tilfelle av en stor tabell kan man legge til for eksempel AND ROWNUM <= 10, dvs. hvis 10 feil har blitt samlet, er dette nok for en varsling.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Testen selv
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Antall tomrom' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- ikke standardverdi
  AND ATTRIBUTE IS NULL ); -- tell tomrom

Artikkelen bruker materiale fra boken
Ronald Bachmann, Dr. Guido Kemper
Ut av BI-fellen
Slik blir Business Intelligence en suksess

Kilde: habr.com