Kakovost podatkov v shrambi

Kakovost podatkov v skladišču je pomembna predpostavka za pridobitev dragocenih informacij. Slaba kakovost vodi do negativne začaranosti v dolgoročnem smislu.
Najprej se izgubi zaupanje v posredovane informacije. Ljudje začnejo manj uporabljati aplikacije Business Intelligence, potencial aplikacij ostaja neizkoriščen.
Posledično se postavlja pod vprašaj nadaljnje vlaganje v analitični projekt.

Odgovornost za kakovost podatkov

Vidik, povezan z izboljšanjem kakovosti podatkov, je izredno pomemben v BI projektih. Vendar pa ni privilegij le tehničnih strokovnjakov.
Na kakovost podatkov vplivajo tudi naslednji vidiki:

Korporativna kultura

• Ali so sami zaposleni zainteresirani za proizvodnjo dobre kakovosti?
• Če ne, zakaj? Morda obstaja konflikt interesov.
• Morda so tu korporativna pravila, ki določajo odgovorne za kakovost?

Procesi

• Katere podatke ustvarjajo na koncu teh verig?
• Morda so operacijski sistemi nastavljeni tako, da je potrebno 'prilagajati', da odražajo določeno situacijo v resničnosti.
• Ali operacijski sistemi sami izvajajo preverjanje in usklajevanje podatkov?

Za kakovost podatkov v poročilnih sistemih so odgovorni vsi v organizaciji.

Opredelitev in pomen

Kakovost je potrjeno izpolnjevanje pričakovanj strank.

Vendar kakovost podatkov ne vsebuje določila. Vedno odraža kontekst uporabe. Skladišče podatkov in sistem BI imata drugačne cilje kot operacijski sistem, iz katerega so podatki pridobljeni.

Na primer, v operacijskem sistemu atribut stranke morda ni obvezno polje. V skladišču se lahko ta atribut uporablja kot mere, in njegovo izpolnjevanje je obvezno. To pa uvede potrebo po izpolnjenju z vrednostmi po privzetku.

Zahteve za skladišče podatkov se nenehno spreminjajo in so običajno višje kot tiste za operacijske sisteme. Lahko pa je tudi obratno, ko v skladišču ni potrebno shranjevati podrobnih informacij iz operacijskega sistema.

Da bi bila kakovost podatkov merljiva, morajo biti standardi za to opisani. Ljudje, ki uporabljajo informacije in številke pri svojem delu, morajo biti vključeni v proces opisovanja. Rezultat te vključitve je lahko pravilo, po katerem lahko z enega pogleda na tabelo rečemo, ali obstaja napaka ali ne. To pravilo je potrebno pripraviti v obliki skripte/kode za nadaljnjo verifikacijo.

Improving Data Quality

Nemogoče je očistiti in popraviti vse hipoteetske napake v procesu nalaganja podatkov v skladišče. Kakovostnih podatkov lahko dosežemo le z ozkim sodelovanjem vseh udeležencev. Ljudje, ki vnašajo podatke v operacijske sisteme, se morajo naučiti, katere akcije povzročajo napake.

Kakovost podatkov je proces. Na žalost mnoge organizacije nimajo strategije za njegovo stalno izboljševanje. Mnogi se omejijo samo na hranjenje podatkov in ne izkoristijo vseh potencialov analitičnih sistemov. Kot pravilo, se pri razvoju skladišč podatkov 70-80% proračuna porabi za izvedbo integracije podatkov. Proces nadzora in izboljševanja ostaja nedokončan, če sploh ostane.

Orodja

Uporaba programskih orodij lahko pomaga pri procesih avtomatizacije izboljšanja in spremljanja kakovosti podatkov. Na primer, z njimi lahko popolnoma avtomatiziramo tehnično preverjanje struktur skladišča: format polj, prisotnost privzetih vrednosti, skladnost s specifikacijami imen polj tabel.

Težje je lahko pri preverjanju vsebine. Ker se zahteve za skladišče spreminjajo, se lahko spremeni tudi interpretacija podatkov. Orodje se samo lahko spremeni v velik projekt, ki zahteva podporo.

Nasvet

Relacijske baze podatkov, v katerih se običajno načrtujejo skladišča, imajo čudovito sposobnost ustvarjanja predstavitev (view-ov). Te se lahko uporabljajo za hitro preverjanje podatkov, če poznamo posebnosti vsebine. Vsak primer odkritja napake ali težave v podatkih lahko zabeležimo v obliki poizvedbe v bazi podatkov.

Tako se bo oblikovala baza znanja o vsebini. Seveda morajo biti taki poizvedbe hitre. Na splošno vzdrževanje pogledov vzame manj človeškega časa kot orodja, organizirana v tabelah. Pogled je vedno pripravljen, da prikaže rezultat preverjanja.
V primeru pomembnih poročil lahko pogled vsebuje stolpec z naslovnikom. Smiselno je, da z istimi sredstvi BI izdelamo poročilo o stanju kakovosti podatkov v skladišču.

Primer

Poizvedba je napisana za bazo Oracle. V tem primeru testi vračajo numerično vrednost, ki jo lahko ustrezno interpretiramo. Z vrednostmi T_MIN in T_MAX lahko uravnavamo stopnjo alarmnosti. Polje REPORT se je nekoč uporabljalo kot sporočilo v komercialnem ETL produktu, ki ni znal dostojno pošiljati e-pošte, zato je rpad — to "popravek".

V primeru velike tabele lahko dodate, na primer, AND ROWNUM <= 10, torej, če se nabere deset napak, je to dovolj za alarm.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test same
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Število praznin' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- ne privzeta vrednost
  AND ATTRIBUTE IS NULL ); -- število praznin

V publikaciji so uporabljeni materiali knjige
Ronald Bachmann, Dr. Guido Kemper
Izstop iz BI pasti
Kako postane poslovna inteligenca uspešna

Izvor: habr.com