Kvalita údajov v úložisku

Kvalita údajov v úložisku je dôležitou predpokladom na získanie cenných informácií. Zlá kvalita vedie k negatívnej reťazovej reakcii v dlhodobom horizonte.
Najprv sa stráca dôveryhodnosť poskytnutých informácií. Ľudia začínajú menej používať aplikácie Business Intelligence, potenciál aplikácií zostáva nevyužitý.
V dôsledku toho sa spochybňujú ďalšie investície do analytického projektu.

Zodpovednosť za kvalitu údajov

Aspekt súvisiaci s zlepšovaním kvality údajov je mimoriadne dôležitý v projektov BI. Avšak, nie je to privilégium len technických odborníkov.
Na kvalitu údajov vplývajú aj také aspekty, ako

Korporátna kultúra

• Sú zamestnanci sami zainteresovaní na produkcii kvalitných údajov?
• Ak nie, prečo? Môže tu byť konflikt záujmov.
• Existujú korporátne pravidlá, ktoré určujú zodpovedných za kvalitu?

Procesy

• Aké údaje sa vytvárajú na konci týchto reťazcov?
• Môžu byť operačné systémy nastavené tak, že je potrebné 'vymýšľať', aby sa odrazila tá alebo iná situácia v realite.
• Robia operačné systémy sami overenie a kontrolu údajov?

Za kvalitu údajov vo výkazníckych systémoch sú zodpovední všetci v organizácii.

Definícia a význam

Kvalita je potvrdené uspokojenie očakávaní zákazníka.

Ale kvalita údajov neobsahuje svoju definíciu. Vždy odráža kontext použitia. Úložisko údajov a systém BI plnia iné ciele ako operačný systém, z ktorého sú údaje získané.

Napríklad, v operačnom systéme môže byť atribút zákazníka nepovinné pole. V úložisku môže byť tento atribút použitý ako dimenzia a jeho vyplnenie je povinné. To, naopak, zavádza potrebu vyplniť ho hodnotami podľa predvoleného nastavenia.

Požiadavky na úložisko údajov sa neustále menia a sú zvyčajne vyššie ako požiadavky na operačné systémy. Ale môže to byť aj naopak, keď v úložisku nie je potrebné uchovávať podrobné informácie z operačného systému.

Aby bolo možné merať kvalitu údajov, musia byť opísané jeho štandardy. Ľudia, ktorí používajú informácie a čísla vo svojej práci, by mali byť zapojení do procesu opisu. Výsledkom tohto zapojenia môže byť pravidlo, podľa ktorého je možné jedným pohľadom na tabuľku povedať, či je chyba alebo nie. Toto pravidlo je potrebné vypracovať vo forme skriptu/kódu na neskoršiu verifikáciu.

Zlepšovanie kvality údajov

Nie je možné vyčistiť a opraviť všetky hypotetické chyby v procese načítania údajov do úložiska. Dobrú kvalitu údajov je možné dosiahnuť len prostredníctvom úzkej spolupráce všetkých účastníkov. Ľudia, ktorí vkladajú údaje do operačných systémov, by mali vedieť, aké činnosti vedú k chybám.

Kvalita údajov je proces. Bohužiaľ, vo mnohých organizáciách neexistuje stratégia na jej trvalé zlepšovanie. Mnohí sa obmedzujú len na uchovávanie údajov a nevyužívajú celý potenciál analytických systémov. Pri vývoji dátových skladov zvyčajne 70-80% rozpočtu ide na realizáciu integrácie údajov. Proces kontroly a zlepšovania zostáva nedotiahnutý, ak vôbec zostáva.

Nástroje

Aplikácia softvérových nástrojov môže pomôcť v procese automatizácie zlepšovania a monitorovania kvality údajov. Napríklad nimi je možné úplne automatizovať technickú kontrolu štruktúr úložiska: formát polí, prítomnosť hodnôt predvolených nastavení, súlad s požiadavkami názvov polí tabuliek.

S kontrolou obsahu to môže byť zložitejšie. Keďže požiadavky na úložisko sa menia, môže sa zmeniť aj interpretácia údajov. Nástroj sám o sebe sa môže stať obrovským projektom, ktorý potrebuje údržbu.

Tip

Relačné databázy, v ktorých sa obvykle navrhujú úložiská, majú pozoruhodnú schopnosť vytvárať pohľady (views). Tieto je možné použiť na rýchlu kontrolu údajov, ak sa poznajú osobitosti obsahu. Každý prípad zistenia chyby alebo problému v údajoch je možné zaznamenať vo formáte dopytu do databázy.

Týmto spôsobom sa vytvorí databáza znalostí o obsahu. Samozrejme, takéto dopyty by mali byť rýchle. Zvyčajne trvá správa zobrazení menej ľudského času ako nástroje organizované v tabuľkách. Zobrazenie je vždy pripravené zobraziť výsledok kontroly.
V prípade dôležitých správ môže zobrazenie obsahovať stĺpec s adresátom. Má zmysel použiť rovnaké prostriedky BI na vykazovanie stavu kvality údajov v úložisku.

Príklad

Dopyt je napísaný pre databázu Oracle. V tomto príklade testy vracajú číselnú hodnotu, ktorú je možné vhodne interpretovať. Hodnoty T_MIN a T_MAX možno regulovať úroveň alarmu. Pole REPORT sa kedysi používalo ako správa v komerčnom ETL produkte, ktorý nevedel riadne posielať e-maily, a preto je rpad „obchádzka“.

V prípade veľkej tabuľky je možné pridať napríklad AND ROWNUM <= 10, t.j. ak sa nazbieralo 10 chýb, to stačí na alarm.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test samotný
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Počet prázdnych' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- nie predvolená hodnota
  AND ATTRIBUTE IS NULL ); -- počet prázdnych

Vo publikácii boli použité materiály knihy
Ronald Bachmann, Dr. Guido Kemper
Preč z pasce BI
Ako sa Business Intelligence stáva úspechom

Zdroj: habr.com