Kvalita dat v úložišti je důležitým předpokladem pro získání cenných informací. Špatná kvalita vede k negativnímu řetězci reakcí v dlouhodobém horizontu.
Nejdříve se ztrácí důvěra v poskytované informace. Lidé začínají méně používat aplikace Business Intelligence, potenciál aplikací zůstává nedostatečně využit.
V důsledku toho se zpochybňují další investice do analytického projektu.
Odpovědnost za kvalitu dat
Aspekt spojený se zlepšením kvality dat je nesmírně důležitý v projektech BI. Nicméně není privilegium pouze technických specialistů.
Na kvalitu dat mají vliv také aspekty jako
Korporátní kultura
- Zajímají se sami zaměstnanci o výrobu kvalitních dat?
- Pokud ne, proč? Může existovat konflikt zájmů.
- Existují možná korporátní pravidla, která určují odpovědné za kvalitu?
Procesy
- Jaká data se vytvářejí na konci těchto řetězců?
- Možná jsou operační systémy nastaveny tak, že je třeba "vymýšlet" způsoby, jak odrážet určitou situaci v realitě.
- Provádějí operační systémy vlastní kontrolu a porovnání dat?
Za kvalitu dat v reportingových systémech jsou zodpovědní všichni v organizaci.
Definice a význam
Kvalita je potvrzené uspokojení očekávání zákazníka.
Ale kvalita dat neobsahuje v sobě definici. Vždy odráží kontext použití. Datové úložiště a systém BI plní jiné cíle než operační systém, odkud jsou data získána.
Například v operačním systému nemusí být atribut zákazníka povinným polem. V úložišti může být tento atribut používán jako měření a jeho vyplnění je povinné. To následně vyžaduje vyplnění hodnotami podle defaultu.
Požadavky na datové úložiště se neustále mění a obvykle jsou vyšší než ty pro operační systémy. Může však také existovat případ, kdy není nutné v úložišti uchovávat podrobné informace z operačního systému.
Aby kvalitativně vyhodnotit data, je nutné popsat jeho standardy. Lidé, kteří používají informace a čísla ve své práci, by měli být zapojeni do procesu popisu. Výsledkem tohoto zapojení může být pravidlo, podle kterého lze na první pohled na tabulku zjistit, zda došlo k chybě či nikoliv. Toto pravidlo by mělo být zpracováno ve formě skriptu/kódu pro další ověření.
Zlepšení kvality dat
Není možné vyčistit a opravit všechny hypotetické chyby v průběhu načítání dat do úložiště. Kvality dat lze dosáhnout pouze ve spolupráci všech zúčastněných. Lidé, kteří zadávají data do operačních systémů, by měli zjistit, které činnosti vedou k chybám.
Kvalita dat je proces. Bohužel mnoho organizací nemá strategii pro jeho neustálé zlepšování. Mnozí se omezují pouze na uchování dat a nevyužívají plný potenciál analytických systémů. Obecně se při vývoji datových skladů 70-80 % rozpočtu vynakládá na implementaci datové integrace. Proces sledování a zlepšování zůstává nedořešený, pokud vůbec existuje.
Nástroje
Použití softwarových nástrojů může pomoci v procesu automatizace zlepšení a monitorování kvality dat. Například je lze plně automatizovat k provádění technické kontroly struktur úložiště: formát polí, přítomnost výchozích hodnot, shoda s požadavky názvů polí tabulek.
Obtížnější může být kontrola obsahu. Jakmile se požadavky na úložiště mění, může se také změnit interpretace dat. Nástroj se sám může stát obrovským projektem vyžadujícím údržbu.
Tip
Relational database management systems, in which data warehouses are typically designed, have the wonderful capability of creating views. These can be used for quick data verification if the characteristics of the content are known. Each instance of finding an error or issue in the data can be recorded as a query to the database.
Tímto způsobem bude vytvořena základna znalostí o obsahu. Samozřejmě musí být tyto dotazy rychlé. Obvykle trvá zpracování pohledů méně lidského času než nástrojů organizovaných v tabulkách. Pohled je vždy připraven zobrazit výsledek kontroly.
V případě důležitých zpráv může pohled obsahovat sloupec s příjemcem. Dává smysl vytvářet zprávy o kvalitě dat v úložišti stejnými prostředky BI.
Příklad
Dotaz je napsán pro databázi Oracle. V tomto příkladu testy vrací numerickou hodnotu, kterou lze interpretovat podle potřeby. Hodnoty T_MIN a T_MAX mohou regulovat úroveň alarmu. Pole REPORT bylo kdysi používáno jako zpráva v komerčním ETL produktu, který neuměl řádně posílat e-maily, proto je rpad 'obejítí'.
V případě velké tabulky lze přidat například AND ROWNUM <= 10, tzn. pokud nastane 10 chyb, to stačí pro alarm.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test sám
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Počet prázdných míst' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- není výchozí hodnota
AND ATTRIBUTE IS NULL ); -- počet prázdných míst
V publikaci byly použity materiály z knihy
Ronald Bachmann, Dr. Guido Kemper
Z pasti BI
Jak se Business Intelligence stává úspěšnou
Zdroj: habr.com
