Kvaliteta podataka u skladištu važna je precondition za dobivanje vrijednih informacija. Loša kvaliteta dovodi do negativnih posljedica na duži rok.
Prvo se gubi povjerenje u pružene informacije. Ljudi počinju manje koristiti aplikacije Business Intelligence, a potencijal tih aplikacija ostaje neiskorišten.
Kao rezultat toga, dovode se u pitanje buduće investicije u analitičke projekte.
Odgovornost za kvalitetu podataka
Aspekt koji se odnosi na poboljšanje kvalitete podataka izuzetno je važan u BI projektima. Međutim, on nije privilegija samo tehničkih stručnjaka.
Na kvalitetu podataka utječu također takvi aspekti kao
Korporativna kultura
- Da li su sami radnici zainteresirani za proizvodnju dobre kvalitete?
- Ako nisu, zašto? Možda postoji sukob interesa.
- Postoji li možda korporativna pravila koja određuju odgovorne za kvalitetu?
Procesi
- Koji se podaci stvaraju na kraju ovih lanaca?
- Možda su operativni sustavi podešeni tako da je potrebno "prilagoditi" se kako bi odražavali određenu situaciju u stvarnosti.
- Provode li operativni sustavi sami provjeru i usklađivanje podataka?
Za kvalitetu podataka u izvještajnim sustavima odgovorni su svi u organizaciji.
Definicija i značenje
Kvalitet je potvrđena satisfakcija očekivanja klijenta.
No kvaliteta podataka ne sadrži samu definiciju. Ona uvijek odražava kontekst korištenja. Skladište podataka i BI sustav imaju različite ciljeve od operativnog sustava iz kojeg su podaci preuzeti.
Na primjer, u operativnom sustavu atribut klijenta može biti neobavezno polje. U skladištu se taj atribut može koristiti kao mjera, a njegovo popunjavanje je obavezno. To, pak, uvodi potrebu za popunjavanjem vrijednostima po zadanom.
Zahtjevi za skladište podataka stalno se mijenjaju i obično su viši nego za operativne sustave. No može biti i obrnuto, kada skladištu nije potrebno pohranjivati detaljne informacije iz operativnog sustava.
Kako bi kvaliteta podataka bila mjerljiva, potrebno je definirati njezine standarde. Osobe koje koriste informacije i brojke za svoj rad trebaju biti uključene u proces njihove definicije. Rezultat te uključenosti može biti pravilo koje omogućava da se jednim pogledom na tablicu uoči postoji li greška ili ne. To pravilo treba oblikovati u obliku skripte/koda za daljnju provjeru.
Unapređenje kvalitete podataka
Nemoguće je očistiti i ispraviti sve hipotetske greške tijekom učitavanja podataka u skladište. Dobre kvalitete podataka može se postići samo kroz blisku suradnju svih sudionika. Osobe koje unose podatke u operativne sustave trebaju saznati koji postupci dovode do grešaka.
Kvaliteta podataka je proces. Nažalost, u mnogim organizacijama ne postoji strategija za njezino stalno poboljšanje. Mnogi se ograničavaju samo na pohranu podataka i ne koriste sav potencijal analitičkih sustava. Obično, prilikom razvoja skladišta podataka, 70-80% proračuna ide na implementaciju integracije podataka. Proces kontrole i poboljšanja ostaje nedovršen, ako uopće i ostane.
Alati
Primjena softverskih alata može pomoći u procesu automatizacije poboljšanja i praćenja kvalitete podataka. Na primjer, njima se može potpuno automatizirati tehnička provjera struktura skladišta: format polja, postojanje vrijednosti prema zadanim postavkama, usklađenost s zahtjevima naziva polja tablica.
Teže može biti s provjerom sadržaja. Kako se zahtjevi za skladištem mijenjaju, može se promijeniti i interpretacija podataka. Alat sam po sebi može postati ogroman projekt koji zahtijeva podršku.
Savjet
Relacijske baze podataka, u kojima se obično projektiraju skladišta, imaju izvanrednu mogućnost kreiranja prikaza (view-ova). Oni se mogu koristiti za brzu provjeru podataka, ako su poznate specifičnosti sadržaja. Svaki slučaj pronalaska greške ili problema u podacima može se zabilježiti kao upit u bazi podataka.
Na taj način će se formirati baza znanja o sadržaju. Naravno, takvi zahtjevi moraju biti brzi. Obično, održavanje prikaza traje manje ljudskog vremena nego alati organizirani u tablicama. Prikaz je uvijek spreman da prikaže rezultat provjere.
U slučaju važnih izvještaja, prikaz može sadržavati kolonu s adresatom. Ima smisla koristiti iste BI alate za izradu izvještaja o stanju kvalitete podataka u skladištu.
Primjer
Upit je napisan za Oracle bazu. U ovom primjeru, testovi vraćaju numeričku vrijednost koja se može interpretirati na potreban način. Vrijednosti T_MIN i T_MAX mogu regulirati stupanj uzbune. Polje REPORT nekada je korišteno kao poruka u komercijalnom ETL proizvodu, koji nije znao dostojno slati e-mailove, pa je rpad – to je "fix".
U slučaju velike tablice, može se dodati, na primjer, AND ROWNUM <= 10, tj. ako se prikupilo 10 grešaka, to je dovoljno za uzbunu.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT >= T_MIN AND OUTPUT <= T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION, 60, ' ') || rpad(OUTPUT, 8, ' ') || rpad(T_MIN, 8, ' ') || rpad(T_MAX, 8, ' ') AS REPORT
FROM (-- Test itself
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Count of blanks' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- not default value
AND ATTRIBUTE IS NULL ); -- count blanks
U publikaciji su korišteni materijali iz knjige
Ronald Bachmann, Dr. Guido Kemper
Izlazak iz BI zamke
Kako Business Intelligence postaje uspjeh
Izvor: habr.com
