Calitatea datelor în stocare este o premisă importantă pentru obținerea de informații valoroase. O calitate slabă duce la o reacție în lanț negativă pe termen lung.
Inițial, se pierde încrederea în informațiile furnizate. Oamenii încep să utilizeze mai puțin aplicațiile de Business Intelligence, iar potențialul aplicațiilor rămâne nevalorificat.
Ca rezultat, se pun la îndoială investițiile ulterioare în proiectul analitic.
Responsabilitatea pentru calitatea datelor
Aspectul legat de îmbunătățirea calității datelor este extrem de important în proiectele BI. Totuși, nu este o privilegiu doar pentru specialiștii tehnici.
Calitatea datelor este influențată și de aspecte precum
Cultura organizațională
- Sunt angajații însărcinați cu producerea unor date de bună calitate interesați?
- Dacă nu, de ce? Poate că există un conflict de interese.
- Poate există reguli corporative care stabilesc persoanele responsabile pentru calitate?
Procese
- Ce date sunt generate la sfârșitul acestor lanțuri?
- Poate sistemele operaționale sunt configurate astfel încât să fie nevoie de „străduință” pentru a reflecta o anumită situație din realitate.
- Sistemele operaționale își efectuează singure verificarea și reconcilierea datelor?
Toată lumea din organizație este responsabilă de calitatea datelor în sistemele de raportare.
Definiție și semnificație
Calitatea este satisfacerea confirmată a așteptărilor clientului.
Dar calitatea datelor nu conține o definiție. Aceasta reflectă întotdeauna contextul utilizării. Stocarea datelor și sistemul BI îndeplinesc scopuri diferite față de sistemul operațional din care provine datele.
De exemplu, în sistemul operațional, atributul clientului poate fi un câmp opțional. În stocare, acest atribut poate fi folosit ca măsură și completarea sa este obligatorie. Ceea ce, la rândul său, introduce necesitatea de a completa cu valori implicite.
Cerințele pentru stocarea datelor se schimbă constant și de obicei sunt mai ridicate decât cele pentru sistemele operaționale. Dar poate fi și invers, atunci când în stocare nu este necesară păstrarea informațiilor detaliate din sistemul operațional.
Pentru a face calitatea datelor măsurabilă, trebuie definite standardele lor. Persoanele care utilizează informații și cifre în activitățile lor trebuie să fie implicate în procesul de descriere. Rezultatul acestei implicări poate fi o regulă, conform căreia, dintr-o singură privire asupra unui tabel, se poate spune dacă există o eroare sau nu. Această regulă trebuie formalizată sub forma unui script/cod pentru o verificare ulterioară.
Îmbunătățirea calității datelor
Nu este posibil să cureți și să repari toate erorile ipotetice în procesul de încărcare a datelor în depozit. O calitate bună a datelor poate fi realizată numai prin colaborarea strânsă a tuturor participanților. Persoanele care introduc date în sistemele operaționale trebuie să învețe ce acțiuni duc la erori.
Calitatea datelor este un proces. Din păcate, în multe organizații nu există o strategie pentru îmbunătățirea sa continuă. Multe se limitează doar la păstrarea datelor și nu utilizează întregul potențial al sistemelor analitice. De regulă, în dezvoltarea depozitelor de date, 70-80% din buget se cheltuie pentru implementarea integrării datelor. Procesul de control și îmbunătățire rămâne nefinalizat, dacă nu cumva rămâne absent.
Instrumente
Aplicarea instrumentelor software poate ajuta în procesul de automatizare a îmbunătățirii și monitorizării calității datelor. De exemplu, acestea pot automatiza complet verificarea tehnică a structurilor depozitului: formatul câmpurilor, prezența valorilor implicite, conformitatea cu cerințele denumirilor câmpurilor din tabele.
Verificarea conținutului poate fi mai complicată. Deoarece cerințele pentru depozit se schimbă, interpretarea datelor se poate schimba. Instrumentul însuși poate deveni un proiect uriaș, care necesită mentenanță.
Sfaturi
Bazele de date relaționale, în care de obicei sunt proiectate depozitele, au o capacitate remarcabilă de a crea viziuni (view-uri). Acestea pot fi folosite pentru o verificare rapidă a datelor, dacă se cunosc trăsăturile conținutului. Fiecare caz de găsire a unei erori sau probleme în date poate fi înregistrat sub forma unei interogări la baza de date.
Astfel, se va forma o bază de cunoștințe despre conținut. Desigur, aceste interogări trebuie să fie rapide. De obicei, întreținerea vederilor durează mai puțin timp uman decât instrumentele organizate pe tabele. Vederea este întotdeauna pregătită să afișeze rezultatul verificării.
În cazul rapoartelor importante, vederea poate conține o coloană cu destinatarul. Are sens să utilizăm aceleași instrumente BI pentru a realiza o raportare a stării calității datelor în depozit.
Exemplu
Interogarea este scrisă pentru baza de date Oracle. În acest exemplu, testele returnează o valoare numerică, care poate fi interpretată în modul dorit. Valorile T_MIN și T_MAX pot regla gradul de alarmă. Câmpul REPORT a fost folosit inițial ca mesaj într-un produs ETL comercial, care nu putea trimite emailuri în mod adecvat, așa că rpad este un „workaround”.
În cazul unei tabele mari, se poate adăuga, de exemplu, AND ROWNUM <= 10, adică, dacă s-au acumulat 10 erori, acesta este suficient pentru a activa alarma.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Testul propriu-zis
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Numărul de goluri' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- valoare implicită
AND ATTRIBUTE IS NULL ); -- numără golurile
Publicația folosește materiale din cartea
Ronald Bachmann, Dr. Guido Kemper
Iesire din capcana BI
Cum devine Business Intelligence un succes
Sursa: habr.com
