A qualità di e dati in u magazzinu hè un prerequisite impurtante per ottene informazioni preziose. A qualità povera porta à una reazione negativa in catena à longu andà.
Prima, a fiducia in l'infurmazioni furnite hè persa. E persone cumincianu à utilizà l'applicazioni di Business Intelligence menu u putenziale di l'applicazioni ùn hè micca riclamatu.
In u risultatu, l'investimentu ulteriore in u prughjettu analiticu hè in quistione.
Rispunsabilità per a qualità di dati
L'aspettu ligatu à migliurà a qualità di dati hè mega-impurtante in i prughjetti di BI. Tuttavia, ùn hè micca u privilegiu di solu specialisti tecnichi.
A qualità di dati hè ancu influenzata da tali aspetti cum'è
Cultura corporativa
- Sò i travagliadori stessi interessate à pruduce una bona qualità ?
- Se no, perchè micca? Ci pò esse un cunflittu di interessu.
- Forsi ci sò reguli corporativi chì determinanu quale hè rispunsevule per a qualità?
I prucessi
- Chì dati sò creati à a fine di sti catene ?
- Forsi i sistemi operativi sò cunfigurati in tale manera chì avete bisognu di "torce" per riflette questa o quella situazione in a realità.
- I sistemi operativi facenu a verificazione di dati è a cunciliazione stessi?
Tutti in l'urganizazione sò rispunsevuli di a qualità di e dati in i sistemi di rapportu.
Definizione è significatu
A qualità hè a satisfaczione pruvata di l'aspettattivi di i clienti.
Ma a qualità di dati ùn cuntene micca una definizione. Sempre riflette u cuntestu di usu. U magazzinu di dati è u sistema di BI servenu scopi diversi da u sistema operatore da quale vene i dati.
Per esempiu, in un sistema operatore, l'attributu di u cliente pò esse un campu opcional. In u repositoriu, stu attributu pò esse usatu cum'è una dimensione è u so riempimentu hè necessariu. Chì, à u turnu, introduce a necessità di riempie i valori predeterminati.
I bisogni di almacenamiento di dati sò in constantemente cambiante è sò generalmente più altu di quelli per i sistemi operativi. Ma pò ancu esse l'altru, quandu ùn ci hè micca bisognu di guardà infurmazioni detallati da u sistema operatore in u almacenamiento.
Per fà a qualità di dati misurabile, i so standard deve esse descritti. E persone chì utilizanu informazioni è figuri per u so travagliu deve esse implicati in u prucessu di descrizzione. U risultatu di sta implicazione pò esse una regula, seguitu à quale unu pò dì à un sguardu à a tavula s'ellu ci hè un errore o micca. Questa regula deve esse furmatu cum'è un script / codice per a verificazione successiva.
Migliurà a qualità di dati
Hè impussibile di pulizziari è corregge tutti l'errori ipotetichi durante u prucessu di carica di dati in u magazzinu. Una bona qualità di dati pò esse ottenuta solu per una stretta cullaburazione trà tutti i participanti. E persone chì entranu dati in i sistemi operativi anu bisognu di sapè ciò chì l'azzioni portanu à l'errore.
A qualità di dati hè un prucessu. Sfortunatamente, assai urganisazioni ùn anu micca una strategia per a migliione cuntinua. Parechji si limitanu solu per almacenà e dati è ùn utilizanu micca tuttu u potenziale di i sistemi analitici. Di genere, quandu si sviluppanu magazzini di dati, u 70-80% di u budgetu hè spesu per implementà l'integrazione di dati. U prucessu di surviglianza è di migliuramentu resta incompletu, se micca.
Ferramenti
L'usu di l'uttene software pò aiutà in u prucessu di automatizà a migliione di a qualità di dati è u monitoraghju. Per esempiu, ponu automatizà cumplettamente a verificazione tecnica di e strutture di almacenamento: formatu di campu, presenza di valori predeterminati, rispettu di i nomi di campi di tabella.
Pò esse più difficiuli di verificà u cuntenutu. Quandu i bisogni di almacenamiento cambianu, l'interpretazione di e dati pò ancu cambià. U strumentu stessu pò diventà un prughjettu enormu chì necessita supportu.
Tip
E basa di dati relazionale, in quale i magazzini sò tipicamente designati, anu a capacità notevuli di creà viste. Puderanu esse aduprati per verificà rapidamente e dati se cunnosci i specificità di u cuntenutu. Ogni casu di truvà un errore o prublema in i dati pò esse registratu in forma di una basa di dati.
In questu modu, una basa di cunniscenza nantu à u cuntenutu serà furmatu. Di sicuru, tali richieste deve esse prestu. Viste tipicamente necessitanu menu tempu umanu per mantene chì l'arnesi basati in tavulinu. A vista hè sempre pronta per vede u risultatu di a prova.
In u casu di rapporti impurtanti, a vista pò cuntene una colonna cù u destinatariu. Hè sensu di utilizà i stessi strumenti di BI per rapportà u statu di a qualità di dati in u magazzinu.
Esempiu:
A dumanda hè stata scritta per a basa di dati Oracle. In questu esempiu, i testi tornanu un valore numericu chì pò esse interpretatu cum'è desideratu. I valori T_MIN è T_MAX ponu esse aduprati per aghjustà u livellu di alarme. U campu REPORT hè stata utilizata una volta cum'è un missaghju in un pruduttu ETL cummerciale chì ùn sapia micca cumu mandà bè email, cusì rpad hè una "crutch".
In u casu di una grande tavola, pudete aghjunghje, per esempiu, AND ROWNUM <= 10, i.e. s'ellu ci sò 10 errori, allora questu hè abbastanza per causà alarme.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Count of blanks' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- not default value
AND ATTRIBUTE IS NULL ); -- count blanks
A publicazione usa materiali da u libru
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird
Source: www.habr.com