La qualità dei dati nel database è un prerequisito fondamentale per ottenere informazioni preziose. Una scarsa qualità porta a una reazione a catena negativa a lungo termine.
Per prima cosa, si perde fiducia nelle informazioni fornite. Le persone iniziano a utilizzare meno le applicazioni di Business Intelligence, e il potenziale delle applicazioni rimane inespresso.
Di conseguenza, si mette in discussione ulteriori investimenti nel progetto analitico.
Responsabilità per la qualità dei dati
L'aspetto legato al miglioramento della qualità dei dati è di estrema importanza nei progetti BI. Tuttavia, non è un privilegio riservato solo ai tecnici.
Anche aspetti come
La cultura aziendale
- I dipendenti stessi sono interessati a produrre una buona qualità?
- In caso contrario, perché? Potrebbe esserci un conflitto di interessi.
- Esistono regole aziendali che definiscono i responsabili della qualità?
Processi
- Quali dati vengono generati alla fine di queste catene?
- Le operazioni potrebbero essere configurate in modo tale da dover 'farsi strada' per riflettere questa o quella situazione nella realtà.
- I sistemi operativi effettuano da soli il controllo e la verifica dei dati?
Tutti all'interno dell'organizzazione sono responsabili della qualità dei dati nei sistemi di reportistica.
Definizione e significato
La qualità è la conferma della soddisfazione delle aspettative del cliente.
Tuttavia, la qualità dei dati non contiene una definizione intrinseca. Essa riflette sempre il contesto d'uso. Il data warehouse e il sistema BI hanno scopi diversi rispetto al sistema operativo da cui i dati provengono.
Ad esempio, in un sistema operativo l'attributo cliente può non essere un campo obbligatorio. Nel data warehouse, questo attributo può essere utilizzato come misura e la sua compilazione è obbligatoria. Ciò comporta, a sua volta, la necessità di riempire il campo con valori di default.
I requisiti per il data warehouse cambiano costantemente e sono generalmente più elevati rispetto a quelli dei sistemi operativi. Ma può essere anche il contrario, quando nel data warehouse non è necessario conservare informazioni dettagliate dal sistema operativo.
Per rendere la qualità dei dati misurabile, devono essere descritti i suoi standard. Le persone che utilizzano informazioni e numeri per il proprio lavoro devono essere coinvolte nel processo di descrizione. Il risultato di questo coinvolgimento può essere una regola che permette, a colpo d'occhio, di stabilire se ci sia un errore o meno. Questa regola deve essere formalizzata in forma di script/codice per la verifica successiva.
Miglioramento della qualità dei dati
Non è possibile ripulire e correggere tutti gli errori ipotetici durante il caricamento dei dati nel repository. Una buona qualità dei dati può essere raggiunta solo attraverso una stretta collaborazione tra tutti i partecipanti. Le persone che inseriscono dati nei sistemi operativi devono sapere quali azioni portano a errori.
La qualità dei dati è un processo. Purtroppo, molte organizzazioni non hanno una strategia per il miglioramento continuo. Molti si limitano a conservare i dati, senza sfruttare appieno il potenziale dei sistemi analitici. Di norma, nella realizzazione dei data warehouse, il 70-80% del budget viene speso per implementare l'integrazione dei dati. Il processo di controllo e miglioramento rimane incompleto, se non del tutto trascurato.
Strumenti
L'uso di strumenti software può agevolare l'automazione del miglioramento e del monitoraggio della qualità dei dati. Ad esempio, possono automatizzare completamente la verifica tecnica delle strutture di archiviazione: il formato dei campi, la presenza di valori predefiniti, e la conformità ai requisiti dei nomi dei campi delle tabelle.
La verifica del contenuto può risultare più complessa. Poiché i requisiti per l'archiviazione cambiano, può mutare anche l'interpretazione dei dati. Lo strumento stesso può trasformarsi in un enorme progetto che richiede manutenzione.
Suggerimento
I database relazionali, in cui di solito vengono progettati gli archivi, hanno l'ottima capacità di creare viste. Queste possono essere utilizzate per una rapida verifica dei dati, se si conoscono le peculiarità dei contenuti. Ogni caso di errore o problema nei dati può essere registrato come una query al database.
In questo modo, si formerà una base di conoscenza sui contenuti. Naturalmente, tali richieste devono essere rapide. In genere, la gestione delle visualizzazioni richiede meno tempo umano rispetto agli strumenti organizzati in tabelle. La visualizzazione è sempre pronta a mostrare il risultato del controllo.
Nel caso di rapporti importanti, la visualizzazione può contenere una colonna con il destinatario. Ha senso utilizzare gli stessi strumenti di BI per creare rapporti sullo stato della qualità dei dati nel deposito.
Esempio
La query è scritta per un database Oracle. In questo esempio, i test restituiscono un valore numerico, che può essere interpretato come necessario. I valori di T_MIN e T_MAX possono regolare il livello di allerta. Il campo REPORT era un tempo utilizzato come messaggio in un prodotto ETL commerciale, che non riusciva a inviare email in modo adeguato, quindi rpad è un "workaround".
Nel caso di una grande tabella, si può aggiungere, ad esempio, AND ROWNUM <= 10, cioè se si sono verificate 10 errori, questo è sufficiente per attivare l'allerta.
CREA O SOSTITUISCI LA VISTA V_QC_DIM_PRODUCT_01 COME
SELEZIONA
CASE WHEN OUTPUT>=T_MIN E OUTPUT<=T_MAX
ALLORA 'OK' ALTRO 'ERRORE' FINE COME RISULTATO,
DESCRIZIONE,
NOME_TABELL,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIZIONE,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') COME REPORT
DA (-- Il test stesso
SELEZIONA
'DIM_PRODUCT' COME NOME_TABELL,
'Conteggio degli spazi vuoti' COME DESCRIZIONE,
COUNT(*) COME OUTPUT,
0 COME T_MIN,
10 COME T_MAX
DA DIM_PRODUCT
DOVE DIM_PRODUCT_ID != -1 -- non valore predefinito
E L'ATTRIBUTE È NULL ); -- conteggia gli spazi vuoti
Sono stati utilizzati materiali del libro
Ronald Bachmann, Dr. Guido Kemper
Fuori dalla trappola BI
Come la Business Intelligence può avere successo
Fonte: habr.com
