La qualità dei dati nel magazzino è una premessa importante per ottenere informazioni preziose. Una scarsa qualità porta a una reazione a catena negativa nel lungo termine.
Inizialmente, la fiducia nelle informazioni fornite viene meno. Le persone iniziano a utilizzare meno le applicazioni di Business Intelligence, lasciando inespresse le potenzialità delle applicazioni.
Di conseguenza, vengono messe in discussione ulteriori investimenti nei progetti analitici.
Responsabilità per la qualità dei dati
L'aspetto legato al miglioramento della qualità dei dati è di fondamentale importanza nei progetti di BI. Tuttavia, non è una prerogativa solo dei tecnici.
Anche aspetti come questi influenzano la qualità dei dati:
Cultura aziendale
- I dipendenti stessi sono interessati a produrre qualità?
- Se no, perché? Potrebbe esserci un conflitto di interessi.
- Esistono regole aziendali che definiscono i responsabili per la qualità?
Processi
- Quali dati vengono creati alla fine di queste catene?
- Le operazioni nei sistemi potrebbero essere configurate in modo da dover "aggiustare" la situazione reale.
- I sistemi operativi effettuano autonomamente controlli e riconciliazioni dei dati?
La responsabilità della qualità dei dati nei sistemi di reporting spetta a tutti nell'organizzazione.
Definizione e significato
La qualità è la conferma della soddisfazione delle aspettative del cliente.
Tuttavia, la qualità dei dati non ha una definizione fissa. Essa riflette sempre il contesto d'uso. Il magazzino dati e il sistema di BI hanno obiettivi diversi rispetto al sistema operativo da cui provengono i dati.
Ad esempio, nel sistema operativo l'attributo cliente potrebbe non essere un campo obbligatorio. Nel magazzino, questo attributo potrebbe essere utilizzato come dimensione e la sua compilazione è obbligatoria. Ciò introduce quindi la necessità di riempire con valori predefiniti.
I requisiti per il magazzino dati sono in continua evoluzione e sono generalmente superiori a quelli dei sistemi operativi. Ma può anche esserci il contrario, quando nel magazzino non è necessario conservare informazioni dettagliate dal sistema operativo.
Per rendere la qualità dei dati misurabile, devono essere descritti i suoi standard. Le persone che utilizzano informazioni e numeri per il loro lavoro devono essere coinvolte nel processo di descrizione. Il risultato di questo coinvolgimento potrebbe essere una regola, seguendo la quale si può facilmente capire a colpo d'occhio se c'è un errore nella tabella. Questa regola deve essere formulata in un copione/codice per una successiva verifica.
Miglioramento della qualità dei dati
Non è possibile pulire e correggere tutti gli errori ipotetici durante il caricamento dei dati nel magazzino. Una buona qualità dei dati può essere raggiunta solo attraverso una stretta collaborazione tra tutti i partecipanti. Le persone che inseriscono dati nei sistemi operativi devono capire quali azioni portano a errori.
La qualità dei dati è un processo. Sfortunatamente, in molte organizzazioni non esiste una strategia per il suo miglioramento continuo. Molti si limitano a mantenere i dati e non sfruttano appieno il potenziale dei sistemi analitici. In genere, durante lo sviluppo dei magazzini dei dati, il 70-80% del budget viene speso per l'implementazione dell'integrazione dei dati. Il processo di controllo e miglioramento rimane incompleto, se non addirittura trascurato.
Strumenti
L'uso di strumenti software può aiutare nel processo di automazione del miglioramento e del monitoraggio della qualità dei dati. Ad esempio, possono automatizzare completamente la verifica tecnica delle strutture del magazzino: formato dei campi, presenza di valori predefiniti, conformità ai requisiti sui nomi dei campi delle tabelle.
La verifica del contenuto può essere più complessa. Poiché i requisiti per il magazzino cambiano, può cambiare anche l'interpretazione dei dati. Lo strumento stesso può trasformarsi in un enorme progetto che richiede supporto.
Consiglio
I database relazionali, in cui vengono solitamente progettati i magazzini, hanno un'incredibile possibilità di creare viste (view). Possono essere utilizzati per una rapida verifica dei dati, se si conoscono le peculiarità del contenuto. Ogni caso di errore o problema nei dati può essere registrato sotto forma di query al database.
In questo modo si formerà una base di conoscenza sui contenuti. Naturalmente, tali richieste devono essere rapide. Di norma, la manutenzione delle viste richiede meno tempo umano rispetto agli strumenti organizzati su tabelle. La vista è sempre pronta a visualizzare il risultato del controllo.
Nel caso di report importanti, la vista può contenere una colonna per il destinatario. Ha senso utilizzare gli stessi strumenti BI per redigere rapporti sullo stato della qualità dei dati nel magazzino.
Esempio
La query è scritta per un database Oracle. In questo esempio, i test restituiscono un valore numerico che può essere interpretato correttamente. I valori T_MIN e T_MAX possono regolare il grado di allerta. Il campo REPORT è stato utilizzato in passato come messaggio in un prodotto ETL commerciale, che non sapeva inviare e-mail in modo adeguato, quindi rpad è un 'workaround'.
Nel caso di una grande tabella, si può aggiungere, ad esempio, AND ROWNUM <= 10, ovvero se si sono accumulate 10 errori, questo è sufficiente per l'allerta.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT >= T_MIN AND OUTPUT <= T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test stesso
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Conteggio dei vuoti' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- non valore predefinito
AND ATTRIBUTE IS NULL ); -- conteggio dei vuoti
Nella pubblicazione sono stati utilizzati materiali del libro
Ronald Bachmann, Dr. Guido Kemper
Uscire dalla trappola BI
Come la Business Intelligence diventa un successo
Fonte: habr.com
