La qualité des données dans le stockage

La qualité des données dans le stockage est une condition essentielle pour obtenir des informations précieuses. Une mauvaise qualité entraîne une réaction en chaîne négative à long terme.
D'abord, la confiance dans les informations fournies est perdue. Les gens commencent à utiliser moins les applications de Business Intelligence, et le potentiel des applications reste inexploité.
En conséquence, les investissements futurs dans le projet analytique sont remis en question.

Responsabilité de la qualité des données

L'aspect lié à l'amélioration de la qualité des données est méga important dans les projets BI. Cependant, ce n'est pas un privilège réservé aux spécialistes techniques.
La qualité des données est également influencée par des aspects tels que

La culture d'entreprise

• Les employés eux-mêmes sont-ils motivés à produire une bonne qualité ?
• Si ce n'est pas le cas, pourquoi ? Peut-être qu'il existe un conflit d'intérêts.
• Y a-t-il des règles d'entreprise qui définissent les responsables de la qualité ?

Processus

• Quelles données sont créées à la fin de ces chaînes ?
• Peut-être que les systèmes d'exploitation sont configurés de façon à ce qu’il faille « jongler » pour refléter une situation ou une autre dans la réalité.
• Les systèmes d'exploitation font-ils eux-mêmes la vérification et la réconciliation des données ?

La qualité des données dans les systèmes de reporting est de la responsabilité de tous dans l'organisation.

Définition et signification

La qualité est la satisfaction confirmée des attentes du client.

Mais la qualité des données ne contient pas de définition en soi. Elle reflète toujours le contexte d'utilisation. Un entrepôt de données et un système BI poursuivent des objectifs différents de ceux du système opérationnel d'où proviennent les données.

Par exemple, dans un système opérationnel, l'attribut client peut être un champ non obligatoire. Dans l'entrepôt, cet attribut peut être utilisé comme mesure et son remplissage est obligatoire. Cela introduit par conséquent la nécessité de remplir des valeurs par défaut.

Les exigences pour un entrepôt de données évoluent constamment et elles sont généralement plus élevées que pour les systèmes opérationnels. Mais cela peut également être l'inverse, lorsque l'entreposage ne nécessite pas de conserver des informations détaillées du système opérationnel.

Pour rendre la qualité des données mesurable, il est nécessaire de définir ses normes. Les personnes qui utilisent des informations et des chiffres pour leur travail doivent être impliquées dans le processus de description. Le résultat de cette implication peut être une règle permettant, d'un coup d'œil sur un tableau, de déterminer s'il y a une erreur ou non. Cette règle doit être formulée sous forme de script/code pour une vérification ultérieure.

Amélioration de la qualité des données

Il est impossible de nettoyer et de corriger toutes les erreurs hypothétiques lors du chargement des données dans le référentiel. Une bonne qualité des données ne peut être atteinte que par un travail étroit de tous les participants. Les personnes qui saisissent des données dans les systèmes opérationnels doivent comprendre quelles actions entraînent des erreurs.

La qualité des données est un processus. Malheureusement, de nombreuses organisations n'ont pas de stratégie pour son amélioration continue. Beaucoup se contentent de conserver des données et ne tirent pas pleinement parti des systèmes d'analyse. En général, lors de la conception de référentiels de données, 70-80 % du budget est consacré à la mise en œuvre de l'intégration des données. Le processus de contrôle et d'amélioration reste souvent inachevé, voire totalement ignoré.

Outils

L'application d'outils logiciels peut aider dans le processus d'automatisation de l'amélioration et du suivi de la qualité des données. Par exemple, ils peuvent entièrement automatiser la vérification technique des structures du référentiel : format des champs, présence de valeurs par défaut, conformité aux exigences des noms de champs de table.

Il peut être plus difficile de vérifier le contenu. Comme les exigences concernant le référentiel évoluent, l'interprétation des données peut également changer. L'outil lui-même peut devenir un projet énorme nécessitant du soutien.

Conseil

Les bases de données relationnelles, dans lesquelles les référentiels sont généralement conçus, ont une merveilleuse capacité à créer des vues. Celles-ci peuvent être utilisées pour une vérification rapide des données si l'on connaît les particularités du contenu. Chaque cas de détection d'une erreur ou d'un problème dans les données peut être enregistré sous forme de requête à la base de données.

Ainsi, une base de connaissances sur le contenu sera formée. Bien entendu, de telles requêtes doivent être rapides. En général, le service des vues nécessite moins de temps humain que les outils organisés dans des tableaux. La vue est toujours prête à afficher le résultat de la vérification.
Dans le cas de rapports importants, la vue peut contenir une colonne avec le destinataire. Il est logique d'utiliser les mêmes outils BI pour effectuer des rapports sur la qualité des données dans le stockage.

Exemple

La requête est écrite pour une base Oracle. Dans cet exemple, les tests renvoient une valeur numérique qui peut être interprétée selon les besoins. Les valeurs T_MIN et T_MAX peuvent réguler le degré d'alerte. Le champ REPORT était autrefois utilisé comme message dans un produit ETL commercial qui ne savait pas envoyer d'e-mails correctement, donc rpad - c'est une « solution de contournement ».

En cas de grande table, vous pouvez ajouter, par exemple, AND ROWNUM <= 10, c'est-à-dire que si 10 erreurs ont été trouvées, cela suffit pour alerter.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test lui-même
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Nombre de blancs' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- pas la valeur par défaut
  AND ATTRIBUTE IS NULL ); -- compter les blancs

Les matériaux du livre ont été utilisés dans la publication.
Ronald Bachmann, Dr. Guido Kemper
Sortir du piège BI
Comment l'intelligence d'affaires conduit au succès

Source : habr.com