DataGovernance en interne

Salut, Habr !

Les données sont un atout précieux pour l'entreprise. C'est ce que déclare presque toutes les entreprises axées sur le numérique. Il est difficile de débattre de cela : sans discuter des approches de gestion, de stockage et de traitement des données, aucune grande conférence informatique ne se déroule aujourd'hui.

Les données nous parviennent de l'extérieur, mais elles se forment également au sein de l'entreprise. Et si l'on parle des données d'une entreprise de télécommunications, elles constituent pour les employés internes un trésor d'informations sur le client, ses intérêts, ses habitudes, son emplacement. Avec un profilage et une segmentation adéquats, les propositions publicitaires sont les plus efficaces. Cependant, en pratique, tout n'est pas rose. Les données que détiennent les entreprises peuvent être désespérément obsolètes, redondantes, répétées, ou bien leur existence est inconnue sauf à un cercle restreint d'utilisateurs. ¯_(ツ)_/¯

En un mot, il faut gérer les données efficacement - seulement de cette manière elles deviendront un actif apportant une réelle valeur ajoutée et des bénéfices à l'entreprise. Malheureusement, pour résoudre les questions de gestion des données, il faut surmonter un bon nombre de difficultés. Celles-ci sont en grande partie dues à l'héritage historique sous forme de 'zoos' de systèmes, ainsi qu'à l'absence de processus et d'approches unifiés pour leur gestion. Mais que signifie 'gérer les données' ?

C'est précisément ce dont nous allons parler ci-dessous, ainsi que de la manière dont la pile opensource nous a aidés.

Le concept de la gouvernance des données (Data Governance, DG) est déjà bien connu sur le marché russe, et les objectifs atteints par les entreprises grâce à son introduction sont clairs et clairement déclarés. Notre entreprise n'a pas fait exception et s'est fixé la tâche d'implémenter le concept de gestion des données.

Alors, par quoi avons-nous commencé ? Pour commencer, nous avons défini nos objectifs clés :

1. Assurer l'accessibilité de nos données.
2. Assurer la transparence du cycle de vie des données.
3. Fournir aux utilisateurs de l'entreprise des données cohérentes et non contradictoires.
4. Fournir aux utilisateurs de l'entreprise des données vérifiées.

À ce jour, il existe sur le marché des logiciels une dizaine d'outils de classe Data Governance.

Mais après une analyse détaillée et une étude des solutions, nous avons enregistré un certain nombre de commentaires critiques :

• La plupart des fabricants proposent un ensemble complet de solutions qui, pour nous, est excessif et duplique des fonctionnalités déjà existantes. De plus, l'intégration dans le paysage informatique actuel est coûteuse en termes de ressources.
• La fonctionnalité et l'interface sont destinées aux techniciens, et non aux utilisateurs finaux en entreprise.
• Faible adoption des produits et absence de déploiements réussis sur le marché russe.
• Coût élevé des logiciels et de leur support ultérieur.

Les critères et recommandations mentionnés ci-dessus en matière de substitution des logiciels pour les entreprises russes nous ont convaincus de nous orienter vers un développement interne utilisant une pile open source. Nous avons choisi Django comme plateforme – un framework gratuit et open-source écrit en Python. Ainsi, nous avons identifié les modules clés qui permettront d'atteindre les objectifs susmentionnés :

1. Registre des rapports.
2. Glossaire des affaires.
3. Module décrivant les transformations techniques.
4. Module décrivant le cycle de vie des données de la source jusqu'à l'outil BI.
5. Module de contrôle de la qualité des données.

Registre des rapports

Selon nos recherches internes dans les grandes entreprises, lorsque des tâches liées aux données sont à résoudre, les employés passent 40 à 80 % de leur temps à les rechercher. Nous nous sommes donc donné pour objectif de rendre la recherche d'informations sur les rapports existants, qui étaient auparavant accessibles uniquement aux clients, plus ouverte. Cela réduit le temps nécessaire à la création de nouveaux rapports et démocratise l'accès aux données.

Le registre des rapports est devenu une plateforme unique de reporting pour les utilisateurs internes de différentes régions, départements et divisions. Il regroupe les informations sur les services d'information créés dans plusieurs systèmes de stockage d'entreprise, et il y en a beaucoup chez Rostelecom.

Mais le registre n'est pas simplement une liste sèche de rapports développés. Pour chaque rapport, nous fournissons les informations nécessaires à l'utilisateur pour pouvoir le découvrir par lui-même :

• description succincte du rapport ;
• profondeur d'accès aux données ;
• segment de client ;
• outil de visualisation ;
• nom du système de stockage d'entreprise ;
• exigences fonctionnelles métiers ;
• lien vers le rapport ;
• lien vers la demande d'accès ;
• statut de mise en œuvre.

Les rapports fournissent une analyse du niveau d'utilisation, et les rapports sont classés en tête de liste en fonction des analyses des journaux concernant le nombre d'utilisateurs uniques. Et ce n'est pas tout. En plus des caractéristiques générales, nous avons prévu une description détaillée de la composition attributaire des rapports avec des exemples de valeurs et la méthodologie de calcul. Une telle précision donne immédiatement à l'utilisateur la réponse sur l'utilité du rapport.

Le développement de ce module a constitué une étape importante dans la démocratisation des données et a considérablement réduit le temps de recherche d'informations nécessaires. En plus de raccourcir le temps de recherche, le nombre de demandes à l'équipe de support pour des consultations a également diminué. Il convient également de souligner un autre résultat positif que nous avons obtenu en développant un registre unique de rapports : la prévention de la création de rapports duplicables pour différentes unités structurelles.

Glossaire des affaires

Vous savez tous que même au sein d'une même entreprise, le business parle des langues différentes. Oui, ils utilisent les mêmes termes, mais ils comprennent des choses très différentes. Le glossaire des affaires est destiné à résoudre ce problème.

Pour nous, le glossaire des affaires n'est pas simplement un dictionnaire décrivant les termes et la méthodologie de calcul. C'est un environnement complet de développement, d'approbation et de validation de la terminologie, construisant des relations entre les termes et d'autres actifs d'information de l'entreprise. Avant de figurer dans le glossaire des affaires, un terme doit passer par toutes les étapes d'approbation avec les commanditaires commerciaux et le centre de qualité des données. Ce n'est qu'après cela qu'il devient accessible à l'utilisation.

Comme je l'ai déjà mentionné, l'unicité de cet outil réside dans le fait qu'il permet de relier le niveau du terme commercial à des rapports utilisateurs spécifiques dans lesquels il est utilisé, ainsi qu'au niveau des objets physiques des bases de données.

Cela a été rendu possible grâce à l'utilisation des identifiants des termes du glossaire dans la description détaillée des rapports du registre et dans la description des objets physiques des bases de données.

Actuellement, le glossaire définit et approuve plus de 4000 termes. Son utilisation simplifie et accélère le traitement des demandes de modifications dans les systèmes d'information de l'entreprise. Si un indicateur requis est déjà réalisé dans un rapport, l'utilisateur verra immédiatement un ensemble de rapports prêts où cet indicateur est utilisé, et pourra décider d'un réemploi efficace de la fonctionnalité existante ou de son amélioration minimale, sans initier de nouvelles demandes de développement d'un nouveau rapport.

Module de description des transformations techniques et DataLineage

Vous vous demandez quels sont ces modules ? Il ne suffit pas de simplement mettre en œuvre le registre de rapport et le glossaire, il est également nécessaire de lier tous les termes commerciaux au modèle physique des bases de données. Cela nous a permis de finaliser le processus de cycle de vie des données depuis les systèmes sources jusqu'à la visualisation BI à travers tous les niveaux du data warehouse. En d'autres termes, construire le DataLineage.

Nous avons développé une interface basée sur le format de description des règles et de la logique de transformation des données précédemment utilisé dans l'entreprise. Grâce à cette interface, toutes les mêmes informations qu'auparavant sont saisies, mais une condition obligatoire est maintenant de définir l'identifiant du terme dans le glossaire commercial. Ainsi, nous établissons le lien entre les couches commerciales et physiques.

Qui en a besoin ? Qu'est-ce qui n'allait pas avec l'ancien format, avec lequel nous avons travaillé pendant plusieurs années ? Dans quelle mesure les efforts nécessaires à la formulation des exigences ont-ils augmenté ? Nous avons dû faire face à de telles questions lors du processus de mise en œuvre de l'outil. Les réponses sont assez simples : cela nous est nécessaire à tous, au bureau de données de notre entreprise et à nos utilisateurs.

En effet, les employés ont dû s'adapter, ce qui a d'abord entraîné une légère augmentation des efforts nécessaires à la préparation de la documentation, mais nous avons résolu ce problème. La pratique, l'identification et l'optimisation des points problématiques ont fait leur effet. Nous avons atteint l'essentiel : nous avons amélioré la qualité des exigences développées. Les champs obligatoires, les référentiels standardisés, les masques de saisie et les vérifications intégrées ont considérablement amélioré la qualité des descriptions des transformations. Nous avons abandonné la pratique de transmettre des scripts sous forme d'exigences de développement, partageant les connaissances qui n'étaient auparavant accessibles qu'à l'équipe de développement. La base de données de métadonnées ainsi formée réduit de manière significative le temps consacré à l'analyse de régression et permet une évaluation rapide de l'impact des changements à tous les niveaux du paysage informatique (rapports de présentation, agrégats, sources).

Et quel rapport avec les utilisateurs réguliers des rapports, quels en sont les avantages ? Grâce à la possibilité de construction de Data Lineage, nos utilisateurs, même ceux éloignés du SQL et d'autres langages de programmation, obtiennent rapidement des informations sur les sources et les objets sur lesquels repose tel ou tel rapport.

Module de contrôle de la qualité des données

Tout ce dont nous avons parlé ci-dessus en matière de transparence des données n'a pas d'importance sans comprendre que les données que nous fournissons aux utilisateurs sont correctes. L'un des modules importants de notre concept de Data Governance est le module de contrôle de la qualité des données.

À ce stade, il s'agit d'un catalogue de vérifications pour des entités échantillonnées. L'objectif le plus proche pour le développement du produit est d'élargir la liste des vérifications et d'intégrer le registre des rapports.
Qu'est-ce que cela apportera et à qui ? Pour l'utilisateur final du registre, des informations sur les dates prévues et réelles de préparation du rapport seront disponibles, ainsi que les résultats des vérifications effectuées avec une dynamique, et des informations sur les sources chargées dans le rapport.

Pour nous, un module de qualité des données intégré dans les processus de travail signifie :

• Formation rapide des attentes des clients.
• Prise de décisions concernant l'utilisation future des données.
• Obtention d'un ensemble préliminaire de points problématiques aux étapes initiales des travaux pour le développement de contrôles réguliers de la qualité.

Ce sont assurément les premières étapes pour établir un processus complet de gestion des données. Mais nous sommes convaincus qu'en nous consacrant à ce travail de manière ciblée, en intégrant activement des outils de Data Governance dans nos processus de travail, nous fournirons à nos clients de l'information, un haut niveau de confiance dans les données, ainsi qu'une transparence quant à leur obtention et améliorerons la rapidité de mise sur le marché de nouvelles fonctionnalités.

L'équipe DataOffice

Source : habr.com