DataGovernance in Eigenregie

Hallo, Habra!

Daten sind das wertvollste Asset eines Unternehmens. Dies behauptet fast jedes Unternehmen mit digitalem Fokus. Es ist schwer, dem zu widersprechen: Ohne Diskussionen über Ansätze zur Verwaltung, Speicherung und Verarbeitung von Daten findet jetzt keine größere IT-Konferenz statt.

Die Daten kommen von außen zu uns, sie werden auch innerhalb des Unternehmens generiert, und wenn wir über die Daten eines Telekommunikationsunternehmens sprechen, ist das für die internen Mitarbeiter eine Schatzkammer an Informationen über den Kunden, seine Interessen, Gewohnheiten und Standorte. Bei einer effektiven Profilerstellung und Segmentierung sind die Werbeangebote am effektivsten. In der Praxis sieht es jedoch nicht immer so rosig aus. Die Daten, die Unternehmen speichern, können hoffnungslos veraltet, überflüssig, redundant oder nur einem kleinen Benutzerkreis bekannt sein. ¯_(ツ)_/¯

Kurz gesagt, Daten müssen effektiv verwaltet werden – nur dann werden sie zu einem Asset, das dem Geschäft echten Nutzen und Gewinn bringt. Leider müssen bei der Lösung von Datenmanagementfragen viele Herausforderungen überwunden werden. Diese ergeben sich hauptsächlich aus dem historischen Erbe in Form von "Zoo-Parks" unterschiedlichster Systeme sowie aus dem Fehlen einheitlicher Prozesse und Ansätze zu deren Verwaltung. Aber was bedeutet es, "Daten zu verwalten"?

Genau das werden wir nach dem Schnittpunkt besprechen, sowie wie uns der Open-Source-Stack geholfen hat.

Das Konzept des strategischen Datenmanagements, Data Governance (DG), ist auf dem russischen Markt bereits hinreichend bekannt, und die Ziele, die Unternehmen durch dessen Implementierung erreichen, sind verständlich und klar deklariert. Unser Unternehmen ist da keine Ausnahme und hat sich die Aufgabe gesetzt, das Konzept der Datenverwaltung zu implementieren.

Also, womit haben wir begonnen? Zunächst haben wir uns die wichtigsten Ziele gesetzt:

1. Die Verfügbarkeit unserer Daten sicherzustellen.
2. Die Transparenz des Lebenszyklus der Daten zu gewährleisten.
3. Den Mitarbeitern des Unternehmens konsistente, widerspruchsfreie Daten zu liefern.
4. Den Mitarbeitern des Unternehmens überprüfte Daten bereitzustellen.

Derzeit sind auf dem Softwaremarkt mehrere Dutzend Werkzeuge der Klasse Data Governance verfügbar.

Nach einer detaillierten Analyse und Prüfung der Lösungen haben wir jedoch eine Reihe kritischer Anmerkungen festgestellt:

• Die meisten Anbieter bieten ein umfassendes Lösungspaket an, das für uns überflüssig ist und bereits vorhandene Funktionalitäten dupliziert. Zudem ist die Integration in die aktuelle IT-Landschaft ressourcenintensiv und teuer.
• Die Funktionalität und die Benutzeroberfläche sind für Technologen und nicht für die Endbenutzer im Geschäft entwickelt.
• Niedrige Akzeptanz der Produkte und fehlende erfolgreiche Implementierungen auf dem russischen Markt.
• Hohe Kosten für Software und deren weitere Betreuung.

Die oben genannten Kriterien und Empfehlungen im Hinblick auf die Importsubstitution von Software für russische Unternehmen haben uns überzeugt, in Richtung eigener Entwicklungen auf einem Open-Source-Stack zu gehen. Als Plattform haben wir Django gewählt – ein kostenloses und freies Framework, das in Python geschrieben wurde. So haben wir die Schlüsselmuster abgegrenzt, die die oben genannten Ziele unterstützen werden:

1. Berichteregister.
2. Business-Glossar.
3. Modul zur Beschreibung technischer Transformationen.
4. Modul zur Beschreibung des Lebenszyklus von Daten von der Quelle bis zum BI-Werkzeug.
5. Modul zur Qualitätskontrolle von Daten.

Berichteregister

Laut interner Untersuchungen in großen Unternehmen verbringen Mitarbeiter bei der Lösung datenbezogener Aufgaben 40–80 % ihrer Zeit mit der Suche danach. Daher haben wir uns zum Ziel gesetzt, Informationen über bestehende Berichte, die zuvor nur den Auftraggebern zugänglich waren, offen zu legen. So reduzieren wir die Zeit zur Erstellung neuer Berichte und fördern die Demokratisierung von Daten.

Das Berichteregister ist zu einem zentralen Berichtszugang für interne Benutzer aus verschiedenen Regionen, Abteilungen und Bereichen geworden. Es konsolidiert Informationen über Informationsdienste, die in mehreren Unternehmensspeichern erstellt wurden, davon gibt es bei Rostelecom viele.

Aber das Register ist nicht nur eine trockene Liste der erstellten Berichte. Für jeden Bericht stellen wir die Informationen zur Verfügung, die der Benutzer benötigt, um sich selbstständig damit vertraut zu machen:

• eine kurze Beschreibung des Berichts;
• die Tiefe der Datenverfügbarkeit;
• Kunden-Segment;
• Visualisierungstool;
• Bezeichnung des Unternehmensspeichers;
• geschäfterganzliche Anforderungen;
• Link zum Bericht;
• Link zur Anfrage für den Zugang;
• Status der Umsetzung.

Die Berichte bieten eine Analyse des Nutzungniveaus, wobei die Berichte basierend auf der Log-Analyse der Anzahl der eindeutigen Nutzer in die Top-Liste aufgenommen werden. Und das ist noch nicht alles. Neben den allgemeinen Merkmalen haben wir auch eine detaillierte Beschreibung der attributiven Zusammensetzung der Berichte mit Beispielen und Berechnungsmethodik vorgesehen. Eine solche Detaillierung gibt dem Nutzer sofort die Antwort, ob der Bericht für ihn nützlich ist oder nicht.

Die Entwicklung dieses Moduls war ein wichtiger Schritt zur Demokratisierung der Daten und hat die Zeit für die Suche nach benötigten Informationen erheblich verkürzt. Neben der Verkürzung der Suchzeit nahm auch die Anzahl der Anfragen an das Support-Team für Beratungen ab. Ein weiterer positiver Aspekt, den wir durch die Entwicklung eines einheitlichen Berichtsregisters erreicht haben, ist die Vermeidung der Erstellung von doppelten Berichten für verschiedene organisatorische Einheiten.

Geschäftsglossar

Wie Sie wissen, spricht selbst innerhalb desselben Unternehmens das Geschäft unterschiedliche Sprachen. Ja, es werden dieselben Begriffe verwendet, aber sie haben ganz unterschiedliche Bedeutungen. Um dieses Problem zu lösen, wurde das Geschäftsglossar ins Leben gerufen.

Für uns ist das Geschäftsglossar nicht nur ein Nachschlagewerk mit Beschreibungen von Begriffen und Berechnungsmethodiken. Es ist eine vollwertige Entwicklungsumgebung zur Abstimmung und Genehmigung von Terminologie sowie zum Aufbau von Verbindungen zwischen Begriffen und anderen Informationsressourcen des Unternehmens. Bevor ein Begriff ins Geschäftsglossar aufgenommen wird, muss er alle Abstimmungsphasen mit den Fachabteilungen und dem Qualitätszentrum durchlaufen. Erst danach steht er zur Verwendung zur Verfügung.

Wie bereits erwähnt, besteht die Einzigartigkeit dieses Instruments darin, dass es ermöglicht, Verbindungen vom Business-Begriff bis zu den spezifischen Benutzerberichten, in denen er verwendet wird, sowie auf die Ebene der physischen Objekte in den Datenbanken herzustellen.

Dies wurde möglich durch die Verwendung von Identifikatoren der Glossarbegriffe in der detaillierten Beschreibung der Berichte aus dem Register und der Beschreibung der physischen Objekte in den Datenbanken.

Der Glossar enthält jetzt bereits über 4000 definierte und genehmigte Begriffe. Seine Nutzung vereinfacht und beschleunigt die Verarbeitung eingehender Änderungsanfragen in den Informationssystemen des Unternehmens. Wenn die benötigte Kennzahl bereits in einem Bericht umgesetzt wurde, wird der Nutzer sofort eine Sammlung fertiger Berichte sehen, in denen diese Kennzahl verwendet wurde, und kann entscheiden, ob er die vorhandene Funktionalität effizient erneut nutzen oder nur minimale Anpassungen vornehmen möchte, ohne neue Anfragen für die Entwicklung eines neuen Berichts zu initiieren.

Modul zur Beschreibung technischer Transformationen und Data Lineage

Sie fragen sich, was das für Module sind? Es reicht nicht aus, das Berichtsverzeichnis und das Glossar einzuführen, man muss auch alle Geschäftstermine auf das physische Datenmodell abbilden. So konnten wir den Prozess des Lebenszyklus von Daten von den Quelldaten zu BI-Visualisierungen über alle Schichten des Data Warehouses abschließen. Mit anderen Worten – wir haben die Data Lineage aufgebaut.

Wir haben eine Schnittstelle entwickelt, die auf dem früher im Unternehmen verwendeten Format zur Beschreibung von Regeln und Logik der Datenumwandlung basiert. Über die Schnittstelle wird dieselbe Information eingegeben wie zuvor, aber es wurde zur Pflicht, die Identifikationsnummer des Begriffs aus dem Geschäftsglossar zu definieren. So stellen wir die Verbindung zwischen den Geschäfts- und physischen Schichten her.

Wem ist das nötig? Was hat am alten Format, mit dem wir mehrere Jahre gearbeitet haben, nicht gepasst? Wie stark sind die Arbeitsaufwendungen für die Anforderungsstellung gestiegen? Solchen Fragen sind wir während der Einführung des Werkzeugs begegnet. Hier sind die Antworten ganz einfach – das brauchen wir alle, das Datenbüro unseres Unternehmens und unsere Nutzer.

Tatsächlich mussten die Mitarbeiter sich umstellen, zunächst führte dies zu geringen Erhöhung des Arbeitsaufwands für die Dokumentation, aber wir haben dieses Problem gelöst. Die Praxis, die Identifizierung und Optimierung von Problembereichen haben ihre Wirkung gezeigt. Wir haben das Wichtigste erreicht – die Qualität der entwickelten Anforderungen verbessert. Pflichtfelder, einheitliche Verzeichnisse, Eingabemasken, integrierte Prüfungen – all das hat es ermöglicht, die Qualität der Transformationsbeschreibungen erheblich zu steigern. Wir haben von der Praxis abgesehen, Skripte in Form von Anforderungen an die Entwicklung zu übergeben, und haben das Wissen, das nur dem Entwicklungsteam zur Verfügung stand, geteilt. Die gebildete Metadatenbank reduziert die Zeit für Regressionstests erheblich und ermöglicht eine zeitnahe Bewertung der Auswirkungen von Änderungen auf allen Ebenen der IT-Landschaft (Berichte, Aggregatoren, Quellen).

Und was haben die normalen Benutzer der Berichte davon, welche Vorteile bietet es ihnen? Dank der Möglichkeit, DataLineage zu erstellen, erhalten unsere Benutzer, auch wenn sie von SQL und anderen Programmiersprachen entfernt sind, schnell Informationen über die Quellen und Objekte, auf deren Basis ein bestimmter Bericht erstellt wird.

Modul zur Kontrolle der Datenqualität

Alles, was wir oben zum Thema Datentransparentierung gesagt haben, ist bedeutungslos, wenn wir nicht verstehen, dass die Daten, die wir den Benutzern bereitstellen, korrekt sind. Eines der wichtigen Module unseres Data Governance-Konzepts ist das Modul zur Kontrolle der Datenqualität.

In der aktuellen Phase handelt es sich um ein Verzeichnis von Prüfungen für ausgewählte Entitäten. Das nächste Ziel der Produktentwicklung ist die Erweiterung der Prüfliste und die Integration mit dem Berichtregister.
Was bringt das und für wen? Für den Endbenutzer des Registers werden Informationen über geplante und tatsächliche Fertigstellungstermine der Berichte, Ergebnisse der durchgeführten Prüfungen mit Dynamik und Informationen über die in die Berichte geladenen Quellen verfügbar sein.

Für uns ist das in die Arbeitsprozesse integrierte Modul zur Datenqualität:

• Schnelle Bildung der Kundenerwartungen.
• Entscheidungen über die weitere Nutzung der Daten treffen.
• Frühzeitige Identifizierung von Problembereichen in den Anfangsphasen der Arbeit zur Entwicklung regelmäßiger Qualitätskontrollen.

Zweifellos sind dies die ersten Schritte zum Aufbau eines umfassenden Datenmanagementprozesses. Doch wir sind überzeugt, dass wir unseren Kunden nur durch gezielte Arbeit und die aktive Integration von DataGovernance-Tools in den Arbeitsprozess informativere Einblicke, ein hohes Vertrauen in die Daten, Transparenz bei deren Erhalt und eine schnellere Bereitstellung neuer Funktionen bieten können.

DataOffice-Team

Quelle: habr.com