Hey Habr!
D'Daten sinn de wäertvollste Verméigen vun enger Firma. Bal all digital Firma behaapt dëst. Et ass schwéier mat dësem ze streiden: keng eenzeg grouss IT Konferenz gëtt ofgehalen ouni Approchen ze diskutéieren fir d'Gestioun, d'Späicheren an d'Veraarbechtung vun Daten.
D'Date kommen eis vu baussen, se ginn och an der Firma generéiert, a wa mir iwwer Daten vun enger Telekomfirma schwätzen, dann ass et fir intern Mataarbechter e Späicherhaus vun Informatioun iwwer de Client, seng Interessen, Gewunnechten a Standuert. Mat der korrekter Profiléierung a Segmentéierung sinn d'Reklammenoffer am effektivsten. Wéi och ëmmer, an der Praxis ass net alles sou roseg. D'Donnéeën, déi Firmen späicheren, kënnen hoffnungslos al, iwwerflësseg, repetitiv sinn, oder hir Existenz ass onbekannt fir jiddereen ausser e schmuele Krees vu Benotzer. ¯_(ツ)_/¯
An engem Wuert, Daten mussen effektiv geréiert ginn - nëmmen dann wäert et e Verméigen ginn, deen d'Geschäft real Virdeeler a Gewënn bréngt. Leider erfuerdert d'Léisung vun Datemanagement Themen zimlech vill Komplexitéiten ze iwwerwannen. Si sinn haaptsächlech wéinst der historescher Legacy an der Form vun "Zoos" vu Systemer an dem Mangel u vereenegt Prozesser an Approche fir hir Gestioun. Awer wat heescht et "Datedriven" ze sinn?
Dëst ass genau wat mir ënner dem Schnëtt schwätzen, wéi och wéi den Opensource Stack eis gehollef huet.
D'Konzept vun der strategescher Datemanagement Data Governance (DG) ass schonn zimlech gutt bekannt am russesche Maart, an d'Ziler, déi duerch d'Geschäft als Resultat vun hirer Ëmsetzung erreecht ginn, sinn kloer a kloer deklaréiert. Eis Firma war keng Ausnahm an huet sech d'Aufgab gesat d'Konzept vun der Datemanagement anzeféieren.
Also wou hu mir ugefaang? Fir unzefänken hu mir Schlësselziler fir eis selwer geformt:
- Halt eis Donnéeën zougänglech.
- Assuréieren Transparenz vum Dateliewenszyklus.
- Fir Firma Benotzer mat konsequent, konsequent Donnéeën.
- Gitt Firmebenotzer verifizéiert Donnéeën.
Haut ginn et eng Dosen Data Governance Klass Tools um Softwaremaart.
Awer no enger detailléierter Analyse a Studie vun de Léisungen hu mir eng Rei kritesch Kommentarer fir eis selwer opgeholl:
- Déi meescht Hiersteller bidden eng ëmfaassend Set vu Léisungen, déi fir eis iwwerflësseg ass a existéierend Funktionalitéit duplizéiert. Plus, deier a punkto Ressourcen, Integratioun an déi aktuell IT Landschaft.
- D'Funktionalitéit an d'Interface si fir Technologen entworf, net fir Geschäftsendbenotzer.
- Niddereg Iwwerliewensquote vu Produkter a Mangel u erfollegräichen Implementatiounen um russesche Maart.
- Héich Käschte vun Software a weider Ënnerstëtzung.
D'Critèren an d'Empfehlungen, déi uewe gesot hunn iwwer d'Importaustausch vu Software fir russesch Firmen hunn eis iwwerzeegt fir op eis eegen Entwécklung op engem Opensource Stack ze goen. D'Plattform déi mir gewielt hunn war Django, e gratis an Open Source Kader am Python geschriwwen. An dofir hu mir Schlësselmoduler identifizéiert déi zu den uewe genannte Ziler bäidroen:
- Register vun Berichter.
- Business Glossar.
- Modul fir technesch Transformatiounen ze beschreiwen.
- Modul fir den Dateliewenszyklus vun der Quell bis zum BI-Tool ze beschreiwen.
- Donnéeën Qualitéitskontroll Modul.
Register vun Berichter
Laut de Resultater vun internen Studien a grousse Firmen, wann d'Dateproblemer léisen, verbréngen d'Mataarbechter 40-80% vun hirer Zäit no hinnen ze sichen. Dofir hu mir eis d'Aufgab gesat fir oppe Informatioun iwwer existéierend Berichter ze maachen, déi virdru nëmme fir Clienten verfügbar waren. Sou reduzéieren mir d'Zäit fir nei Berichter ze generéieren an d'Demokratiséierung vun den Donnéeën ze garantéieren.
De Berichterregister ass eng eenzeg Berichterstellungsfenster fir intern Benotzer aus verschiddene Regiounen, Departementer an Divisiounen ginn. Et konsolidéiert Informatioun iwwer Informatiounsservicer erstallt a verschiddene Firmenrepositories vun der Firma, an et gi vill vun hinnen zu Rostelecom.
Awer de Registry ass net nëmmen eng dréchen Lëscht vun entwéckelte Berichter. Fir all Bericht liwwere mir d'Informatioun déi néideg ass fir de Benotzer sech domat vertraut ze maachen:
- kuerz Beschreiwung vum Rapport;
- Déift vun Daten Disponibilitéit;
- Client Segment;
- Visualiséierungsinstrument;
- Numm vun der Firmelagerung;
- Betrib funktionell Ufuerderunge;
- Link op de Bericht;
- Link op d'Applikatioun fir Zougang;
- Ëmsetzung Status.
Benotzungsniveau Analyse si verfügbar fir Berichter, a Berichter ginn uewen op der Lëscht klasséiert baséiert op Loganalyse baséiert op der Unzuel vun eenzegaartege Benotzer. An dat ass et net. Zousätzlech zu den allgemenge Charakteristiken hu mir och eng detailléiert Beschreiwung vun der Attribut Zesummesetzung vun de Berichter mat Beispiller vu Wäerter a Berechnungsmethoden geliwwert. Esou Detailer ginn dem Benotzer direkt eng Äntwert ob de Bericht fir hien nëtzlech ass oder net.
D'Entwécklung vun dësem Modul war e wichtege Schrëtt an der Demokratiséierung vun Daten an huet d'Zäit wesentlech reduzéiert fir déi néideg Informatioun ze fannen. Zousätzlech fir d'Sichzäit ze reduzéieren, ass d'Zuel vun den Ufroen un d'Ënnerstëtzungsteam fir Konsultatiounen och erofgaang. Et ass onméiglech net en anert nëtzlecht Resultat ze notéieren, dat mir erreecht hunn duerch d'Entwécklung vun engem vereenegt Register vu Berichter - d'Verhënnerung vun der Entwécklung vun duplizéierte Berichter fir verschidde strukturell Eenheeten.
Business Glossar
Dir wësst all datt souguer an der selwechter Firma Geschäfter verschidde Sprooche schwätzen. Jo, si benotzen déiselwecht Begrëffer, awer si bedeite komplett verschidde Saachen. E Business Glossar ass entwéckelt fir dëse Problem ze léisen.
Fir eis ass e Business Glossar net nëmmen e Referenzbuch mat enger Beschreiwung vu Begrëffer a Berechnungsmethodologie. Dëst ass e vollwäertegt Ëmfeld fir Terminologie z'entwéckelen, averstanen an z'accordéieren, Bezéiungen tëscht Begrëffer an aner Informatiounsverméigen vun der Firma ze bauen. Ier Dir an de Business Glossar gitt, muss e Begrëff duerch all Etappe vun der Genehmegung mat Geschäftsclienten an dem Datequalitéitszentrum goen. Eréischt duerno ass et verfügbar fir ze benotzen.
Wéi ech uewe geschriwwen hunn, ass d'Eenzegaartegkeet vun dësem Tool datt et Verbindunge vum Niveau vun engem Geschäftsbegrëff op spezifesch Benotzerberichter erlaabt, an deenen et benotzt gëtt, wéi och op den Niveau vun de physikalesche Datebankobjekter.
Dëst ass méiglech gemaach duerch d'Benotzung vu Glossar Begrëff Identifizéierer an der detailléierter Beschreiwung vun Registry Berichter an der Beschreiwung vu kierperlechen Datebankobjekter.
De Moment si méi wéi 4000 Begrëffer am Glossar definéiert an ausgemaach ginn. Seng Notzung vereinfacht a beschleunegt d'Veraarbechtung vun erakommen Ufroe fir Ännerungen an den Informatiounssystemer vun der Firma. Wann den erfuerderlechen Indikator schonn an engem Bericht implementéiert ass, da wäert de Benotzer direkt eng Rei vu fäerdege Berichter gesinn, wou dësen Indikator benotzt gëtt, a wäert fäeg sinn iwwer déi effektiv Wiederverwendung vun existente Funktionalitéit oder seng minimal Ännerung ze entscheeden, ouni ze initiéieren nei Ufroe fir d'Entwécklung vun engem neie Bericht.
Modul fir technesch Transformatiounen an DataLineage ze beschreiwen
Wat sinn dës Moduler, frot Dir? Et ass net genuch fir einfach de Berichtregister a Glossar ëmzesetzen; et ass och néideg fir all Geschäftsbedéngungen op de kierperlechen Datebankmodell ze baséieren. Sou konnte mir de Prozess fäerdeg maachen fir den Dateliewenszyklus vu Quellsystemer bis BI Visualiséierung duerch all Schichten vum Datelager ze bilden. An anere Wierder, bauen eng DataLineage.
Mir hunn en Interface entwéckelt baséiert op dem Format dat virdru an der Firma benotzt gouf fir d'Regelen an d'Logik vun der Datentransformatioun ze beschreiwen. Déi selwecht Informatioun gëtt duerch den Interface agefouert wéi virdrun, awer d'Definitioun vum Begrëff Identifizéierer aus dem Geschäftsglossar ass eng Viraussetzung ginn. Dëst ass wéi mir eng Verbindung tëscht dem Geschäft a kierperleche Schichten bauen.
Wien brauch et? Wat war falsch mam alen Format mat deem Dir e puer Joer geschafft hutt? Wéi vill sinn d'Aarbechtskäschte fir Ufuerderungen ze generéieren eropgaang? Mat esou Froen hu mir während der Ëmsetzung vum Tool ze dinn. D'Äntwerten hei sinn ganz einfach - mir all brauchen dat, eis Firma d'Daten Büro an eis Benotzer.
D’Mataarbechter hu sech jo missen upassen, fir d’éischt huet dat zu enger liichter Erhéijung vun den Aarbechtskäschte fir d’Dokumentatiounsaarbecht gefouert, mä mir hunn dee Problem geléist. Praxis, Identifikatioun an optimiséieren Problem Beräicher hunn hir Aarbecht gemaach. Mir hunn den Haapt Saach erreecht - mir hunn d'Qualitéit vun den entwéckelten Ufuerderunge verbessert. Obligatoresch Felder, vereenegt Referenzbicher, Inputmasken, agebaute Schecken - all dëst huet et méiglech gemaach d'Qualitéit vun der Transformatiounsbeschreiwunge wesentlech ze verbesseren. Mir sinn ewech vun der Praxis vun der Iwwerreechung vun Scripten a Form vun Entwécklungsufuerderungen a gemeinsame Wëssen, dat nëmme fir d'Entwécklungsteam verfügbar war. Déi generéiert Metadatendatebank reduzéiert d'Zäit erfuerderlech fir d'Regressiounsanalyse ze maachen a bitt d'Fäegkeet fir séier den Impakt vun Ännerungen op all Schicht vun der IT Landschaft ze bewäerten (Vitrineberichter, Aggregaten, Quellen).
Wat huet dat mat normale Benotzer vu Berichter ze dinn, wat sinn d'Virdeeler fir si? Dank der Fäegkeet DataLineage ze bauen, kréien eis Benotzer, och déi wäit ewech vun SQL an aner Programméierungssproochen, séier Informatioun iwwer d'Quellen an Objeten op Basis vun deenen e bestëmmte Bericht generéiert gëtt.
Date Qualitéitskontroll Modul
Alles wat mir hei uewen geschwat hunn am Sënn vun der Transparenz vun Daten ass net wichteg ouni ze verstoen datt d'Donnéeën, déi mir de Benotzer ginn, richteg sinn. Ee vun de wichtege Moduler vun eisem Data Governance Konzept ass den Datequalitéitskontrollmodul.
Op der aktueller Etapp ass dëst e Katalog vu Schecken fir ausgewielten Entitéiten. Den direkten Zil fir d'Produktentwécklung ass d'Lëscht vun de Kontrollen auszebauen an mat der Berichterstattung z'integréieren.
Wat wäert et ginn a wiem? Den Endbenotzer vun der Registry wäert Zougang zu Informatioun iwwer déi geplangten an aktuell Datume vun der Berichtbereetschaft hunn, d'Resultater vun ofgeschlossene Kontrollen mat Dynamik, an Informatioun iwwer d'Quellen, déi an de Bericht gelueden sinn.
Fir eis ass den Datequalitéitsmodul an eisen Aarbechtsprozesser integréiert:
- Prompt Formatioun vun Client Erwaardungen.
- Entscheedungen iwwer weider Notzung vun Daten.
- Kréien eng virleefeg Formatioun vun Problem Punkten an der éischter Etappe vun Aarbecht fir d'Entwécklung vun regelméisseg Qualitéitskontroll.
Natierlech sinn dëst déi éischt Schrëtt fir e vollwäertege Datemanagementprozess ze bauen. Awer mir sinn zouversiichtlech datt nëmmen duerch geziilt dës Aarbecht ze maachen, aktiv Data Governance Tools an den Aarbechtsprozess aféieren, mir eise Clienten Informatiounsinhalt ubidden, en héije Vertrauensniveau an d'Donnéeën, Transparenz an hirer Empfang an d'Vitesse vum Start erhéijen nei Funktionalitéit.
DataOffice Team
Source: will.com