Ehi Habr!
I dati sò l'assetu più preziosu di una cumpagnia. Quasi ogni cumpagnia digitale dichjara questu. Hè difficiuli di discutiri cun questu: ùn hè micca una sola cunferenza informatica maiò senza discutiri l'approcciu per a gestione, l'almacenamiento è u trattamentu di dati.
I dati venenu da l'esternu, sò ancu generati in a cumpagnia, è se parlemu di dati da una cumpagnia di telecomunicazioni, allora per l'impiegati internu hè un magazzinu di informazioni nantu à u cliente, i so interessi, abitudini è locu. Cù profilazione è segmentazione curretta, l'offerte di publicità sò più efficaci. Tuttavia, in pratica, micca tuttu hè cusì rosa. I dati chì l'imprese almacenanu pò esse senza speranza obsoleti, redundant, ripetitivi, o a so esistenza hè scunnisciuta à nimu, salvu un cerculu strettu di utilizatori. ¯_(ツ)_/¯
In una parolla, i dati devenu esse gestiti in modu efficace - solu allora diventerà un attivu chì porta benefici reali è prufitti à l'affari. Sfurtunatamente, risolve i prublemi di gestione di dati richiede superà assai cumplessità. Sò principalmente dovutu à u legatu storicu in a forma di "zoo" di sistemi è a mancanza di prucessi unificati è avvicinamenti à a so gestione. Ma chì significa esse "data driven"?
Questu hè esattamente ciò chì parleremu sottu u cut, è ancu cumu a pila opensource ci hà aiutatu.
U cuncettu di a gestione strategica di dati Data Governance (DG) hè digià assai cunnisciutu in u mercatu russu, è i scopi ottenuti da l'imprese in u risultatu di a so implementazione sò chjaramente dichjarati. A nostra cumpagnia ùn era micca escepzione è si mette u compitu di introduci u cuncettu di gestione di dati.
Allora induve avemu principiatu ? Per principià, avemu furmatu obiettivi chjave per noi stessi:
- Mantene i nostri dati accessibili.
- Assicurà a trasparenza di u ciclu di vita di dati.
- Fornite à l'utilizatori di a cumpagnia dati coerenti è coerenti.
- Fornite à l'utilizatori di a cumpagnia dati verificati.
Oghje, ci sò una decina di strumenti di classi di Data Governance in u mercatu di u software.
Ma dopu un analisi detallatu è studiu di e soluzioni, avemu registratu una quantità di cumenti critichi per noi stessi:
- A maiò parte di i fabricatori offrenu un inseme cumpletu di suluzioni, chì per noi hè redundante è duplicate e funziunalità esistenti. In più, caru in termini di risorse, integrazione in u paisaghju IT attuale.
- A funziunalità è l'interfaccia sò pensati per i tecnulugichi, micca per l'utilizatori finali di l'affari.
- Bassu tassu di sopravvivenza di i prudutti è mancanza di implementazioni successu in u mercatu russu.
- Altu costu di u software è più supportu.
I criterii è i cunsiglii espressi sopra in quantu à a sustituzione di l'importazione di software per l'imprese russe ci anu cunvintu à avanzà versu u nostru propiu sviluppu nantu à una pila opensource. A piattaforma chì avemu sceltu era Django, un framework liberu è apertu scrittu in Python. È cusì avemu identificatu moduli chjave chì cuntribuiscenu à i scopi dichjarati sopra:
- Registru di i rapporti.
- Glossariu di l'affari.
- Modulu per a descrizzione di trasfurmazioni tecniche.
- Modulu per a descrizzione di u ciculu di vita di dati da a fonte à l'uttellu BI.
- Modulu di cuntrollu di qualità di dati.
Registru di i rapporti
Sicondu i risultati di studii internu in e grande cumpagnie, quandu si risolve i prublemi di dati, l'impiegati passanu 40-80% di u so tempu à circà. Per quessa, avemu stabilitu u compitu di fà infurmazione aperta nantu à i rapporti esistenti chì prima eranu dispunibuli solu per i clienti. Cusì, riducemu u tempu per generà novi rapporti è assicurà a demucratizazione di e dati.
U registru di rapportu hè diventatu una sola finestra di rapportu per l'utilizatori interni di diverse regioni, dipartimenti è divisioni. Cunsulida l'infurmazioni nantu à i servizii d'informazione creati in parechji repositori corporativi di a cumpagnia, è ci sò parechji in Rostelecom.
Ma u registru ùn hè micca solu una lista secca di rapporti sviluppati. Per ogni rapportu, furnimu l'infurmazioni necessarii per l'utilizatore per familiarizà cun ellu:
- breve descrizzione di u rapportu;
- prufundità di dispunibilità di dati;
- segmentu di i clienti;
- strumentu di visualizazione;
- nome di l'almacenamiento corporativu;
- esigenze funziunali di l'affari;
- ligame à u rapportu;
- ligame à l'applicazione per l'accessu;
- status di implementazione.
L'analitiche di u livellu d'usu sò dispunibuli per i rapporti, è i rapporti sò classificati in cima di a lista basatu annantu à l'analitiche di log basatu annantu à u numeru di utilizatori unichi. È ùn hè micca questu. In più di e caratteristiche generale, avemu ancu furnitu una descrizzione dettagliata di a cumpusizioni di l'attributi di i rapporti cù esempi di valori è metudi di calculu. Tali dettagliate immediatamente dà à l'utilizatore una risposta se u rapportu hè utile per ellu o micca.
U sviluppu di stu modulu hè statu un passu impurtante in a demucratizazione di e dati è hà riduciutu significativamente u tempu per truvà l'infurmazioni necessarii. In più di riduce u tempu di ricerca, u nùmeru di dumande à u squadra di supportu per furnisce cunsultazioni hè ancu diminuitu. Hè impussibile micca di nutà un altru risultatu utile chì avemu ottinutu da u sviluppu di un registru unificatu di rapporti - impediscenu u sviluppu di rapporti duplicati per diverse unità strutturali.
Glossariu di l'affari
Sapete tutti chì ancu in a listessa cumpagnia, l'imprese parlanu lingue diverse. Iè, usanu i stessi termini, ma significanu cose completamente diverse. Un glossariu cummerciale hè pensatu per risolve stu prublema.
Per noi, un glossariu cummerciale ùn hè micca solu un libru di riferimentu cù una descrizzione di termini è metodulugia di calculu. Questu hè un ambiente cumpletu per u sviluppu, l'accordu è l'appruvazioni di a terminologia, a creazione di relazioni trà i termini è l'altri assi informativi di a cumpagnia. Prima di entre in u glossariu cummerciale, un termu deve passà per tutte e tappe di appruvazioni cù i clienti di l'affari è u centru di qualità di dati. Solu dopu questu diventa dispunibule per l'usu.
Cumu l'aghju scrittu sopra, l'unicità di sta strumentu hè chì permette cunnessione da u livellu di un termu cummerciale à i rapporti d'utilizatori specifichi in quale hè utilizatu, è ancu à u livellu di l'oggetti di basa di dati fisichi.
Questu hè pussibule per l'usu di l'identificatori di termini di glossariu in a descrizzione dettagliata di i rapporti di registru è a descrizzione di l'oggetti di basa di dati fisici.
Attualmente, più di 4000 XNUMX termini sò stati definiti è accunsentiti in u Glossariu. U so usu simplificà è accelerà u trattamentu di e dumande entrate per cambiamenti in i sistemi d'infurmazione di a cumpagnia. Se l'indicatore necessariu hè digià implementatu in ogni rapportu, allora l'utilizatore vede immediatamente un inseme di rapporti pronti induve questu indicatore hè utilizatu, è puderà decide nantu à a reutilizazione efficace di e funziunalità esistenti o a so mudificazione minima, senza inizià. novi richieste per u sviluppu di un novu rapportu.
Modulu per a descrizzione di trasfurmazioni tecniche è DataLineage
Chì sò questi moduli, dumandate? Ùn hè micca abbastanza per implementà u Registru è u Glossariu di i Rapporti; hè ancu necessariu di mette in terra tutti i termini di l'affari nantu à u mudellu di basa di dati fisicu. Cusì, avemu pussutu compie u prucessu di furmà u ciculu di vita di dati da i sistemi fonte à a visualizazione BI attraversu tutti i strati di u magazzinu di dati. In altre parolle, custruisce un DataLineage.
Avemu sviluppatu una interfaccia basata nantu à u formatu utilizatu prima in a cumpagnia per descriverà e regule è a logica di trasfurmazioni di dati. A listessa infurmazione hè entrata per l'interfaccia cum'è prima, ma a definizione di u termu identificatore da u glossariu cummerciale hè diventata un prerequisite. Hè cusì chì custruemu una cunnessione trà l'affari è i strati fisichi.
Quale hè bisognu? Chì era sbagliatu cù u vechju formatu chì avete travagliatu per parechji anni? Quantu anu aumentatu i costi di u travagliu per generà esigenze? Avemu avutu à trattà tali dumande durante l'implementazione di l'uttellu. E risposte quì sò abbastanza simplici - tutti avemu bisognu di questu, l'uffiziu di dati di a nostra cumpagnia è i nostri utilizatori.
Infatti, l'impiegati anu da adattà; in prima, questu hà purtatu à un ligeru aumentu di i costi di u travagliu per a preparazione di a documentazione, ma avemu risoltu stu prublema. A pratica, l'identificazione è l'ottimisazione di e zone problematiche anu fattu u so travagliu. Avemu ottinutu u principale - avemu migliuratu a qualità di i bisogni sviluppati. Campi obbligatori, libri di riferimentu unificati, maschere di input, cuntrolli integrati - tuttu questu hà permessu di migliurà significativamente a qualità di e descrizioni di trasfurmazioni. Avemu alluntanatu da a pratica di trasmette script cum'è esigenze di sviluppu è cunniscenze sparte chì era solu dispunibule per u squadra di sviluppu. A basa di dati di metadati generata riduce significativamente u tempu necessariu per fà l'analisi di regressione è furnisce a capacità di valutà rapidamente l'impattu di i cambiamenti nantu à ogni strata di u paisaghju IT (rapporti di vetrina, aggregati, fonti).
Chì ci hà da fà cù l'utilizatori ordinali di i rapporti, chì sò i vantaghji per elli? Grazie à a capacità di custruisce DataLineage, i nostri utilizatori, ancu quelli chì sò luntanu da SQL è altri linguaggi di prugrammazione, ricevenu rapidamente infurmazioni nantu à e fonti è l'uggetti nantu à a basa di quale un rapportu particulari hè generatu.
Modulu di cuntrollu di qualità di dati
Tuttu ciò chì avemu parlatu sopra in quantu à assicurà a trasparenza di e dati ùn hè micca impurtante senza capisce chì i dati chì demu à l'utilizatori sò curretti. Unu di i moduli impurtanti di u nostru cuncettu di Data Governance hè u modulu di cuntrollu di qualità di dati.
In u stadiu attuale, questu hè un catalogu di cuntrolli per entità selezziunate. U scopu immediatu per u sviluppu di u produttu hè di espansione a lista di cuntrolli è integrà cù u registru di rapportu.
Chì darà è à quale ? L'utilizatore finale di u registru avarà accessu à l'infurmazioni nantu à e date previste è attuali di a preparazione di u rapportu, i risultati di cuntrolli cumpleti cù dinamica, è l'infurmazioni nantu à e fonti caricate in u rapportu.
Per noi, u modulu di qualità di dati integrata in i nostri prucessi di travagliu hè:
- Formazione pronta di l'aspettattivi di i clienti.
- Piglià e decisioni nantu à l'utilizazione ulteriore di dati.
- Ottene un settore prelimiunale di punti di prublema in i primi fasi di u travagliu per u sviluppu di cuntrolli di qualità regulare.
Di sicuru, questi sò i primi passi in a custruzzione di un prucessu di gestione di dati cumpletu. Ma simu cunfidenti chì solu cù u scopu di fà stu travagliu, intruducendu attivamente strumenti di Governance di Dati in u prucessu di travagliu, furniremu à i nostri clienti un cuntenutu di informazioni, un altu livellu di fiducia in i dati, a trasparenza in a so ricivuta è aumentà a vitezza di lanciamentu. nova funziunalità.
Squadra di DataOffice
Source: www.habr.com