DataGovernance in-house

Ciao, Habr!

I dati rappresentano un attivo prezioso per l'azienda. Questo è affermato praticamente da ogni impresa orientata al digitale. È difficile contraddirlo: nessuna grande conferenza IT passa senza discutere di metodi di gestione, archiviazione e trattamento dei dati.

I dati ci arrivano dall'esterno, ma si formano anche internamente all'azienda. Parlando dei dati delle aziende di telecomunicazioni, essi costituiscono una miniera d'informazioni sui clienti, i loro interessi, abitudini e localizzazione. Con un'adeguata profilazione e segmentazione, le offerte pubblicitarie risultano particolarmente efficaci. Tuttavia, nella pratica, la situazione non è così rosea. I dati archiviati dalle aziende possono essere irrimediabilmente obsoleti, ridondanti, duplicati o addirittura sconosciuti a chi non appartiene a un ristretto gruppo di utenti.

In breve, i dati devono essere gestiti in modo efficace: solo in questo modo diventeranno un attivo che apporta reale valore e profitto all'azienda. Sfortunatamente, affrontare le problematiche della gestione dei dati richiede di superare diverse complessità. Queste sono principalmente legate a un'eredità storica sotto forma di "zoo" di sistemi e alla mancanza di processi e approcci unificati per la loro gestione. Ma cosa significa "gestire i dati"?

Proprio di questo parleremo di seguito, così come di come ci ha aiutato lo stack open source.

Il concetto di Data Governance (DG) è già ampiamente noto nel mercato russo, e gli obiettivi raggiunti dalle aziende grazie alla sua implementazione sono chiari e dichiarati in modo preciso. Anche la nostra azienda non è stata un'eccezione e ha posto l'obiettivo di implementare il concetto di gestione dei dati.

Quindi, da dove siamo partiti? Per cominciare, abbiamo definito i nostri obiettivi chiave:

1. Garantire l'accessibilità dei nostri dati.
2. Assicurare la trasparenza del ciclo di vita dei dati.
3. Fornire agli utenti aziendali dati coerenti e non contraddittori.
4. Fornire agli utenti aziendali dati verificati.

Attualmente, sul mercato del software, sono disponibili una decina di strumenti della classe Data Governance.

Tuttavia, dopo un'analisi approfondita delle soluzioni, abbiamo registrato una serie di osservazioni critiche:

• La maggior parte dei fornitori offre un pacchetto completo di soluzioni, che per noi è eccessivo e duplica funzionalità già esistenti. Inoltre, l'integrazione nel panorama IT attuale è costosa in termini di risorse.
• La funzionalità e l'interfaccia sono progettate per i tecnici, non per gli utenti aziendali finali.
• Bassa adozione dei prodotti e mancanza di implementazioni di successo nel mercato russo.
• Elevati costi del software e del successivo supporto.

I criteri e le raccomandazioni sopra menzionati riguardanti l'import substitution del software per le aziende russe ci hanno convinti a orientarci verso uno sviluppo interno su stack open source. Abbiamo scelto Django come piattaforma: un framework gratuito e open source scritto in Python. Abbiamo quindi identificato i moduli chiave che sosterranno gli obiettivi sopra menzionati:

1. Registro dei report.
2. Glossario aziendale.
3. Modulo di descrizione delle trasformazioni tecniche.
4. Modulo di descrizione del ciclo di vita dei dati, dalla sorgente allo strumento BI.
5. Modulo di controllo della qualità dei dati.

Registro dei report

Secondo ricerche interne condotte in grandi aziende, per affrontare le sfide legate ai dati, i dipendenti spendono circa il 40-80% del loro tempo nella ricerca di queste informazioni. Per questo motivo, ci siamo posti l'obiettivo di rendere accessibili i dati sui report esistenti, che in precedenza erano disponibili solo per i clienti. In questo modo riduciamo il tempo necessario per la creazione di nuovi report e promuoviamo la democratizzazione dei dati.

Il registro dei report è diventato un'unica interfaccia di reporting per utenti interni di diverse regioni, dipartimenti e divisioni. In esso è stata consolidata l'informazione sui servizi informatici creati in diversi archivi aziendali, e ce ne sono molti in Rostelecom.

Ma il registro non è solo un elenco arido di report sviluppati. Per ciascun report forniamo informazioni necessarie all'utente per familiarizzare autonomamente con esso:

• breve descrizione del report;
• profondità di disponibilità dei dati;
• segmento del cliente;
• strumento di visualizzazione;
• nome del repository aziendale;
• requisiti funzionali aziendali;
• link al report;
• link per la richiesta di accesso;
• stato di implementazione.

Le analisi sui report forniscono dati sull'utilizzo, con i report classificati in base alle analisi dei log riguardanti il numero di utenti unici. E non è tutto. Oltre alle caratteristiche generali, abbiamo incluso anche una descrizione dettagliata della composizione degli attributi dei report, con esempi di valori e metodologie di calcolo. Tale dettaglio consente già al lettore di comprendere immediatamente se il report è utile per lui o meno.

Lo sviluppo di questo modulo ha rappresentato un passo significativo verso la democratizzazione dei dati, riducendo notevolmente il tempo necessario per la ricerca delle informazioni richieste. Oltre a ridurre i tempi di ricerca, è diminuito anche il numero di richieste verso il team di supporto per ottenere consulenze. È importante notare anche un ulteriore risultato positivo: la creazione di un registro unico dei report ha evitato la creazione di report duplicati per diverse unità strutturali.

Glossario aziendale

Tutti sanno che anche all'interno della stessa azienda il business parla lingue diverse. Sì, utilizzano gli stessi termini, ma ne comprendono cose completamente diverse. A risolvere questo problema ci pensa il glossario aziendale.

Per noi, il glossario aziendale non è semplicemente un manuale con descrizioni dei termini e della metodologia di calcolo. È un ambiente di sviluppo, approvazione e convalida della terminologia, costruito per creare collegamenti tra i termini e altri beni informativi dell'azienda. Prima di essere incluso nel glossario aziendale, un termine deve passare attraverso tutte le fasi di approvazione da parte degli utenti aziendali e del centro qualità dei dati. Solo dopo questo diventa disponibile per l'uso.

Come ho già scritto sopra, l'unicità di questo strumento sta nel fatto che consente di collegare il livello del termine di business a specifici rapporti degli utenti in cui è utilizzato, nonché al livello degli oggetti fisici del database.

Questo è stato reso possibile grazie all'uso degli identificatori dei termini del glossario nella descrizione dettagliata dei rapporti del registro e nella descrizione degli oggetti fisici del database.

Attualmente, nel Glossario sono definiti e approvati oltre 4000 termini. La sua utilizzazione semplifica e accelera l'elaborazione delle richieste di modifica nei sistemi informativi dell'azienda. Se il valore richiesto è già implementato in qualche report, l'utente vedrà immediatamente un insieme di report pronti in cui è utilizzato quel valore, e potrà decidere se riutilizzare in modo efficace la funzionalità esistente o apportare solo lievi modifiche, senza avviare nuove richieste per lo sviluppo di un nuovo report.

Modulo di descrizione delle trasformazioni tecniche e DataLineage

Vi chiederete, cosa sono questi moduli? Non basta semplicemente implementare il Registro dei report e il Glossario, è necessario anche allineare tutti i termini aziendali al modello fisico del database. In questo modo, siamo riusciti a completare il processo di formazione del ciclo di vita dei dati, dai sistemi di origine alla visualizzazione BI attraverso tutti i livelli del data warehouse. In altre parole, costruire il DataLineage.

Abbiamo sviluppato un'interfaccia basata sul formato precedentemente utilizzato in azienda per descrivere le regole e la logica di trasformazione dei dati. Attraverso l'interfaccia vengono inserite le stesse informazioni di prima, ma è diventato obbligatorio definire l'identificativo del termine dal glossario aziendale. Così costruiamo il legame tra i livelli aziendali e quelli fisici.

A chi serve? Cosa non andava bene nel vecchio formato con cui abbiamo lavorato per diversi anni? Quanto sono aumentati gli sforzi per la stesura dei requisiti? Ci siamo trovati a dover rispondere a queste domande durante l'implementazione dello strumento. Qui le risposte sono piuttosto semplici: ne hanno bisogno tutti noi, l'ufficio dati della nostra azienda e i nostri utenti.

I dipendenti hanno effettivamente dovuto adattarsi, all'inizio questo ha portato a un lieve aumento del tempo necessario per la preparazione della documentazione, ma abbiamo affrontato questa questione. La pratica, l'identificazione e l'ottimizzazione dei punti critici hanno fatto la loro parte. Abbiamo raggiunto l'obiettivo principale: abbiamo migliorato la qualità dei requisiti sviluppati. I campi obbligatori, le directory uniformate, le maschere di input e i controlli incorporati hanno permesso di aumentare significativamente la qualità delle descrizioni delle trasformazioni. Abbiamo abbandonato la pratica di trasmettere script sotto forma di requisiti di sviluppo, condividendo conoscenze che erano disponibili solo per il team di sviluppo. La base di metadati creata riduce drasticamente il tempo necessario per condurre analisi di regressione, consentendo una valutazione rapida dell'impatto delle modifiche su qualsiasi livello del panorama IT (report della vetrina, aggregati, fonti).

E che c'entrano gli utenti comuni con i report, quali vantaggi per loro? Grazie alla possibilità di costruire Data Lineage, i nostri utenti, anche quelli poco familiari con SQL e altri linguaggi di programmazione, possono ottenere rapidamente informazioni sulle fonti e sugli oggetti su cui si basa un determinato report.

Modulo di controllo della qualità dei dati

Tutto ciò di cui abbiamo parlato in precedenza riguardo alla trasparenza dei dati è irrilevante senza comprendere che i dati che forniamo agli utenti sono corretti. Uno dei moduli importanti della nostra concezione di Data Governance è il modulo di controllo della qualità dei dati.

Attualmente, questo è un catalogo di controlli su entità selezionate. L'obiettivo più immediato per lo sviluppo del prodotto è l'ampliamento dell'elenco dei controlli e l'integrazione con il registro dei report.
Cosa porterà e a chi? Per l'utente finale del registro saranno disponibili informazioni sulle date pianificate e effettive di disponibilità del report, i risultati dei controlli effettuati con la dinamica, e le informazioni sulle fonti caricate nel report.

Per noi, un modulo di qualità dei dati integrato nei processi di lavoro è:

• Formazione rapida delle aspettative dei clienti.
• Decision-making regarding the further use of data.
• Identifying a preliminary set of pain points in the early stages of work to develop regular quality controls.

These are undoubtedly the first steps in establishing a full-fledged data management process. However, we are confident that by purposefully engaging in this work and actively implementing Data Governance tools into the workflow, we will provide our clients with informative insights, a high level of trust in data, transparency in its acquisition, and accelerate the rollout of new functionalities.

DataOffice Team

Fonte: habr.com