DataGovernance cu forțele proprii

Salut, Habr!

Datele sunt cea mai valoroasă resursă a unei companii. Acest lucru este susținut de aproape fiecare întreprindere cu un accent digital. Este greu de contestat: fără a discuta despre metodele de gestionare, stocare și procesare a datelor, nu trece nici o mare conferință IT.

Datele ne vin din exterior, dar se formează și în interiorul companiei; iar dacă vorbim despre datele unei companii de telecomunicații, acestea reprezintă pentru angajații interni o sursă de informații despre client, interesele, obiceiurile și localizarea acestuia. Printr-o profilare și segmentare corectă, propunerile de publicitate devin extrem de eficiente. Totuși, în practică, lucrurile nu sunt atât de roz. Datele pe care le păstrează companiile pot fi complet învechite, redundante, repetitive sau despre existența lor știe doar un cerc restrâns de utilizatori. ¯_(ツ)_/¯

Pe scurt, datele trebuie gestionate eficient – doar în acest caz ele devin un activ care aduce beneficii și profit real afacerii. Din păcate, pentru a rezolva problemele de gestionare a datelor, trebuie să depășim numeroase dificultăți. Acestea sunt determinate în principal de moștenirea istorică sub formă de «zoo» de sisteme și de lipsa unor procese și abordări unificate pentru gestionarea acestora. Dar ce înseamnă «a gestiona datele»?

Despre aceasta vom discuta în continuare, precum și despre modul în care ne-a ajutat un stack opensource.

Conceptul de gestionare strategică a datelor, Data Governance (DG), este deja bine cunoscut pe piața din România, iar obiectivele atinse de afaceri în urma implementării sale sunt clare și bine definite. Compania noastră nu a fost o excepție, având ca obiectiv implementarea conceptului de gestionare a datelor.

Așadar, cu ce am început? La început, ne-am formulat obiectivele cheie:

1. Asigurarea accesibilității datelor noastre.
2. Asigurarea transparenței ciclului de viață al datelor.
3. Furnizarea de date coerente și consistente pentru utilizatorii din companie.
4. Furnizarea de date verificate pentru utilizatorii din companie.

În prezent, pe piața software-ului există câteva zeci de instrumente de tip Data Governance.

Dar după o analiză detaliată și studierea soluțiilor, am constatat o serie de observații critice:

• Majoritatea producătorilor oferă un set complex de soluții, care pentru noi sunt excesive și dublează funcționalitatea deja existentă. În plus, integrarea în peisajul IT actual este costisitoare din punct de vedere al resurselor.
• Funcționalitatea și interfața sunt destinate tehnicienilor, nu utilizatorilor de afaceri finali.
• Rata redusă de acceptare a produselor și lipsa implementărilor de succes pe piața din Rusia.
• Costurile ridicate ale software-ului și ale întreținerii ulterioare.

Criteriile și recomandările menționate mai sus în ceea ce privește înlocuirea software-ului pentru companiile rusești ne-au convins să ne orientăm spre dezvoltarea proprie pe un stack open source. Am ales ca platformă Django – un framework gratuit și open source, scris în Python. Astfel, am identificat modulele cheie care vor contribui la atingerea obiectivelor menționate anterior:

1. Registrul rapoartelor.
2. Gloasar de afaceri.
3. Modul de descriere a transformărilor tehnice.
4. Modul de descriere a ciclului de viață al datelor de la sursă la instrumentul BI.
5. Modul de control al calității datelor.

Registrul rapoartelor

Conform cercetărilor interne efectuate în companii mari, angajații, rezolvând sarcini legate de date, își petrec 40–80% din timp căutându-le. Prin urmare, ne-am propus să facem informațiile despre rapoartele existente accesibile, care anterior erau disponibile doar pentru clienți. Astfel, reducem timpul necesar pentru generarea de noi rapoarte și asigurăm democratizarea datelor.

Registrul rapoartelor a devenit o fereastră unică de raportare pentru utilizatorii interni din diferite regiuni, departamente și unități. Acesta consolidează informațiile privind serviciile informaționale create în mai multe depozite corporative ale companiei, iar în Rostelecom există multe.

Dar registrul nu este doar o listă uscată de rapoarte elaborate. Pentru fiecare raport oferim informațiile necesare utilizatorului pentru a se familiariza singur cu acesta:

• o descriere scurtă a raportului;
• profunditatea accesibilității datelor;
• segmentul clientului;
• instrumentul de vizualizare;
• numele depozitului corporativ;
• cerințele funcționale de afaceri;
• linkul către raport;
• linkul către cererea de acces;
• starea implementării.

Raportele oferă analize privind utilizarea, iar acestea ajung în topul listei pe baza analizei logurilor în funcție de numărul de utilizatori unici. Și aceasta nu este tot. Pe lângă caracteristicile generale, am prevăzut și o descriere detaliată a compoziției atributelor rapoartelor, cu exemple de valori și metodologie de calcul. O astfel de detaliere oferă imediat utilizatorului răspunsul dacă raportul este util sau nu.

Dezvoltarea acestui modul a reprezentat un pas important în democratizarea datelor și a redus semnificativ timpul necesar pentru a găsi informațiile dorite. Pe lângă reducerea timpului de căutare, a scăzut și numărul de solicitări către echipa de suport pentru consultanță. De asemenea, merită menționat un alt rezultat util pe care l-am obținut, prin dezvoltarea unui registru unic de rapoarte – prevenirea dezvoltării de rapoarte duplicat pentru diferite unități structurale.

Glosar de afaceri

Toți știți că, chiar și în cadrul aceleași companii, afacerea vorbește în limbi diferite. Da, folosesc aceleași termeni, dar înțeleg sub ei lucruri complet diferite. Glosarul de afaceri este destinat să rezolve această problemă.

Pentru noi, glosarul de afaceri nu este doar un director cu descrierea termenilor și metodologia de calcul. Este un mediu complet de dezvoltare, de negociere și aprobat de terminologie, construirea relațiilor dintre termeni și alte active informaționale ale companiei. Înainte de a ajunge în glosarul de afaceri, un termen trebuie să treacă prin toate etapele de aprobat de către clienții de business și centrul de calitate a datelor. Numai după aceea devine disponibil pentru utilizare.

Așa cum am menționat mai sus, unicitatea acestui instrument constă în faptul că permite stabilirea legăturilor de la nivelul termenului de afaceri până la rapoartele specifice ale utilizatorilor în care este folosit, precum și la nivelul obiectelor fizice din bazele de date.

Acest lucru a devenit posibil prin utilizarea identificatorilor termenilor din glosar în descrierea detaliată a rapoartelor din registru și în descrierea obiectelor fizice din bazele de date.

În prezent, în Glosar sunt definite și aprobate deja peste 4000 de termeni. Utilizarea acestuia simplifică și accelerează procesarea cererilor de modificare în sistemele informaționale ale companiei. Dacă indicatorul solicitat este deja implementat în vreun raport, utilizatorul va vedea imediat un set de rapoarte gata, în care acest indicator a fost utilizat, și va putea lua o decizie cu privire la reutilizarea eficientă a funcționalității existente sau la o mică ajustare, fără a iniția noi cereri pentru dezvoltarea unui raport nou.

Modul de descriere a transformărilor tehnice și DataLineage

Voi întrebați, ce sunt aceste module? Nu este suficient să implementați Registrul raportului și Glosarul, este necesar să aterrizați toate termenii de afaceri pe modelul fizic al bazelor de date. Astfel, am reușit să finalizăm procesul de formare a ciclului de viață al datelor de la sistemele sursă până la vizualizarea BI, prin toate straturile de stocare a datelor. Cu alte cuvinte, să construim DataLineage.

Am dezvoltat o interfață bazată pe formatul de descriere a regulilor și logicii de transformare a datelor utilizat anterior în companie. Prin intermediul interfeței se introduce aceeași informație ca înainte, dar o condiție obligatorie a fost definirea identificatorului termenului din glosarul de afaceri. Astfel, stabilim legătura între straturile de afaceri și cele fizice.

Cui îi este necesar acest lucru? Ce nu a fost în regulă cu formatul vechi, cu care am lucrat câțiva ani? Cât de mult s-au crescut costurile de muncă pentru formularea cerințelor? Cu astfel de întrebări ne-am confruntat în procesul de implementare a instrumentului. Aici răspunsurile sunt destul de simple – este nevoie de toți noi, biroul de date al companiei noastre și de utilizatorii noștri.

Într-adevăr, angajații au trebuit să se adapteze, ceea ce a dus inițial la creșteri nesemnificative ale eforturilor pentru pregătirea documentației, dar am rezolvat această problemă. Practica, identificarea și optimizarea locurilor problematice și-au spus cuvântul. Am atins obiectivul principal — am îmbunătățit calitatea cerințelor dezvoltate. Câmpurile obligatorii, dicționarele unificate, măștile de introducere, verificările integrate – toate acestea au permis o creștere semnificativă a calității descrierilor transformărilor. Am abandonat practica de a transmite scripturi sub formă de cerințe pentru dezvoltare, am împărtășit cunoștințele care erau disponibile doar echipei care se ocupa de dezvoltare. Baza de date de metadate formată reduce semnificativ timpul necesar pentru analiza regresivă, asigurând posibilitatea de evaluare rapidă a impactului modificărilor asupra oricărei dintre nivelurile peisajului IT (rapoarte de vitrină, agregate, surse).

Și ce legătură au utilizatorii obișnuiți ai rapoartelor, ce beneficii au pentru ei? Datorită posibilității de a construi DataLineage, utilizatorii noștri, chiar și cei care nu au cunoștințe de SQL și alte limbaje de programare, obțin rapid informații despre sursele și obiectele pe baza cărora se formează un anumit raport.

Modul de control al calității datelor

Tot ceea ce am discutat mai sus în ceea ce privește asigurarea transparenței datelor nu are importanță fără înțelegerea faptului că datele pe care le oferim utilizatorilor sunt corecte. Unul dintre modulele importante ale conceptului nostru de Data Governance este modul de control al calității datelor.

În etapa actuală, acesta este un catalog de verificări pentru entități selectate. Obiectivul apropiat pentru dezvoltarea produsului este extinderea listei de verificări și integrarea cu registrul rapoartelor.
Ce va aduce aceasta și cui? Pentru utilizatorul final al registrului vor fi disponibile informații despre datele planificate și reale privind finalizarea raportului, rezultatele verificărilor efectuate cu dinamica, informații despre sursele încărcate în raport.

Pentru noi, modul integrat în fluxurile de lucru privind calitatea datelor reprezintă:

• Formarea rapidă a așteptărilor clienților.
• Luarea deciziilor cu privire la utilizarea ulterioară a datelor.
• Obținerea unui set preliminar de puncte problematice în etapele inițiale ale lucrărilor pentru dezvoltarea unor controale regulate de calitate.

Cu siguranță, acestea sunt primele pași în construirea unui proces complet de gestionare a datelor. Dar suntem convinși că, doar printr-o activitate țintită în acest domeniu, implementând activ instrumentele DataGovernance în fluxul de lucru, vom asigura clienților noștri o informare, un nivel ridicat de încredere în date, transparență în obținerea acestora și vom crește viteza de lansare a noilor funcționalități.

Echipa DataOffice

Sursa: habr.com