DataGovernance vlastitim snagama

Zdravo, Habr!

Podaci su najvrednija imovina kompanije. To tvrdi gotovo svaka kompanija s digitalnim fokusom. Teško je s tim polemizirati: bez rasprave o pristupima upravljanju, pohrani i obradi podataka ne prolazi nijedna velika IT konferencija.

Podaci nam dolaze izvana, ali se također oblikuju unutar kompanije, a ako govorimo o podacima telekomunikacijske kompanije, to su za unutrašnje zaposlenike blago informacija o klijentu, njegovim interesima, navikama i lokaciji. Uz pravilno profiliranje i segmentaciju, reklamne ponude postaju najefikasnije. Međutim, u praksi, situacija nije tako ružičasta. Podaci koje kompanije čuvaju mogu biti nezainteresovani, zastarjeli, suvišni ili o njihovom postojanju niko ne zna osim uskog kruga korisnika.

DataGovernance vlastitim snagama
Jednom riječju, podacima se mora efikasno upravljati – samo tako će postati imovina koja donosi stvarnu korist i profit poslovanju. Nažalost, da bi se rešili pitanja upravljanja podacima, potrebno je prevazići prilično mnogo izazova. Oni su uglavnom uzrokovani kako istorijskim nasleđem u vidu 'zoo vrtova' sistema, tako i nedostatkom jedinica procesa i pristupa za upravljanje njima. Ali šta znači 'upravljati podacima'?

O tome ćemo razgovarati u nastavku, kao i o tome kako nam je pomogao opensource stack.

Koncept strateškog upravljanja podacima Data Governance (DG) već je dovoljno poznat na ruskom tržištu, a ciljevi koje poslovanje postiže njegovom primenom su jasni i precizno deklarirani. Naša kompanija nije bila izuzetak i postavila je sebi zadatak uvođenja koncepta upravljanja podacima.

Dakle, odakle smo počeli? Prvo smo definirali ključne ciljeve:

  1. Osigurati dostupnost naših podataka.
  2. Osigurati transparentnost životnog ciklusa podataka.
  3. Pružiti korisnicima kompanije usklađene i dosljedne podatke.
  4. Pružiti korisnicima kompanije proverene podatke.

Do danas na tržištu softverskih alata postoji nekoliko desetaka alata klase Data Governance.

DataGovernance vlastitim snagama

Međutim, nakon detaljne analize i proučavanja rešenja, zabeležili smo određene kritične primedbe:

  • Većina proizvođača nudi sveobuhvatan skup rješenja koja su za nas suvišna i dupliciraju postojeću funkcionalnost. Uz to, integracija u trenutni IT pejzaž je skupa u smislu resursa.
  • Funkcionalnost i interfejs su namijenjeni tehnolozima, a ne krajnjim poslovnim korisnicima.
  • Niska stopa preživljavanja proizvoda i nedostatak uspješnih implementacija na ruskom tržištu.
  • Visoke troškove softvera i daljnjeg održavanja.

Gore navedeni kriteriji i preporuke u vezi s uvozom softvera za ruske kompanije uvjerili su nas da krenemo u pravcu vlastitog razvoja na opensource steku. Kao platformu odabrali smo Django – besplatan i otvoren okvir, napisan na Pythonu. Tako smo identifikovali ključne module koji će doprinijeti navedenim ciljevima:

  1. Registar izvještaja.
  2. Poslovni glosar.
  3. Modul za opis tehničkih transformacija.
  4. Modul za opis životnog ciklusa podataka od izvora do BI alata.
  5. Modul za kontrolu kvaliteta podataka.

DataGovernance vlastitim snagama

Registar izvještaja

Prema rezultatima unutrašnjih istraživanja u velikim kompanijama, zaposleni troše 40-80% vremena rješavajući probleme vezane za podatke. Stoga smo sebi zadali zadatak da učinimo informacije o postojećim izvještajima, koji su ranije bili dostupni samo naručiteljima, otvorenim. Na taj način smanjujemo vrijeme potrebno za kreiranje novih izvještaja i omogućavamo demokratizaciju podataka.

DataGovernance vlastitim snagama

Registar izvještaja postao je jedinstveni prozor za izvještavanje za unutrašnje korisnike iz različitih regiona, odjela i jedinica. U njemu se konsolidiraju informacije o infuservicima kreiranim u nekoliko korporativnih skladišta kompanije, a njih u Rostelekomu ima mnogo.

Međutim, registar nije samo suhi spisak razvijenih izvještaja. Za svaki izvještaj pružamo informacije potrebne korisniku za samostalno upoznavanje sa njim:

  • kratak opis izvještaja;
  • dubina dostupnosti podataka;
  • segment naručitelja;
  • alat za vizualizaciju;
  • naziv korporativnog skladišta;
  • poslovni funkcionalni zahtjevi;
  • link na izvještaj;
  • link na zahtjev za pristup;
  • status implementacije.

Prema izvještajima, dostupna je analitika nivoa korištenja, a izvještaji se rangiraju na vrhu liste na osnovu analitike logova prema broju jedinstvenih korisnika. I to nije sve. Osim općih karakteristika, pripremili smo i detaljan opis atributnog sastava izvještaja sa primjerima vrijednosti i metodologijom izračuna. Ova detaljnost odmah pruža korisniku odgovor na pitanje da li je izvještaj koristan ili ne.

Razvoj ovog modula predstavljao je važan korak ka demokratizaciji podataka i značajno skratio vrijeme potrebno za pretragu potrebnih informacija. Osim skraćivanja vremena pretrage, smanjio se i broj zahtjeva timu za podršku za davanje konsultacija. Ne smijemo zaboraviti još jedan korisni rezultat koji smo postigli razvojem jedinstvenog registra izvještaja – sprečavanje razvoja dupliciranih izvještaja za različite strukturalne jedinice.

Poslovni glosar

Svi znate da čak i unutar iste kompanije poslovanje govori različitim jezicima. Da, koriste iste termine, ali pod njima razumiju potpuno različite stvari. Ovaj problem treba riješiti poslovni glosar.

Za nas poslovni glosar nije samo vodič sa opisom termina i metodologijom izračuna. To je potpuna sredina za razvoj, usklađivanje i odobravanje terminologije, izgradnju međusobnih odnosa termina s drugim informacijskim aktivama kompanije. Prije nego što termin uđe u poslovni glosar, mora proći kroz sve faze usklađivanja s poslovnim naručiocima i centrom za kvalitet podataka. Samo nakon toga postaje dostupnim za korištenje.

Kao što sam već napisao, jedinstvenost ovog alata leži u tome što omogućava uspostavljanje veza između nivoa poslovnog termina i konkretnih korisničkih izvještaja u kojima se on koristi, kao i do nivoa fizičkih objekata baze podataka.

DataGovernance vlastitim snagama

To je postalo moguće korištenjem identifikatora termina iz glosara u detaljnom opisu izvještaja iz registra i opisu fizičkih objekata baze podataka.

Sada je u Glosaru definirano i dogovoreno više od 4000 termina. Njegovo korištenje pojednostavljuje i ubrzava obradu pristiglih zahtjeva za promjenom u informacijskim sustavima kompanije. Ako je potrebna mjera već realizirana u nekom izvještaju, korisnik će odmah vidjeti set gotovih izvještaja u kojima se ta mjera koristi i moći će donijeti odluku o efikasnom ponovnom korištenju postojeće funkcionalnosti ili o njenoj minimalnoj doradi, ne pokrećući nove zahtjeve za razvoj novog izvještaja.

Modul za opis tehničkih transformacija i DataLineage

Pitat ćete se, što su to moduli? Samo implementirati Registar izvještaja i Glosar nije dovoljno, potrebno je također prilagoditi sve poslovne izraze fizičkom modelu baza podataka. Tako smo uspjeli završiti proces formiranja životnog ciklusa podataka od izvornih sustava do BI vizualizacije kroz sve slojeve skladišta podataka. Drugim riječima — izgraditi DataLineage.

Razvili smo sučelje koje se temeljilo na formatu opisa pravila i logike transformacije podataka koji se prethodno koristio u kompaniji. Kroz sučelje se unosi ista informacija kao i ranije, ali je obavezno odrediti identifikator termina iz poslovnog glosara. Tako gradimo vezu između poslovnog i fizičkog sloja.

Kome je to potrebno? Što nije odgovaralo starom formatu s kojim smo radili nekoliko godina? Koliko su se povećali troškovi rada na formiranju zahtjeva? S takvim pitanjima susretali smo se tokom implementacije alata. Ovdje su odgovori prilično jednostavni – to je potrebno svima nama, data-ofisu naše kompanije i našim korisnicima.

Zaista, zaposlenici su se morali prilagoditi, isprva je to dovelo do neznatnog povećanja radnih napora na pripremi dokumentacije, ali smo se nosili s tim problemom. Praksa, identifikacija i optimizacija problematičnih mjesta učinili su svoje. Postigli smo ono najvažnije — unaprijedili smo kvalitetu razvijenih zahtjeva. Obavezna polja za popunjavanje, standardizirani vodiči, maske unosa, ugrađene provjere — sve to je omogućilo višestruko povećanje kvaliteta opisa transformacija. Odejemo s prakse predaje skripti u obliku zahtjeva za razvoj, podijelili smo znanje koje je bilo dostupno samo timu koji se bavio razvojem. Formirana baza metapodataka značajno smanjuje vrijeme potrebnog za provođenje regresivne analize, omogućava brzu procjenu utjecaja promjena na bilo kojem od slojeva IT krajolika (izvještaji vitrine, agregati, izvori).

A kakve veze imaju obični korisnici izvještaja, koje su koristi za njih? Zahvaljujući mogućnosti izgradnje DataLineage, naši korisnici, čak i oni daleko od SQL-a i drugih programskih jezika, brzo dobivaju informacije o izvorima i objektima na temelju kojih se formira određeni izvještaj.

Modul za kontrolu kvalitete podataka

Sve što smo do sada govorili o osiguravanju transparentnosti podataka nije važno bez razumijevanja da su podaci koje pružamo korisnicima — točni. Jedan od važnih modula naše koncepta upravljanja podacima — modul za kontrolu kvalitete podataka.

U ovoj fazi to je katalog provjera za odabrane entitete. Najbliži cilj razvoja proizvoda je proširenje popisa provjera i integracija s registrima izvještaja.
Što će to donijeti i kome? Za krajnjeg korisnika registra će biti dostupne informacije o planiranim i stvarnim datumima spremnosti izvještaja, rezultati provedenih provjera s dinamikom, podaci o izvorima koji su učitani u izvještaj.

Za nas integrirani modul kvalitete podataka u radne procese je:

  • Brzo formiranje očekivanja kupaca.
  • Donosenje odluka o daljnjoj upotrebi podataka.
  • Dobivanje preliminarnog seta problematičnih tačaka u ranim fazama rada za razvoj redovnih kontrole kvaliteta.

Naravno, ovo su prvi koraci u uspostavljanju sveobuhvatnog procesa upravljanja podacima. Međutim, sigurni smo da ćemo samo ciljanim radom i aktivnim uvođenjem alata DataGovernance u radne procese osigurati našim klijentima informativnost, visok nivo poverenja u podatke, transparentnost njihove obrade i povećati brzinu razvoja novih funkcionalnosti.

Tim DataOffice

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster