Bok, Habr!
Podaci su najvrednija imovina kompanije. To tvrdi gotovo svaka kompanija usmjerena na digitalizaciju. S tim se teško ne složiti: bez rasprava o pristupima upravljanju, pohrani i obradi podataka, ne prolazi nijedna velika IT konferencija.
Podaci nam dolaze s vanjskih izvora, ali se također formiraju unutar kompanije. Kada je riječ o podacima telekomunikacijske kompanije, oni predstavljaju izvor informacija za unutarnje zaposlenike o klijentima, njihovim interesima, navikama i lokaciji. Uz pravilno profiliranje i segmentaciju, marketinške ponude mogu biti izuzetno učinkovite. Međutim, u praksi situacija nije uvijek tako optimistična. Podaci koje kompanije čuvaju često mogu biti zastarjeli, višak informacija, duplicirani ili čak nepoznati široj javnosti, osim uskom krugu korisnika. ¯_(ツ)_/¯
Jednom riječju, podacima se mora upravljati učinkovito – samo na taj način oni postaju imovina koja donosi pravu korist i profit poslovanju. Nažalost, rješavanje pitanja upravljanja podacima obuhvaća mnogo izazova. Ti izazovi su prvenstveno rezultati povijesnog naslijeđa u obliku "zooloških vrtova" sistema, kao i nedostatka jedinstvenih procesa i pristupa upravljanju njima. No što zapravo znači "upravljati podacima"?
O tome ćemo razgovarati u nastavku, kao i o tome kako nam je pomogao opensource stack.
Koncept strateškog upravljanja podacima Data Governance (DG) već je dovoljno poznat na hrvatskom tržištu, a ciljevi koje poslovanje postiže njegovom implementacijom su jasni i nedvosmisleni. Naša kompanija nije bila iznimka i postavila je sebi cilj uvođenja koncepta upravljanja podacima.
Dakle, odakle smo krenuli? Prvo smo definirali ključne ciljeve:
- Osigurati dostupnost naših podataka.
- Osigurati transparentnost životnog ciklusa podataka.
- Pružiti korisnicima kompanije usklađene i dosljedne podatke.
- Pružiti korisnicima kompanije provjerene podatke.
Trenutno na tržištu softverskih rješenja postoji nekoliko alata za upravljanje podacima (Data Governance).

Međutim, nakon detaljne analize i proučavanja rješenja, zabilježili smo niz važnih primjedbi:
- Većina proizvođača nudi sveobuhvatan set rješenja koji je za nas suvišan i duplicira već postojeće funkcionalnosti. Pored toga, integracija u trenutni IT pejzaž je skupa s obzirom na resurse.
- Funkcionalnost i sučelje su namijenjeni tehnologima, a ne krajnjim poslovnim korisnicima.
- Niska uspješnost proizvoda i nesposobnost uspješnih implementacija na ruskom tržištu.
- Visoka cijena softvera i daljnjeg održavanja.
Gore navedeni kriteriji i preporuke u vezi s uvozom softvera za ruske kompanije uvjerili su nas da krenemo u smjeru vlastitog razvoja na opensource stacku. Kao platformu smo odabrali Django – besplatan i otvoren framerock napisan u Pythonu. Na taj način smo istaknuli ključne module koji će doprinositi prethodno naznačenim ciljevima:
- Registar izvještaja.
- Poslovni glosar.
- Modul za opis tehničkih transformacija.
- Modul za opis životnog ciklusa podataka od izvora do BI alata.
- Modul za kontrolu kvalitete podataka.

Registar izvještaja
Prema rezultatima unutarnjih istraživanja u velikim kompanijama, rješavajući zadatke vezane uz podatke, zaposlenici troše 40—80% vremena na njihovo pronalaženje. Stoga smo postavili sebi zadatak da učinimo informacije o postojećim izvještajima otvorenima, koji su ranije bili dostupni samo klijentima. Na taj način smanjujemo vrijeme potrebno za izradu novih izvještaja i osiguravamo demokratizaciju podataka.

Registar izvještaja postao je jedinstvena tačka izvještavanja za unutarnje korisnike iz različitih regija, odjela i sektora. U njemu je konsolidirana informacija o infokomunikacijskim uslugama stvorenim u nekoliko korporativnih skladišta kompanije, a u Rostelekomu ih ima mnogo.
No, registar nije samo suhoparni popis razvijenih izvještaja. Za svaki izvještaj pružamo informacije potrebne korisniku za samostalno upoznavanje s njim:
- kratak opis izvještaja;
- dubina dostupnosti podataka;
- segment klijenta;
- alat za vizualizaciju;
- naziv korporativnog skladišta;
- poslovno-funkcionalni zahtjevi;
- link na izvještaj;
- link na zahtjev za pristup;
- status realizacije.
Prema izvještajima, dostupna je analiza razine korištenja, a izvještaji se rangiraju na vrh liste na temelju analize logova prema broju jedinstvenih korisnika. I to nije sve. Osim općih karakteristika, predvidjeli smo i detaljan opis atributnog sastava izvještaja s primjerima vrijednosti i metodologijom proračuna. Ova detaljnost odmah daje korisniku odgovor je li izvještaj koristan za njega ili ne.
Razvoj ovog modula bio je važan korak u demokratizaciji podataka i značajno je smanjio vrijeme potrebno za pronalaženje traženih informacija. Osim smanjenja vremena pretraživanja, smanjio se i broj upita timu za podršku za pružanje savjeta. Ne možemo zanemariti još jedan koristan rezultat koji smo postigli razvojem jedinstvenog registra izvještaja – sprječavanje izrade dupliciranih izvještaja za različite strukturne jedinice.
Poslovni glosar
Svi znate da čak i unutar iste kompanije, biznis govori različitim jezicima. Da, koriste iste termine, ali pod njima podrazumijevaju potpuno različite stvari. Poslovni glosar je tu da riješi ovaj problem.
Za nas je poslovni glosar – ne samo vodič s opisima pojmova i metodologijom proračuna. To je cjelovito okruženje za razvoj, usklađivanje i odobravanje terminologije, izgradnju veza između pojmova i drugih informacijskih sredstava kompanije. Prije nego što termin uđe u poslovni glosar, mora proći sve faze usklađivanja s poslovnim naručiteljima i centrom za kvalitetu podataka. Samo nakon toga postaje dostupan za korištenje.
Kao što sam ranije spomenuo, jedinstvenost ovog alata leži u tome što omogućava povezivanje od razine poslovnog termina do konkretnih korisničkih izvještaja u kojima se koristi, kao i do razine fizičkih objekata u bazama podataka.

To je postalo moguće upotrebom identifikatora termina iz glosara u detaljnom opisu izvještaja iz registra i opisu fizičkih objekata u bazama podataka.
Trenutno je u Glogosaru definirano i odobreno više od 4000 termina. Njegova upotreba pojednostavljuje i ubrzava obradu pristiglih zahtjeva za promjenom u informacijskim sustavima tvrtke. Ako je tražena mjera već realizirana u nekom izvještaju, korisnik će odmah vidjeti skup gotovih izvještaja u kojima je ta mjera korištena te može donijeti odluku o učinkovitom ponovnom korištenju postojeće funkcionalnosti ili o minimalnoj doradi, bez iniciranja novih zahtjeva za izradu novog izvještaja.
Modul za opis tehničkih transformacija i DataLineage
Pitate se, što su to moduli? Nije dovoljno samo implementirati Registar izvještaja i Glogosar, potrebno je još pridružiti sve poslovne pojmove fizičkom modelu baza podataka. Na taj smo način uspjeli završiti proces oblikovanja životnog ciklusa podataka od izvora do BI vizualizacije kroz sve slojeve skladišta podataka. Drugim riječima – izgraditi DataLineage.
Razvili smo sučelje koje se temelji na ranije korištenom formatu opisa pravila i logike transformacije podataka unutar tvrtke. Putem ovog sučelja unosi se ista informacija kao i prije, ali kao obavezni uvjet postavljeno je definiranje identifikatora termina iz poslovnog glosara. Tako gradimo vezu između poslovnih i fizičkih slojeva.
Kome je ovo potrebno? Što nije odgovaralo starom formatu s kojim smo radili nekoliko godina? Koliko su se povećali troškovi rada na oblikovanju zahtjeva? S takvim pitanjima suočavali smo se tijekom implementacije alata. Ovdje su odgovori prilično jednostavni – to je potrebno svima nama, data uredu naše tvrtke i našim korisnicima.
Zaista, zaposlenici su se morali prilagoditi, isprva je to dovelo do manjih povećanja troškova rada na pripremi dokumentacije, ali smo se s tim pitanjem snašli. Praksa, identifikacija i optimizacija problematičnih mjesta učinili su svoje. Postigli smo glavni cilj – povećali smo kvalitetu razvijenih zahtjeva. Obavezna polja za popunjavanje, unificirani priručnici, maske za unos, ugrađene provjere – sve je to omogućilo višestruko poboljšanje kvalitete opisa transformacija. Napustili smo praksu dostavljanja skripti u obliku zahtjeva za razvoj, podijelili smo znanja koja su bila dostupna samo timu za razvoj. Formirana baza metapodataka značajno skraćuje vrijeme potrebno za provođenje regresivne analize, omogućava brzu procjenu utjecaja promjena na bilo kojem od slojeva IT krajolika (izvještaji vitrine, agregati, izvori).
A kakve to veze ima s običnim korisnicima izvješća, koje su koristi za njih? Zahvaljujući mogućnosti izgradnje DataLineage, naši korisnici, čak i oni koji nisu upućeni u SQL i druge programske jezike, brzo dobivaju informacije o izvorima i objektima na temelju kojih se formira određeno izvješće.
Modul za kontrolu kvalitete podataka
Sve o čemu smo govorili ranije u vezi s osiguravanjem transparentnosti podataka, nije bitno bez razumijevanja da su podaci koje pružamo korisnicima – ispravni. Jedan od važnih modula naše koncepcije upravljanja podacima – modul za kontrolu kvalitete podataka.
U ovoj fazi to je katalog provjera za odabrane entitete. Najbliži cilj razvoja proizvoda – proširenje popisa provjera i integracija s registrom izvješća.
Što će to donijeti i kome? Za krajnjeg korisnika registra bit će dostupne informacije o planiranim i stvarnim datumima spremnosti izvješća, rezultati obrađenih provjera s dinamikom, podaci o izvorima učitanim u izvješće.
Za nas, integrirani modul kvalitete podataka u radnim procesima to je:
- Brza formacija očekivanja korisnika.
- Donošanje odluka o daljnjem korištenju podataka.
- Dobivanje preliminarnog skupa problematičnih točaka u ranim fazama rada za razvoj redovitih kontrola kvalitete.
Naravno, ovo su prvi koraci u uspostavljanju potpunog procesa upravljanja podacima. No, uvjereni smo da ćemo jedino ciljanim radom na ovoj temi, aktivnim implementiranjem alata DataGovernance u radne procese, osigurati našim klijentima informativnost, visoku razinu povjerenja u podatke, transparentnost u njihovom stjecanju i povećati brzinu uvođenja novih funkcionalnosti.
Tim DataOffice
Izvor: habr.com
