Hello, Habr!
Podatki so najdragocenejša sredstva podjetja. To trdi skoraj vsako podjetje z digitalno naravnanostjo. Težko je s tem ugovarjati: brez razprave o pristopih k upravljanju, shranjevanju in obdelavi podatkov ne mine nobena velika IT konferenca.
Podatki k nam prihajajo od zunaj, prav tako se oblikujejo znotraj podjetja, in če govorimo o podatkih telekomunikacijskega podjetja, so to za notranje zaposlene zakladnica informacij o strankah, njihovih interesih, navadah in lokacijah. Pri pravilnem profiliranju in segmentaciji oglasne ponudbe dosegajo najboljše rezultate. Vendar pa v praksi stvari niso tako rožnate. Podatki, ki jih podjetja hranijo, so lahko brezupno zastareli, odveč, ponavljajoči se ali pa je o njihovi eksistenci znano le ožjemu krogu uporabnikov. ¯_(ツ)_/¯
Drugimi besedami, podatki morajo biti učinkovito upravljani – le v tem primeru bodo postali aktiv, ki prinaša resnične koristi in dobičke podjetju. Žal pa je za reševanje vprašanj upravljanja podatkov potrebno premagati precejšnje težave. Te so večinoma posledica zgodovinskega zapuščine v obliki "živalskih vrtov" sistemov ter pomanjkanja enotnih procesov in pristopov k njihovemu upravljanju. Ampak kaj pomeni "upravljati podatke"?
O tem bomo govorili pod nadaljevanjem, prav tako o tem, kako nam je pomagal opensource nabor.
Koncept strateškega upravljanja podatkov Data Governance (DG) je že dovolj znan na ruskem trgu in cilji, ki jih podjetja dosežejo z njegovo uvedbo, so jasni in natančno deklarirani. Naša družba ni bila izjema in si je zastavila nalogo uvedbe koncepta upravljanja podatkov.
Torej, kako smo začeli? Najprej smo si postavili ključne cilje:
- Zagotavljanje dostopnosti naših podatkov.
- Zagotavljanje preglednosti življenjskega cikla podatkov.
- Zagotavljanje usklajenih in doslednih podatkov za uporabnike podjetja.
- Zagotavljanje preverjenih podatkov za uporabnike podjetja.
Trenutno je na trgu programske opreme na voljo nekaj desetin orodij razreda Data Governance.
Toda po podrobni analizi in pregledu rešitev smo si zapisali vrsto kritičnih pripomb:
- Večina proizvajalcev ponuja celovit niz rešitev, ki so z naše perspektive pretirane in podvajajo že obstoječo funkcionalnost. Poleg tega je integracija v trenutni IT okvir z vidika virov draga.
- Funkcionalnost in vmesnik sta namenjena tehnologom, ne končnim poslovnim uporabnikom.
- Nizka preživetvenost izdelkov in pomanjkanje uspešnih uvedb na ruskem trgu.
- Visoki stroški programske opreme in nadaljnjega vzdrževanja.
Zgoraj navedeni kriteriji in priporočila glede uvoza programske opreme za ruska podjetja so nas prepričali, da se usmerimo v lastni razvoj na opensource tehnologijah. Kot platformo smo izbrali Django – brezplačen in odprt okvir, napisan v Pythonu. Na ta način smo definirali ključne module, ki bodo podpirali zgoraj omenjene cilje:
- Register poročil.
- Poslovni glosar.
- Modul za opis tehničnih transformacij.
- Modul za opis življenjskega cikla podatkov od vira do BI orodja.
- Modul za nadzor kakovosti podatkov.
Register poročil
Na podlagi notranjih raziskav v velikih podjetjih zaposleni pri reševanju nalog, povezanih s podatki, porabijo 40—80 % svojega časa za njihovo iskanje. Zato smo si zadali nalogo, da naredimo informacije o obstoječih poročilih, ki so bila prej dostopna le naročnikom, javne. S tem skrajšujemo čas za oblikovanje novih poročil in zagotavljamo demokratizacijo podatkov.
Register poročil je postal enotna točka poročanja za notranje uporabnike iz različnih regij, oddelkov in enot. V njem je konsolidirana informacija o infotehničnih storitvah, ustvarjenih v več korporativnih skladiščih podjetja, katerih v Rostelecomu ni malo.
Vendar register ni le suha lista razvitega poročila. Za vsak रिपोर्ट zagotavljamo informacije, potrebne uporabniku za samostojno seznanitev z njim:
- kratak opis poročila;
- globina dostopnosti podatkov;
- segment naročnika;
- orodje za vizualizacijo;
- ime korporativnega skladišča;
- poslovno-funkcionalne zahteve;
- povezava do poročila;
- povezava na zahtevo za dostop;
- status izvedbe.
Preko izvještaja dostupna je analiza razine korištenja, a izvještaji se nalaze na vrhu liste na temelju analize logova prema broju jedinstvenih korisnika. I to nije sve. Osim općih karakteristika, predvidjeli smo i detaljan opis atributnog sastava izvještaja s primjerima vrijednosti i metodom izračuna. Ova detaljnost odmah daje korisniku odgovor na pitanje je li mu izvještaj koristan ili ne.
Razvoj ovog modula bio je važan korak prema demokratizaciji podataka i značajno je smanjio vrijeme pretraživanja potrebnih informacija. Osim smanjenja vremena pretraživanja, smanjio se i broj upita timu za podršku za pružanje savjeta. Ne može se ne primijetiti još jedan koristan rezultat koji smo postigli razvojem jedinstvenog registra izvještaja – sprječavanje izrade dupliciranih izvještaja za različite strukturne jedinice.
Poslovni glosar
Svi znate da čak i unutar iste tvrtke poslovni jezik može biti različit. Da, koriste iste termine, ali pod njima razumiju sasvim različite stvari. Rješenje ovog problema je poslovni glosar.
Za nas poslovni glosar nije samo priručnik s opisima pojmova i metodologijom izračuna. To je potpuna razvojna sredina za usklađivanje i odobravanje terminologije, kao i za uspostavljanje veza između pojmova i drugih informativnih sredstava tvrtke. Prije nego što termin uđe u poslovni glosar, mora proći sve faze usklađivanja s poslovnim naručiteljima i centrom kvalitete podataka. Samo nakon toga postaje dostupan za upotrebu.
Kao što sam već napisao, jedinstvenost ovog alata leži u tome što omogućuje uspostavljanje veza od razine poslovnog termina do konkretnih korisničkih izvještaja u kojima se koristi, kao i do razine fizičkih objekata baze podataka.
To je postalo moguće korištenjem identifikatora termina glosara u detaljnom opisu izvještaja iz registra i opisu fizičkih objekata baze podataka.
V glosariju je zdaj opredeljenih in usklajenih več kot 4000 izrazov. Njegova uporaba poenostavi in pospeši obdelavo prejetih zahtevkov za spremembe v informacijskih sistemih podjetja. Če je zahtevana meritev že realizirana v kateremkoli poročilu, uporabnik takoj vidi nabor pripravljenih poročil, v katerih je ta meritev uporabljena, in lahko sprejme odločitev o učinkoviti ponovni uporabi obstoječe funkcionalnosti ali o minimalni prilagoditvi, ne da bi sprožil nove zahtevke za razvoj novega poročila.
Modul za opis tehničnih transformacij in DataLineage
Vprašate se, kaj so ti moduli? Malo je le, da uvedemo Register poročil in Glosar, potrebno je tudi pritisniti vse poslovne izraze na fizični model baz podatkov. Tako smo zaključili postopek oblikovanja življenjskega cikla podatkov od sistemov virov do BI vizualizacije preko vseh plasti skladišča podatkov. Z drugimi besedami, zgradili smo DataLineage.
Razvili smo vmesnik, ki temelji na formatih opisovanja pravil in logike transformacij podatkov, ki so se prej uporabljali v podjetju. Prek vmesnika se vnaša vse iste informacije kot prej, vendar je postalo obvezno določiti identifikator izraza iz poslovnega glosarja. Tako vzpostavljamo povezavo med poslovnimi in fizičnimi plastmi.
Komu je to potrebno? Kaj ni deloval star format, s katerim smo delali več let? Kako so se povečali delovni stroški pri oblikovanju zahtev? S takimi vprašanji smo se srečevali v postopku uvedbe orodja. Tukaj so odgovori dovolj preprosti – to potrebujemo vsi, podatkovni urad našega podjetja in naši uporabniki.
Resnici, zaposlenim je bilo potrebno prilagoditi se, što je isprva dovelo do malog povećanja radnih sati za pripremu dokumentacije, ali smo taj problem prevazišli. Praksa, identifikacija i optimizacija problematičnih mesta urodile su plodom. Postigli smo glavnu stvar — unapredili smo kvalitet zahtevâ. Obavezna polja, standardizovani priručnici, maske za unos i ugrađene provere — sve to je omogućilo značajno povećanje kvaliteta opisa transformacija. Odlazimo od prakse dostavljanja skripti kao zahteva za razvoj, podelili smo znanja koja su bila dostupna samo timu zaduženom za razvoj. Formirana baza metapodataka značajno smanjuje vreme potrebno za izvođenje regresivne analize, omogućava brzu procenu uticaja promena na bilo kojem sloju IT pejzaža (izveštaji izložbe, agregati, izvori).
A šta je sa običnim korisnicima izveštaja, kakve su prednosti za njih? Zahvaljujući mogućnosti izgradnje DataLineage, naši korisnici, čak i oni daleko od SQL-a i drugih programskih jezika, brzo dobijaju informacije o izvorima i objektima na osnovu kojih se formira određeni izveštaj.
Modul za kontrolu kvaliteta podataka
Sve što smo prethodno spomenuli u vezi sa obezbeđivanjem transparentnosti podataka ne bi imalo smisla bez razumevanja da su podaci koje pružamo korisnicima — tačni. Jedan od ključnih modula naše koncepcije upravljanja podacima je modul za kontrolu kvaliteta podataka.
Trenutno, to je katalog provera za odabrane entitete. Najbliži cilj u razvoju proizvoda je proširenje liste provera i integracija sa registrom izveštaja.
Šta to donosi i kome? Za krajnjeg korisnika registra će biti dostupne informacije o planiranim i stvarnim datumima gotovosti izveštaja, rezultati izvršenih provera sa dinamikom, podaci o izvorima učitanim u izveštaj.
Za nas, integrisani modul za kvalitet podataka u radne procese znači:
- Brzo formiranje očekivanja klijenata.
- Donosenje odluka o daljem korišćenju podataka.
- Pribavljanje preliminarnog skupa problematičnih tačaka u ranim fazama rada za razvoj redovnih kontrola kvaliteta.
Zagotovo, to so prvi koraki pri vzpostavljanju celovitega postopka upravljanja podatkov. Vendar smo prepričani, da bomo le z usmerjenim delom na tem področju ter aktivno uvajanjem orodij DataGovernance v delovne procese svojim strankam zagotovili informativnost, visok nivo zaupanja v podatke, preglednost njihovega pridobivanja in povečali hitrost uvajanja novih funkcionalnosti.
Ekipa DataOffice
Izvor: habr.com
