🥇DataGovernance vlastnými silami

Ahoj, Habr!

Údaje sú najcennejším aktívom spoločnosti. O tom hovorí takmer každá firma so zameraním na digitálne technológie. Na tom sa dá ťažko polemizovať: bez diskusií o prístupoch k správe, uchovávaniu a spracovaniu údajov sa dnes nezaobíde ani jedna veľká IT konferencia.

Údaje k nám prichádzajú zvonka, zároveň sa formujú aj vo vnútri spoločnosti, a ak hovoríme o údajoch telekomunikačnej spoločnosti, sú pre interných zamestnancov pokladnicou informácií o klientovi, jeho záujmoch, zvykoch a polohe. Pri správnom profilovaní a segmentácii reklamné ponuky pôsobia najefektívnejšie. Avšak v praxi nie je všetko tak ružové. Údaje, ktoré firmy uchovávajú, môžu byť beznádejne zastarané, nadbytočné, opakujúce sa, alebo o ich existencii nikto nevie, okrem úzkeho okruhu užívateľov. ¯_(ツ)_/¯

Jednoducho povedané, údojmi je potrebné efektívne riadiť – len v takom prípade sa stanú aktívom, ktoré prinesie firme reálny prospech a zisk. Bohužiaľ, na vyriešenie otázok riadenia údajov je potrebné prekonať množstvo komplikácií. Tieto sú predovšetkým spôsobené historickým dedičstvom v podobe "zoo systémov" a absenciou jednotných procesov a prístupov k ich riadeniu. Ale čo vlastne znamená "riadiť údaje"?

O tom, ako to dosiahnuť, budeme hovoriť nižšie, ako aj o tom, ako nám pomohol opensource stack.

Koncept strategického riadenia údajov Data Governance (DG) je už dosť známy na slovenskom trhu a ciele, ktoré podnik dosahuje jeho zavedením, sú jasné a presne deklarované. Naša spoločnosť nebola výnimkou a stanovila si cieľ zaviesť koncept riadenia údajov.

Takže, kde sme začali? Najprv sme si formulovali kľúčové ciele:

Zabezpečiť dostupnosť našich údajov.
Zabezpečiť transparentnosť životného cyklu údajov.
Poskytnúť zamestnancom spoločnosti konzistentné a neprotirečivé údaje.
Poskytnúť zamestnancom spoločnosti overené údaje.

Dnes je na trhu softvéru dostupných niekoľko nástrojov triedy Data Governance.

Avšak po podrobnej analýze a štúdiu riešení sme si zapísali niekoľko kritických poznámok:

Väčšina výrobcov ponúka komplexnú sadu riešení, ktorá je pre nás nadbytočná a duplikuje už existujúcu funkcionalitu. Navyše integrácia do súčasnej IT krajiny je nákladná z hľadiska zdrojov.
Funkcionalita a rozhranie sú určené technológom, nie koncovým obchodným používateľom.
Nízka životaschopnosť produktov a absencia úspešných implementácií na ruskom trhu.
Vysoké náklady na softvér a jeho ďalšiu podporu.

Uvedené kritériá a odporúčania týkajúce sa náhrady softvéru pre ruské spoločnosti nás presvedčili ísť cestou vlastného vývoja na open source stacku. Ako platformu sme vybrali Django – bezplatný a otvorený rámec napísaný v Pythone. Týmto spôsobom sme vyčlenili kľúčové moduly, ktoré prispejú k vyššie uvedeným cieľom:

Register správ.
Biznis glosár.
Modul na opis technických transformácií.
Modul na opis životného cyklu dát od zdroja po BI nástroj.
Modul kontroly kvality dát.

Register správ

Podľa výsledkov interných prieskumov vo veľkých spoločnostiach zamestnanci pri riešení úloh súvisiacich s dátami trávia 40—80% času ich hľadaním. Preto sme si dali za cieľ sprístupniť informácie o existujúcich správach, ktoré boli predtým dostupné iba objednávateľom. Týmto spôsobom skracujeme čas na tvorbu nových správ a zabezpečujeme demokratizáciu dát.

Register správ sa stal jedným oknom pre reporty pre interných používateľov z rôznych regiónov, oddelení, divízií. Obsahuje konsolidované informácie o infosevisoch vytvorených v niekoľkých firemných úložiskách spoločnosti, ktorých je v Rostelecome neúrekom.

Ale register nie je len suchý zoznam vyvinutých správ. Pre každú správu poskytujeme informácie, ktoré sú užitočné pre používateľa na samostatné oboznámenie sa s ňou:

stručný opis správy;
hĺbka dostupnosti dát;
segment zákazníka;
nástroj vizualizácie;
názov firemného úložiska;
biznis-funkčné požiadavky;
odkaz na správu;
odkaz na žiadosť o prístup;
stav realizácie.

Podľa správ je k dispozícii analýza úrovne využiteľnosti a správy sa dostanú do top zoznamu na základe analýzy logov podľa počtu unikátnych používateľov. A to nie je všetko. Okrem všeobecných charakteristík sme predpokladali aj podrobný opis atribútovej skladby správ s príkladmi hodnôt a metodológiou výpočtov. Takáto detailnosť už hneď poskytuje používateľovi odpoveď, či je správa pre neho užitočná alebo nie.

Vývoj tohoto modulu sa stal dôležitým krokom v oblasti demokratizácie údajov a významne skrátil čas hľadania požadovaných informácií. Okrem skrátenia času hľadania sa znížil aj počet dotazov na tím podpory ohľadom poskytovania konzultácií. Treba vyzdvihnúť aj ďalší užitočný výsledok, ktorý sme dosiahli, vyvinutím jednotného registra správ – zabránenie vývoju duplicujúcich správ pre rôzne štrukturálne jednotky.

Biznis-lexikón

Všetci viete, že aj v rámci jednej a tej istej spoločnosti sa biznis rozpráva rôznymi jazykmi. Áno, používajú tie isté pojmy, ale chápú pod nimi úplne iné veci. Riešiť tento problém má biznis-lexikón.

Pre nás biznis-lexikón nie je len príručkou s opisom pojmov a metodológiou výpočtu. Je to plnohodnotné prostredie na vývoj, schvaľovanie a odobrenie terminológie, budovanie vzťahov medzi pojmami a inými informačnými aktívami spoločnosti. Predtým, ako sa termín dostane do biznis-lexikónu, musí prejsť všetkými etapami schvaľovania s biznis-objednávateľmi a centrom kvality údajov. Iba potom je k dispozícii na použitie.

Ako som už napísal vyššie, jedinečnosť tohto nástroja spočíva v tom, že umožňuje sledovať vzťahy od úrovne biznis-terminológie až po konkrétne používateľské správy, v ktorých sa používa, ako aj po úroveň fyzických objektov databáz.

To sa stalo možné vďaka používaniu identifikátorov pojmov lexikónu v podrobnom opise správ z registra a opisu fyzických objektov databáz.

Aktuálne je v glosári definovaných a schválených viac ako 4000 termínov. Jeho používanie zjednodušuje a zrýchľuje spracovanie prichádzajúcich žiadostí o zmeny v informačných systémoch spoločnosti. Ak je požadovaný ukazovateľ už implementovaný v niektorom reporte, používateľ okamžite uvidí súbor pripravených reportov, kde je tento ukazovateľ použitý, a môže sa rozhodnúť o efektívnom opätovnom využití existujúcej funkcionality alebo o minimálnych úpravách bez iniciovania nových žiadostí na vývoj nového reportu.

Modul popisu technických transformácií a DataLineage

Pýtate sa, čo sú tieto moduly? Nestačí len zaviesť Register reportu a Glosár, potrebné je tiež ukotviť všetky obchodné termíny na fyzický model databáz. Týmto spôsobom sme mohli dokončiť proces vytvárania životného cyklu dát od zdrojových systémov až po BI vizualizáciu cez všetky vrstvy dátového skladu. Inými slovami — postaviť DataLineage.

Vyvinuli sme rozhranie, ktorého základom bol formát popisu pravidiel a logiky transformácie dát, ktorý sa predtým používal v spoločnosti. Prostredníctvom tohto rozhrania sa zavádza tá istá informácia, ako predtým, avšak povinným predpokladom sa stalo určenie identifikátora termínu z obchodného glosára. Týmto spôsobom budujeme spojenie medzi obchodnými a fyzickými vrstvami.

Komu je to potrebné? Čím bol starý formát nevyhovujúci, s ktorým sme pracovali niekoľko rokov? O koľko sa zvýšili pracovné náklady na formulovanie požiadaviek? S takýmito otázkami sme sa museli stretávať počas implementácie nástroja. Odpovede sú pomerne jednoduché – je to potrebné nám všetkým, dátovému úradu našej spoločnosti a našim používateľom.

Naozaj, zamestnanci museli zmeniť svoje zvyky, čo zpočiatku viedlo k miernym nárastom pracovnej námahy pri príprave dokumentácie, ale s týmto problémom sme sa vysporiadali. Prax, identifikácia a optimalizácia problémových miest priniesli svoje ovocie. Dosiahli sme to najdôležitejšie — zvýšili sme kvalitu vypracovaných požiadaviek. Povinné polia, unifikované príručky, vstupné masky, vstavané kontroly – to všetko umožnilo výrazne zvýšiť kvalitu popisov transformácií. Odišli sme od praxe zasielania skriptov vo forme požiadaviek na vývoj a zdieľali sme vedomosti, ktoré boli predtým dostupné len tímu, ktorý sa venoval vývoju. Vytvorená databáza metadát značne skracuje čas potrebný na vykonanie regresnej analýzy a zabezpečuje rýchlu evaluáciu vplyvu zmien na akejkoľvek úrovni IT prostredia (reporty vitríny, agregáty, zdroje).

A čo majú s tým spoločné bežní používatelia reportov, aké sú výhody pre nich? Vďaka možnosti vytvárať DataLineage naši používatelia, aj tí, ktorí sú ďaleko od SQL a iných programovacích jazykov, rýchlo získavajú informácie o zdrojoch a objektoch, na základe ktorých je vytváraný určitý report.

Modul kontroly kvality dát

Všetko, o čom sme hovorili vyššie v súvislosti s zabezpečením transparentnosti dát, nemá zmysel bez pochopenia toho, že údaje, ktoré poskytujeme používateľom, sú správne. Jeden z dôležitých modulov našej koncepcie Data Governance je modul kontroly kvality dát.

V súčasnej fáze je to katalóg kontrol pre výberové entity. Najbližším cieľom rozvoja produktu je rozšírenie zoznamu kontrol a integrácia s registrom reportov.
Čo to prinesie a komu? Pre koncového používateľa registra bude k dispozícii informácia o plánovaných a skutočných dátumoch dokončenia reportu, výsledky vykonaných kontrol s dynamikou, údaje o načítaných zdrojoch do reportu.

Pre nás integrovaný modul kontroly kvality dát v pracovných procesoch predstavuje:

Operatívne formovanie očakávaní zákazníkov.
Rozhodovanie o ďalšom využití dát.
Získanie predbežného súboru problémových bodov v počiatočných fázach prác na vývoji pravidelných kontrol kvality.

Určite, toto sú prvé kroky k vytvoreniu plnohodnotného procesu správy údajov. Sme však presvedčení, že len cieľavedomým angažovaním sa v tejto práci a aktívnym zavádzaním nástrojov DataGovernance do pracovného procesu zabezpečíme našim klientom informovanosť, vysokú úroveň dôvery v údaje, transparentnosť ich získavania a zvýšime rýchlosť zavádzania novej funkčnosti.

Tím DataOffice

Zdroj: habr.com