Sveiki, Habr!
Duomenys yra pats vertingiausias įmonės turtas. Beveik kiekviena skaitmeninė įmonė teigia tai. Sunku su tuo ginčytis: ne viena didelė IT konferencija neįvyksta neaptarus duomenų valdymo, saugojimo ir apdorojimo metodų.
Duomenys pas mus ateina iš išorės, jie generuojami ir įmonės viduje, o jei kalbėtume apie duomenis iš telekomunikacijų įmonės, tai vidiniams darbuotojams tai yra informacijos apie klientą, jo interesus, įpročius, vietą saugykla. Taikant tinkamą profiliavimą ir segmentavimą, reklamos pasiūlymai yra efektyviausi. Tačiau praktikoje ne viskas taip rožinė. Duomenys, kuriuos saugo įmonės, gali būti beviltiškai pasenę, pertekliniai, pasikartojantys arba jų egzistavimas niekam nežinomas, išskyrus siaurą vartotojų ratą. ¯_(ツ)_/¯
Žodžiu, duomenys turi būti valdomi efektyviai – tik tada jie taps turtu, kuris verslui neša realią naudą ir pelną. Deja, sprendžiant duomenų tvarkymo problemas reikia įveikti gana daug sudėtingumo. Jas daugiausia lemia tiek istorinis palikimas sistemų „zoologijos sodų“ pavidalu, tiek vieningų procesų ir požiūrių į jų valdymą stoka. Bet ką reiškia būti „vadomam duomenimis“?
Būtent apie tai kalbėsime po išpjova, taip pat apie tai, kaip mums padėjo atvirojo kodo dėklas.
Strateginio duomenų valdymo koncepcija Data Governance (DG) jau gana gerai žinoma Rusijos rinkoje, o ją įgyvendinus verslo pasiekti tikslai yra aiškūs ir aiškiai deklaruoti. Mūsų įmonė nebuvo išimtis ir išsikėlė sau uždavinį įdiegti duomenų valdymo koncepciją.
Taigi nuo ko pradėjome? Pirmiausia išsikėlėme sau pagrindinius tikslus:
- Laikykite mūsų duomenis prieinamus.
- Užtikrinti duomenų gyvavimo ciklo skaidrumą.
- Pateikite įmonės vartotojams nuoseklius ir nuoseklius duomenis.
- Pateikite įmonės vartotojams patikrintus duomenis.
Šiandien programinės įrangos rinkoje yra keliolika Data Governance klasės įrankių.
Tačiau išsamiai išanalizavę ir ištyrę sprendimus, patys sau įrašėme keletą kritinių pastabų:
- Dauguma gamintojų siūlo platų sprendimų rinkinį, kuris mums yra perteklinis ir dubliuoja esamas funkcijas. Be to, brangus išteklių atžvilgiu, integracija į dabartinį IT aplinką.
- Funkcionalumas ir sąsaja skirtos technologams, o ne verslo galutiniams vartotojams.
- Žemas produktų išgyvenamumas ir sėkmingo diegimo Rusijos rinkoje trūkumas.
- Didelė programinės įrangos kaina ir tolesnė pagalba.
Aukščiau išsakyti kriterijai ir rekomendacijos dėl Rusijos kompanijų programinės įrangos importo pakeitimo įtikino mus pradėti kurti atvirojo kodo rinkinį. Platforma, kurią pasirinkome, buvo Django, nemokama atvirojo kodo sistema, parašyta Python. Taigi mes nustatėme pagrindinius modulius, kurie prisidės prie aukščiau nurodytų tikslų:
- Ataskaitų registras.
- Verslo žodynas.
- Techninių transformacijų aprašymo modulis.
- Modulis, apibūdinantis duomenų gyvavimo ciklą nuo šaltinio iki BI įrankio.
- Duomenų kokybės kontrolės modulis.
Ataskaitų registras
Didelėse įmonėse atliktų vidinių tyrimų duomenimis, spręsdami su duomenimis susijusias problemas, jų paieškai darbuotojai skiria 40-80 proc. Todėl išsikėlėme sau užduotį padaryti atvirą informaciją apie esamas ataskaitas, kurios anksčiau buvo prieinamos tik klientams. Taip sumažiname naujų ataskaitų generavimo laiką ir užtikriname duomenų demokratizavimą.
Ataskaitų registras tapo vienu ataskaitų teikimo langu vidiniams vartotojams iš įvairių regionų, skyrių ir padalinių. Jame sujungiama informacija apie informacines paslaugas, sukurtas keliose įmonės korporatyvinėse saugyklose, kurių yra daug Rostelecom.
Tačiau registras nėra tik sausas parengtų ataskaitų sąrašas. Kiekvienai ataskaitai pateikiame informaciją, reikalingą vartotojui su ja susipažinti:
- trumpas ataskaitos aprašymas;
- duomenų prieinamumo gylis;
- klientų segmentas;
- vizualizacijos įrankis;
- įmonės saugyklos pavadinimas;
- verslo funkciniai reikalavimai;
- nuoroda į ataskaitą;
- nuoroda į prieigos paraišką;
- įgyvendinimo būsena.
Ataskaitoms galima naudoti naudojimo lygio analizę, o ataskaitos reitinguojamos sąrašo viršuje, remiantis žurnalo analize, atsižvelgiant į unikalių vartotojų skaičių. Ir tai ne viskas. Be bendrųjų charakteristikų, taip pat pateikėme išsamų ataskaitų atributų sudėties aprašymą su verčių ir skaičiavimo metodų pavyzdžiais. Toks detalizavimas iškart suteikia vartotojui atsakymą, ar ataskaita jam naudinga, ar ne.
Šio modulio sukūrimas buvo svarbus žingsnis demokratizuojant duomenis ir žymiai sutrumpino laiką, per kurį reikia rasti reikiamą informaciją. Be to, kad sutrumpėjo paieškos laikas, sumažėjo ir palaikymo komandai teikiamų konsultacijų prašymų skaičius. Neįmanoma nepastebėti dar vieno naudingo rezultato, kurį pasiekėme kurdami vieningą ataskaitų registrą – neleisdami kurti pasikartojančių ataskaitų skirtingiems struktūriniams padaliniams.
Verslo žodynas
Visi žinote, kad net ir toje pačioje įmonėje įmonės kalba skirtingomis kalbomis. Taip, jie vartoja tuos pačius terminus, bet reiškia visiškai skirtingus dalykus. Šiai problemai išspręsti sukurtas verslo žodynas.
Mums verslo žodynas nėra tik žinynas su terminų aprašymu ir skaičiavimo metodika. Tai visavertė aplinka terminijos kūrimui, susitarimui ir tvirtinimui, terminų ir kitų įmonės informacinių išteklių santykiams kurti. Prieš įtraukiant į verslo žodyną terminas turi pereiti visus patvirtinimo su verslo klientais ir duomenų kokybės centru etapus. Tik po to jis tampa prieinamas naudoti.
Kaip jau rašiau aukščiau, šio įrankio išskirtinumas yra tas, kad jis leidžia prisijungti nuo verslo termino lygio prie konkrečių vartotojų ataskaitų, kuriose jis naudojamas, taip pat su fizinių duomenų bazės objektų lygiu.
Tai įmanoma naudojant žodyno terminų identifikatorius detaliame registro ataskaitų ir fizinių duomenų bazės objektų aprašyme.
Šiuo metu žodyne apibrėžta ir sutarta daugiau nei 4000 terminų. Jo naudojimas supaprastina ir pagreitina gaunamų užklausų dėl pakeitimų įmonės informacinėse sistemose apdorojimą. Jei reikalingas indikatorius jau yra įdiegtas bet kurioje ataskaitoje, vartotojas iš karto matys paruoštų ataskaitų rinkinį, kur šis indikatorius naudojamas, ir galės nuspręsti dėl efektyvaus esamo funkcionalumo pakartotinio panaudojimo ar minimalaus jo modifikavimo, neinicijuodamas. naujų prašymų parengti naują ataskaitą.
Techninių transformacijų ir DataLineage aprašymo modulis
Klausiate, kas yra šie moduliai? Neužtenka vien įdiegti ataskaitų registrą ir žodyną, būtina visus verslo terminus pagrįsti fizinės duomenų bazės modeliu. Taigi mums pavyko užbaigti duomenų gyvavimo ciklo formavimo procesą nuo šaltinio sistemų iki BI vizualizacijos per visus duomenų saugyklos sluoksnius. Kitaip tariant, sukurkite „DataLineage“.
Sukūrėme sąsają pagal anksčiau įmonėje naudotą formatą duomenų transformavimo taisyklėms ir logikai aprašyti. Per sąsają įvedama ta pati informacija kaip ir anksčiau, tačiau termino identifikatorius apibrėžimas iš verslo žodyno tapo būtina sąlyga. Taip sukuriame ryšį tarp verslo ir fizinių sluoksnių.
Kam to reikia? Kas buvo negerai su senuoju formatu, su kuriuo dirbote keletą metų? Kiek padidėjo darbo sąnaudos poreikių generavimui? Su tokiais klausimais teko susidurti ir diegiant įrankį. Atsakymai čia gana paprasti – to reikia mums visiems, mūsų įmonės duomenų biurui ir vartotojams.
Iš tiesų, darbuotojai turėjo prisitaikyti, iš pradžių šiek tiek pabrango darbo sąnaudos rengiant dokumentaciją, bet mes šią problemą sutvarkėme. Praktika, probleminių sričių nustatymas ir optimizavimas padarė savo darbą. Pasiekėme pagrindinį dalyką – pagerinome parengtų reikalavimų kokybę. Privalomi laukai, vieningos žinynai, įvesties kaukės, įmontuoti patikrinimai – visa tai leido žymiai pagerinti transformacijų aprašymų kokybę. Atsisakėme scenarijų perdavimo kaip kūrimo reikalavimų praktikos ir dalijomės žiniomis, kurios buvo prieinamos tik kūrimo komandai. Sukurta metaduomenų duomenų bazė žymiai sumažina laiką, reikalingą regresinei analizei atlikti, ir suteikia galimybę greitai įvertinti pokyčių poveikį bet kuriam IT kraštovaizdžio sluoksniui (demonstracinėms ataskaitoms, agregatams, šaltiniams).
Ką tai turi bendro su eiliniais ataskaitų vartotojais, kokie privalumai jiems? Dėl galimybės kurti DataLineage mūsų vartotojai, net ir toli nuo SQL bei kitų programavimo kalbų, greitai gauna informaciją apie šaltinius ir objektus, kurių pagrindu generuojama konkreti ataskaita.
Duomenų kokybės kontrolės modulis
Viskas, apie ką kalbėjome aukščiau, kalbant apie duomenų skaidrumo užtikrinimą, nėra svarbu nesuvokiant, kad naudotojams teikiami duomenys yra teisingi. Vienas iš svarbių mūsų duomenų valdymo koncepcijos modulių yra duomenų kokybės kontrolės modulis.
Šiuo metu tai yra pasirinktų objektų čekių katalogas. Artimiausias produkto kūrimo tikslas yra išplėsti patikrinimų sąrašą ir integruoti jį su ataskaitų registru.
Ką tai duos ir kam? Galutinis registro vartotojas turės prieigą prie informacijos apie planuojamas ir faktines ataskaitos parengimo datas, atliktų patikrų su dinamika rezultatus ir informaciją apie į ataskaitą įkeltus šaltinius.
Mums į mūsų darbo procesus integruotas duomenų kokybės modulis yra:
- Operatyvus klientų lūkesčių formavimas.
- Sprendimų dėl tolesnio duomenų panaudojimo priėmimas.
- Pradiniuose darbo etapuose gauti preliminarų probleminių taškų rinkinį, kad būtų sukurta reguliari kokybės kontrolė.
Žinoma, tai yra pirmieji žingsniai kuriant visavertį duomenų valdymo procesą. Tačiau esame įsitikinę, kad tik tikslingai atlikdami šį darbą, į darbo procesą aktyviai diegdami duomenų valdymo įrankius, savo klientams suteiksime informacijos turinį, aukštą pasitikėjimo duomenimis lygį, jų gavimo skaidrumą ir padidinsime paleidimo greitį. naujas funkcionalumas.
DataOffice komanda
Šaltinis: www.habr.com