Äau Habr!
Dati ir uzÅÄmuma visvÄrtÄ«gÄkÄ vÄrtÄ«ba. GandrÄ«z katrs digitÄlais uzÅÄmums to apgalvo. Ar to ir grÅ«ti strÄ«dÄties: neviena liela IT konference nenotiek, neapspriežot pieejas datu pÄrvaldÄ«Å”anai, uzglabÄÅ”anai un apstrÄdei.
Dati pie mums nonÄk no Ärpuses, tie tiek Ä£enerÄti arÄ« uzÅÄmuma iekÅ”ienÄ, un, ja runÄjam par datiem no telekomunikÄciju uzÅÄmuma, tad iekÅ”Äjiem darbiniekiem Ŕī ir informÄcijas krÄtuve par klientu, viÅa interesÄm, paradumiem, atraÅ”anÄs vietu. Ar pareizu profilÄÅ”anu un segmentÄciju reklÄmas piedÄvÄjumi ir visefektÄ«vÄkie. TomÄr praksÄ ne viss ir tik rožaini. Dati, ko uzÅÄmumi glabÄ, var bÅ«t bezcerÄ«gi novecojuÅ”i, lieki, atkÄrtoti, vai arÄ« to esamÄ«ba nav zinÄma nevienam, izÅemot Å”auru lietotÄju loku. ĀÆ_(ć)_/ĀÆ
VÄrdu sakot, dati ir jÄpÄrvalda efektÄ«vi ā tikai tad tie kļūs par aktÄ«vu, kas nes reÄlu labumu un peļÅu biznesam. DiemžÄl datu pÄrvaldÄ«bas problÄmu risinÄÅ”anai ir jÄpÄrvar diezgan daudz sarežģījumu. To pamatÄ galvenokÄrt ir gan vÄsturiskais mantojums sistÄmu āzooloÄ£isko dÄrzuā veidÄ, gan vienotu procesu un pieejas trÅ«kums to pÄrvaldÄ«bÄ. Bet ko nozÄ«mÄ bÅ«t āvadÄ«tam ar datiemā?
Tas ir tieÅ”i tas, par ko mÄs runÄsim zem griezuma, kÄ arÄ« par to, kÄ atvÄrtÄ koda steks mums palÄ«dzÄja.
StratÄÄ£iskÄs datu pÄrvaldÄ«bas jÄdziens Data Governance (DG) jau ir diezgan plaÅ”i pazÄ«stams Krievijas tirgÅ«, un tÄ ievieÅ”anas rezultÄtÄ biznesa sasniegtie mÄrÄ·i ir skaidri un skaidri deklarÄti. MÅ«su uzÅÄmums nebija izÅÄmums un izvirzÄ«ja sev uzdevumu ieviest datu pÄrvaldÄ«bas jÄdzienu.
TÄtad, kur mÄs sÄkÄm? SÄkumÄ mÄs izvirzÄ«jÄm sev galvenos mÄrÄ·us:
- SaglabÄjiet mÅ«su datus pieejamus.
- NodroŔiniet datu dzīves cikla caurspīdīgumu.
- NodroÅ”iniet uzÅÄmuma lietotÄjiem konsekventus, konsekventus datus.
- NodroÅ”iniet uzÅÄmuma lietotÄjus ar pÄrbaudÄ«tiem datiem.
MÅ«sdienÄs programmatÅ«ras tirgÅ« ir ducis datu pÄrvaldÄ«bas klases rÄ«ku.
TaÄu pÄc detalizÄtas risinÄjumu analÄ«zes un izpÄtes mÄs sev ierakstÄ«jÄm vairÄkus kritiskus komentÄrus:
- LielÄkÄ daļa ražotÄju piedÄvÄ visaptveroÅ”u risinÄjumu komplektu, kas mums ir lieks un dublÄ esoÅ”o funkcionalitÄti. TurklÄt dÄrgs resursu ziÅÄ, integrÄcija paÅ”reizÄjÄ IT ainavÄ.
- FunkcionalitÄte un saskarne ir paredzÄta tehnologiem, nevis biznesa galalietotÄjiem.
- Zems produktu izdzīvoŔanas līmenis un veiksmīgas ievieŔanas trūkums Krievijas tirgū.
- Augstas programmatÅ«ras izmaksas un turpmÄks atbalsts.
IepriekÅ” izteiktie kritÄriji un ieteikumi attiecÄ«bÄ uz programmatÅ«ras importa aizstÄÅ”anu Krievijas uzÅÄmumiem pÄrliecinÄja mÅ«s virzÄ«ties uz mÅ«su paÅ”u attÄ«stÄ«bu atvÄrtÄ pirmkoda stekÄ. Platforma, kuru mÄs izvÄlÄjÄmies, bija Django, bezmaksas un atvÄrtÄ koda ietvars, kas rakstÄ«ts Python. TÄdÄjÄdi mÄs esam identificÄjuÅ”i galvenos moduļus, kas veicinÄs iepriekÅ” minÄto mÄrÄ·u sasniegÅ”anu:
- AtskaiŔu reģistrs.
- Biznesa glosÄrijs.
- Modulis tehnisko transformÄciju aprakstÄ«Å”anai.
- Modulis datu dzīves cikla aprakstīŔanai no avota līdz BI rīkam.
- Datu kvalitÄtes kontroles modulis.
AtskaiŔu reģistrs
KÄ liecina iekÅ”Äjo pÄtÄ«jumu rezultÄti lielos uzÅÄmumos, risinot ar datiem saistÄ«tas problÄmas, darbinieki to meklÄÅ”anai velta 40-80% sava laika. TÄpÄc mÄs izvirzÄ«jÄm sev uzdevumu padarÄ«t atklÄtu informÄciju par esoÅ”ajiem pÄrskatiem, kas iepriekÅ” bija pieejami tikai klientiem. TÄdÄjÄdi mÄs samazinÄm laiku jaunu atskaiÅ”u Ä£enerÄÅ”anai un nodroÅ”inÄm datu demokratizÄciju.
PÄrskatu reÄ£istrs ir kļuvis par vienotu pÄrskatu logu iekÅ”Äjiem lietotÄjiem no dažÄdiem reÄ£ioniem, departamentiem un nodaļÄm. TajÄ ir apkopota informÄcija par informÄcijas pakalpojumiem, kas izveidoti vairÄkos uzÅÄmuma korporatÄ«vajos krÄtuvÄs, un Rostelecom to ir daudz.
TaÄu reÄ£istrs nav tikai sauss izstrÄdÄto atskaiÅ”u saraksts. Katram pÄrskatam mÄs sniedzam informÄciju, kas nepiecieÅ”ama, lai lietotÄjs varÄtu ar to iepazÄ«ties:
- Ä«ss ziÅojuma apraksts;
- datu pieejamības dziļums;
- klientu segments;
- vizualizÄcijas rÄ«ks;
- uzÅÄmuma krÄtuves nosaukums;
- biznesa funkcionÄlÄs prasÄ«bas;
- saite uz ziÅojumu;
- saite uz piekļuves pieteikumu;
- īstenoŔanas statuss.
PÄrskatiem ir pieejama lietojuma lÄ«meÅa analÄ«ze, un pÄrskati ir sakÄrtoti saraksta augÅ”daļÄ, pamatojoties uz žurnÄla analÄ«zi, pamatojoties uz unikÄlo lietotÄju skaitu. Un tas nav viss. Papildus vispÄrÄ«gajiem raksturlielumiem esam snieguÅ”i arÄ« detalizÄtu pÄrskatu atribÅ«tu sastÄva aprakstu ar vÄrtÄ«bu un aprÄÄ·inu metožu piemÄriem. Å Äda detalizÄcija uzreiz sniedz lietotÄjam atbildi, vai pÄrskats viÅam noder vai nÄ.
Å Ä« moduļa izstrÄde bija nozÄ«mÄ«gs solis datu demokratizÄcijÄ un ievÄrojami samazinÄja laiku, kas nepiecieÅ”ams vajadzÄ«gÄs informÄcijas atraÅ”anai. Papildus meklÄÅ”anas laika samazinÄÅ”anai ir samazinÄjies arÄ« pieprasÄ«jumu skaits atbalsta komandai sniegt konsultÄcijas. Nevar neatzÄ«mÄt vÄl vienu noderÄ«gu rezultÄtu, ko panÄcÄm, veidojot vienotu atskaiÅ”u reÄ£istru ā novÄrÅ”ot dublÄto atskaiÅ”u veidoÅ”anu dažÄdÄm struktÅ«rvienÄ«bÄm.
Biznesa glosÄrijs
JÅ«s visi zinÄt, ka pat vienÄ uzÅÄmumÄ uzÅÄmumi runÄ dažÄdÄs valodÄs. JÄ, viÅi lieto vienus un tos paÅ”us terminus, taÄu tie nozÄ«mÄ pilnÄ«gi dažÄdas lietas. Lai atrisinÄtu Å”o problÄmu, ir paredzÄts biznesa glosÄrijs.
Mums biznesa glosÄrijs nav tikai uzziÅu grÄmata ar terminu aprakstu un aprÄÄ·inu metodiku. Å Ä« ir pilnvÄrtÄ«ga vide terminoloÄ£ijas izstrÄdei, saskaÅoÅ”anai un apstiprinÄÅ”anai, attiecÄ«bu veidoÅ”anai starp terminiem un citiem uzÅÄmuma informÄcijas aktÄ«viem. Pirms ievadÄ«Å”anas biznesa glosÄrijÄ terminam ir jÄiziet visi apstiprinÄÅ”anas posmi ar biznesa klientiem un datu kvalitÄtes centru. Tikai pÄc tam tas kļūst pieejams lietoÅ”anai.
KÄ jau rakstÄ«ju iepriekÅ”, Ŕī rÄ«ka unikalitÄte ir tÄda, ka tas ļauj izveidot savienojumus no biznesa termina lÄ«meÅa ar konkrÄtiem lietotÄju pÄrskatiem, kuros tas tiek izmantots, kÄ arÄ« ar fizisko datu bÄzes objektu lÄ«meni.
Tas ir iespÄjams, izmantojot glosÄriju terminu identifikatorus detalizÄtÄ reÄ£istra atskaiÅ”u aprakstÄ un fizisko datu bÄzes objektu aprakstÄ.
Å obrÄ«d vÄrdnÄ«cÄ ir definÄti un saskaÅoti vairÄk nekÄ 4000 terminu. TÄ izmantoÅ”ana vienkÄrÅ”o un paÄtrina ienÄkoÅ”o pieprasÄ«jumu par izmaiÅÄm uzÅÄmuma informÄcijas sistÄmÄs apstrÄdi. Ja nepiecieÅ”amais indikators jau ir ieviests kÄdÄ pÄrskatÄ, tad lietotÄjs uzreiz redzÄs gatavu atskaiÅ”u kopu, kur Å”is indikators ir izmantots, un varÄs lemt par esoÅ”Äs funkcionalitÄtes efektÄ«vu atkÄrtotu izmantoÅ”anu vai tÄs minimÄlu modifikÄciju, neiesÄkot jauni pieprasÄ«jumi jauna ziÅojuma izstrÄdei.
Modulis tehnisko transformÄciju un DataLineage aprakstÄ«Å”anai
Kas ir Å”ie moduļi, jÅ«s jautÄjat? Nepietiek tikai ar PÄrskatu reÄ£istra un glosÄrija ievieÅ”anu, ir arÄ« nepiecieÅ”ams visus biznesa terminus pamatot uz fiziskÄs datu bÄzes modeļa. TÄdÄjÄdi mÄs varÄjÄm pabeigt datu dzÄ«ves cikla veidoÅ”anas procesu no avota sistÄmÄm lÄ«dz BI vizualizÄcijai visos datu noliktavas slÄÅos. Citiem vÄrdiem sakot, izveidojiet DataLineage.
MÄs izstrÄdÄjÄm saskarni, kuras pamatÄ ir iepriekÅ” uzÅÄmumÄ izmantotais formÄts datu transformÄcijas noteikumu un loÄ£ikas aprakstÄ«Å”anai. Caur interfeisu tiek ievadÄ«ta tÄda pati informÄcija kÄ iepriekÅ”, taÄu par priekÅ”noteikumu ir kļuvusi termina identifikators definÄ«cija no biznesa glosÄrija. TÄdÄ veidÄ mÄs veidojam saikni starp biznesa un fizisko slÄni.
Kam tas vajadzÄ«gs? Kas bija nepareizi ar veco formÄtu, ar kuru strÄdÄjÄt vairÄkus gadus? Cik pieauguÅ”as darbaspÄka izmaksas prasÄ«bu Ä£enerÄÅ”anai? RÄ«ka ievieÅ”anas laikÄ mums bija jÄrisina Å”Ädi jautÄjumi. Atbildes Å”eit ir pavisam vienkÄrÅ”as ā tas ir vajadzÄ«gs mums visiem, mÅ«su uzÅÄmuma datu birojam un lietotÄjiem.
PatieÅ”Äm, darbiniekiem bija jÄpielÄgojas, sÄkumÄ tas nedaudz sadÄrdzinÄja darbaspÄka izmaksas dokumentÄcijas sagatavoÅ”anai, bet mÄs Å”o jautÄjumu sakÄrtojÄm. Prakse, problÄmzonu noteikÅ”ana un optimizÄÅ”ana ir paveikusi savu darbu. Esam sasnieguÅ”i galveno ā esam uzlabojuÅ”i izstrÄdÄto prasÄ«bu kvalitÄti. ObligÄtie lauki, vienotas atsauces grÄmatas, ievades maskas, iebÅ«vÄtÄs pÄrbaudes - tas viss ļÄva bÅ«tiski uzlabot transformÄciju aprakstu kvalitÄti. MÄs atteicÄmies no prakses nodot skriptus kÄ izstrÄdes prasÄ«bas un dalÄ«jÄmies zinÄÅ”anÄs, kas bija pieejamas tikai izstrÄdes komandai. Ä¢enerÄtÄ metadatu datubÄze ievÄrojami samazina laiku, kas nepiecieÅ”ams regresijas analÄ«zes veikÅ”anai, un nodroÅ”ina iespÄju Ätri novÄrtÄt izmaiÅu ietekmi uz jebkuru IT ainavas slÄni (vitrÄ«nas atskaites, apkopojumi, avoti).
KÄds tam sakars ar parastajiem atskaiÅ”u lietotÄjiem, kÄdas ir viÅu priekÅ”rocÄ«bas? Pateicoties iespÄjai izveidot DataLineage, mÅ«su lietotÄji, pat tie, kas ir tÄlu no SQL un citÄm programmÄÅ”anas valodÄm, Ätri saÅem informÄciju par avotiem un objektiem, uz kuru pamata tiek Ä£enerÄts konkrÄts ziÅojums.
Datu kvalitÄtes kontroles modulis
Viss, par ko mÄs runÄjÄm iepriekÅ” saistÄ«bÄ ar datu pÄrskatÄmÄ«bas nodroÅ”inÄÅ”anu, nav svarÄ«gi, nesaprotot, ka dati, ko sniedzam lietotÄjiem, ir pareizi. Viens no mÅ«su datu pÄrvaldÄ«bas koncepcijas svarÄ«gajiem moduļiem ir datu kvalitÄtes kontroles modulis.
PaÅ”reizÄjÄ posmÄ Å”is ir atlasÄ«to entÄ«tiju Äeku katalogs. Produkta izstrÄdes tuvÄkais mÄrÄ·is ir paplaÅ”inÄt pÄrbaužu sarakstu un integrÄties ar pÄrskatu reÄ£istru.
Ko tas dos un kam? ReÄ£istra gala lietotÄjam bÅ«s pieejama informÄcija par plÄnotajiem un faktiskajiem atskaites gatavÄ«bas datumiem, veikto pÄrbaužu rezultÄtiem ar dinamiku un informÄcijai par atskaitÄ ielÄdÄtajiem avotiem.
MÅ«su darba procesos integrÄtais datu kvalitÄtes modulis ir:
- Ätra klientu vÄlmju veidoÅ”ana.
- LÄmumu pieÅemÅ”ana par datu turpmÄku izmantoÅ”anu.
- Provizoriska problÄmu punktu kopuma iegÅ«Å”ana darba sÄkumposmÄ regulÄras kvalitÄtes kontroles izstrÄdei.
Protams, tie ir pirmie soļi pilnvÄrtÄ«ga datu pÄrvaldÄ«bas procesa veidoÅ”anÄ. TaÄu esam pÄrliecinÄti, ka tikai mÄrÄ·tiecÄ«gi veicot Å”o darbu, aktÄ«vi ievieÅ”ot darba procesÄ datu pÄrvaldÄ«bas rÄ«kus, nodroÅ”inÄsim saviem klientiem informÄcijas saturu, augstu uzticÄ«bas lÄ«meni datiem, to saÅemÅ”anas caurskatÄmÄ«bu un paÄtrinÄsim palaiÅ”anas Ätrumu. jauna funkcionalitÄte.
DataOffice komanda
Avots: www.habr.com