🥇 DataGovernance me forcat tona

Përshëndetje, Habr!

Të dhënat janë një aset i çmuar për kompaninë. Kjo është diçka që thuhet nga pothuajse çdo kompani me një prirje dixhitale. Dhe kjo është e vërtetë: pa diskutimin e qasjeve për menaxhimin, ruajtjen dhe përpunimin e të dhënave, nuk kalon asnjë konferencë të madhe IT.

Të dhënat vijnë nga jashtë, gjithashtu formohen brenda kompanisë, dhe po të flasim për të dhënat e kompanive telekom, ato përbëjnë një burim informacioni për punonjësit e brendshëm lidhur me klientin, interesat, zakonet dhe vendndodhjen e tij. Me profilizimin dhe segmentimin e saktë, ofertat reklamuese janë më efektive. Sidoqoftë, në praktikë gjërat nuk janë aq optimiste. Të dhënat që ruajnë kompanitë mund të jenë mënyrë e ndërlikuar për t'u bërë, shumë të vjetra, të tepërta, të përsëritura, ose ndoshta askush nuk di për ekzistencën e tyre përveç një grupi të ngushtë përdoruesish. ¯_(ツ)_/¯

Me një fjalë, të dhënat duhet të menaxhohen në mënyrë efikase – vetëm kështu ato do të bëhen një aset që sjell vërtet përfitime dhe fitime për biznesin. Fatkeqësisht, për të zgjidhur çështjet e menaxhimit të të dhënave, duhet të kapërcenja një numër të konsiderueshëm pengesash. Ato janë kryesisht të shkaktuara nga trashëgimia historike në formën e 'zoo-parqeve' të sistemeve dhe mungesës së proceseve dhe qasjeve të përbashkëta për menaxhimin e tyre. Por çfarë do të thotë 'të menaxhosh të dhënat'?

Pikërisht për këtë do të flasim më poshtë, si dhe për mënyrën se si na ndihmon staku opensource.

Koncepci e menaxhimit strategjik të të dhënave Data Governance (DG) është tashmë e njohur në tregun rus, dhe objektivat që arrijnë bizneset si rezultat i zbatimit të saj janë të qarta dhe të deklaruara. Kompania jonë nuk bëri përjashtim dhe vendosi të zbatojë konceptin e menaxhimit të të dhënave.

Pra, nga ku filluam? Në fillim formularëm për veten tonë objektivat kryesore:

Të sigurojmë aksesin në të dhënat tona.
Të sigurojmë transparencën e ciklit të jetës së të dhënave.
Të japim përdoruesve të kompanisë të dhëna të qëndrueshme dhe konsistente.
Të japim përdoruesve të kompanisë të dhëna të verifikuara.

Aktualisht në tregun e softuerit janë të paktën një duzinë mjete të klasës DataGovernance.

Por pas një analize të detajuar dhe studimit të zgjidhjeve, regjistruam disa vërejtje kritike për veten tone:

Shumë prodhues ofrojnë një grup të plotsë zgjidhjesh, i cili për ne është i tepruar dhe kopjon funksionalitetin e ekzistueshëm. Për më tepër, integrimi i shtrenjtë nga këndvështrimi i burimeve në peizazhin aktual IT.
Funksionaliteti dhe ndërfaqja janë të destinuara për teknologët, jo për përdoruesit përfundimtarë të bizneseve.
Norma e ulët e mbijetesës së produkteve dhe mungesa e zbatimeve të suksesshme në tregun rus.
Kosto e lartë e softuerit dhe mbështetjes së mëtejshme.

Kriteret dhe rekomandimet e lartpërmendura për zëvendësimin e softuerit për kompanitë ruse na bindën të shkojmë në drejtimin e zhvillimit të brendshëm në një grup teknologjish opensource. Si platformë, zgjodhëm Django – një framework falas dhe i lirë, i shkruar në Python. Kështu, ne identifikuam modulat kryesore që do të kontribuojnë në qëllimet e përmendura më lart:

Regjistri i raporteve.
Glossar biznesi.
Moduli i përshkrimit të transformimeve teknike.
Moduli i përshkrimit të ciklit të jetës së të dhënave nga burimi deri te mjete BI.
Moduli i kontrollit të cilësisë së të dhënave.

Regjistri i raporteve

Sipas rezultateve të hulumtimeve të brendshme në kompanitë e mëdha, ndërsa zgjidhin detyrat e lidhura me të dhënat, punonjësit shpenzojnë 40-80% të kohës së tyre në kërkimin e tyre. Prandaj, ne e vendosëm si objektiv ta bëjmë informacionin rreth raporteve ekzistues të hapura, të cilat më parë ishin të disponueshme vetëm për klientët. Kështu, ne reduktojmë kohën për formimin e raporteve të reja dhe sigurojmë demokratizimin e të dhënave.

Regjistri i raporteve u bë një dritare e vetme e raportit për përdoruesit e brendshëm nga rajone, departamente dhe njësi të ndryshme. Në të është konsoliduar informacioni mbi shërbimet informative, të krijuara në disa arkiva korporatash të kompanisë, dhe numri i tyre në Rostelecom është i konsiderueshëm.

Por regjistri nuk është thjesht një listë e thatë e raporteve të zhvilluara. Për çdo raport, ne ofrojmë informacionin e nevojshëm për përdoruesin për njohje të pavarur me të:

përshkrim të shkurtër të raportit;
thellësia e disponueshmërisë së të dhënave;
segmente të klientëve;
instrumenti i visualizimit;
emri i arkivës korporative;
kërkesat funksionale të biznesit;
lidhu me raportin;
lidhu me kërkesën për akses;
statusi i realizimit.

Në raportet është në dispozicion një analizë e nivelit të përdorueshmërisë, dhe raportet renditen në krye të listës bazuar në analitikën e logeve për numrin e përdoruesve unikë. Dhe kjo nuk është e gjitha. Përveç karakteristikave të përgjithshme, ne parashikuam edhe një përshkrim të detajuar të përbërjes së atribuive të raportëve me shembuj vlerash dhe metodologji llogaritjeje. Një detajim i tillë menjëherë i përgjigjet përdoruesit nëse raporti është i dobishëm për të apo jo.

Zhvillimi i këtij moduli ishte një hap i rëndësishëm drejt demokratizimit të të dhënave dhe ndjeshëm reduktoi kohën e kërkimit të informacionit të kërkuar. Përveç reduktimit të kohës së kërkimit, u ul edhe numri i kërkesave drejtuar ekipit të mbështetjes për ofrimin e konsultimeve. Nuk mund të injorohet një rezultat tjetër të dobishëm që arritëm duke zhvilluar një regjistër të vetëm të raportëve – parandalimi i zhvillimit të raporteve të dyfishta për njësi të ndryshme strukturore.

Glossari i biznesit

Të gjithë e dini se edhe brenda të njëjtës kompani, biznesi flet në gjuhë të ndryshme. Po, ata përdorin të njëjtat terma, por kuptojnë gjëra krejt të ndryshme nën ta. Ky problem ka për qëllim të zgjidhet nga glossari i biznesit.

Për ne, glossari i biznesit nuk është thjesht një tregues me përshkrime të terma dhe metodologji llogaritjeje. Është një ambient i plotë zhvillimi, miratimi dhe konfirmimi të terminologjisë, ndërtimi i lidhjeve të terma me aktive të tjera informacioni të kompanisë. Para se të hyjë në glossarin e biznesit, një term duhet të kalojë të gjitha etapat e miratimit me porositësit e biznesit dhe me qendrën e cilësisë së të dhënave. Vetëm pas kësaj ai bëhet i disponueshëm për përdorim.

Siç e thashë më lart, unikësia e këtij instrumenti është se ai lejon lidhjen nga niveli i termit të biznesit deri te raportet specifike për përdoruesit, në të cilat ai përdoret, si dhe në nivelin e objekteve fizike të bazave të të dhënave.

Kjo u bë e mundur përmes përdorimit të identifikuesve të terma të glossarit në përshkrimin e detajuar të raportëve nga regjistri dhe përshkrimin e objekteve fizike të bazave të të dhënave.

Aktualisht, në Glossar janë përcaktuar dhe miratuar më shumë se 4000 terma. Përdorimi i tij e thjeshton dhe e përshpejton procesin e trajtimit të kërkesave për ndryshime në sistemet informative të kompanisë. Nëse treguesi i kërkuar është tashmë i implementuar në ndonjë raport, përdoruesi do të shohë menjëherë një grup raportesh të gatshme, ku është përdorur ky tregues, dhe do të jetë në gjendje të vendosë për përdorimin efektiv të funksionalitetit ekzistues ose për përmirësimin minimal të tij, pa iniciuar kërkesa të reja për zhvillimin e një raporti të ri.

Moduli i përshkrimit të transformimeve teknike dhe DataLineage

Do ta pyesni, çfarë janë këto module? Është e pamjaftueshme të implementosh Regjistrin e Raporteve dhe Glossarin, është e nevojshme gjithashtu që të përkthehen të gjitha terma biznesi në modelin fizik të bazave të të dhënave. Kështu, ne arritëm të përfundojmë procesin e formimit të ciklit të jetës së të dhënave nga sistemet burimore deri te vizualizimi BI përmes të gjitha shtresave të magazinës së të dhënave. Në fjalë të tjera – të ndërtojmë DataLineage.

Ne zhvilluam një ndërfaqe, mbi të cilën u bazua formati i mëparshëm i përdorur në kompani për përshkrimin e rregullave dhe logjikës së transformimit të të dhënave. Përmes ndërfaqes, futet të njëjtat informacione si më parë, por kusht i domosdoshëm është përcaktimi i identifikuesit të termit nga glossari i biznesit. Kështu ne ndërtuam lidhjen midis shtresave të biznesit dhe atyre fizike.

Kujt i nevojitet kjo? Çfarë nuk e përshtati formatin e vjetër, me të cilin punuam për disa vite? Sa u rritën kostot e punës për formimin e kërkesave? Me këtë lloj pyetje na është dashur të përballemi gjatë procesit të implementimit të mjetit. Këtu përgjigjet janë mjaft të thjeshta – kjo është e nevojshme për të gjithë ne, zyrës së të dhënave të kompanisë sonë dhe përdoruesve tanë.

Për të vërtetë, punonjësit patën nevojë të riorganizoheshin, dhe fillimisht, kjo çoi në rritje të vogël të kohës së punës për përgatitjen e dokumentacionit, por e zgjidhëm këtë çështje. Praktika, identifikimi dhe optimizimi i vendeve problematike bënë punën e tyre. Arritëm qëllimin kryesor — rritëm cilësinë e kërkesave që po zhvilloheshin. Fushat e detyrueshme për t'u plotësuar, direktorët e unifikuar, maskat e hyrjes, verifikimet e integruara – të gjitha këto ndihmuan shumë në përmirësimin e cilësisë së përshkrimeve të transformimeve. U larguam nga praktika e dorëzimit të skripteve si kërkesa për zhvillim, ndamë njohuritë që ishin të disponueshme vetëm për ekipin që merrej me zhvillimin. Baza e formuar e metadatanëve redukton ndjeshëm kohën për analizën e regresit, duke mundësuar vlerësimin në kohë reale të ndikimit të ndryshimeve në çdo nga nivelet e peizazhit IT (raportet e vitrinës, agregatet, burimet).

Po çfarë kanë lidhje përdoruesit e zakonshëm të raporteve, çfarë përfitimesh kanë për ta? Falë mundësisë së ndërtimit të DataLineage, përdoruesit tanë, edhe ata që janë larg SQL dhe gjuhëve të tjera të programimit, marrin informacion në kohë reale për burimet dhe objektet mbi të cilat formohet një raport i caktuar.

Moduli i kontrollit të cilësisë së të dhënave

Çdo gjë që kemi diskutuara më sipër në lidhje me sigurimin e transparencës së të dhënave, nuk ka vlerë pa kuptuar se të dhënat që u ofrojmë përdoruesve janë të sakta. Një nga modulet e rëndësishme të konceptit tonë të Menaxhimit të të Dhënave — moduli i kontrollit të cilësisë së të dhënave.

Në këtë fazë, ky është një katalog i kontrollit për entitetet e zgjedhura. Qëllimi i afërt për zhvillimin e produktit – është zgjerimi i listës së kontrolleve dhe integrimi me regjistrin e raporteve.
Çfarë do të ofrojë dhe kujt? Për përdoruesin përfundimtar të regjistrit, do të jetë e disponueshme informata mbi datat e planifikuara dhe reale të gatishmërisë së raportit, rezultatet e kontrollit të kryer me dinamika, informacion mbi burimet e ngarkuara në raport.

Për ne, moduli i cilësisë së të dhënave i integruar në proceset e punës është:

Formimi i menjëhershëm i pritjeve të porositësve.
Marrja e vendimeve për përdorimin e mëtejshëm të të dhënave.
Marrja e një seti paraprak të pikave problematike në fazat fillestare të punës për zhvillimin e kontrolleve të rregullta të cilësisë.

Sigurisht, këto janë hapat e parë në ndërtimin e një procesi të plotë të menaxhimit të të dhënave. Por ne jemi të sigurt se vetëm duke e zhvilluar këtë punë me qëllim, duke implementuar aktivisht mjetet e DataGovernance në procesin e punës, ne do t'u sigurojmë klientëve tanë informacione, një nivel të lartë besimi në të dhëna, transparencë në marrjen e tyre dhe do të rrisim shpejtësinë e zhvillimit të funksionaliteteve të reja.

Ekipi DataOffice

Burimi: habr.com