Përshëndetje, Habr!
Të dhënat janë një aset i çmuar për kompaninë. Kjo është diçka që thuhet nga pothuajse çdo kompani me një prirje dixhitale. Dhe kjo është e vërtetë: pa diskutimin e qasjeve për menaxhimin, ruajtjen dhe përpunimin e të dhënave, nuk kalon asnjë konferencë të madhe IT.
TĂ« dhĂ«nat vijnĂ« nga jashtĂ«, gjithashtu formohen brenda kompanisĂ«, dhe po tĂ« flasim pĂ«r tĂ« dhĂ«nat e kompanive telekom, ato pĂ«rbĂ«jnĂ« njĂ« burim informacioni pĂ«r punonjĂ«sit e brendshĂ«m lidhur me klientin, interesat, zakonet dhe vendndodhjen e tij. Me profilizimin dhe segmentimin e saktĂ«, ofertat reklamuese janĂ« mĂ« efektive. SidoqoftĂ«, nĂ« praktikĂ« gjĂ«rat nuk janĂ« aq optimiste. TĂ« dhĂ«nat qĂ« ruajnĂ« kompanitĂ« mund tĂ« jenĂ« mĂ«nyrĂ« e ndĂ«rlikuar pĂ«r t'u bĂ«rĂ«, shumĂ« tĂ« vjetra, tĂ« tepĂ«rta, tĂ« pĂ«rsĂ«ritura, ose ndoshta askush nuk di pĂ«r ekzistencĂ«n e tyre pĂ«rveç njĂ« grupi tĂ« ngushtĂ« pĂ«rdoruesish. ÂŻ_(ă)_/ÂŻ
Me njĂ« fjalĂ«, tĂ« dhĂ«nat duhet tĂ« menaxhohen nĂ« mĂ«nyrĂ« efikase â vetĂ«m kĂ«shtu ato do tĂ« bĂ«hen njĂ« aset qĂ« sjell vĂ«rtet pĂ«rfitime dhe fitime pĂ«r biznesin. FatkeqĂ«sisht, pĂ«r tĂ« zgjidhur çështjet e menaxhimit tĂ« tĂ« dhĂ«nave, duhet tĂ« kapĂ«rcenja njĂ« numĂ«r tĂ« konsiderueshĂ«m pengesash. Ato janĂ« kryesisht tĂ« shkaktuara nga trashĂ«gimia historike nĂ« formĂ«n e 'zoo-parqeve' tĂ« sistemeve dhe mungesĂ«s sĂ« proceseve dhe qasjeve tĂ« pĂ«rbashkĂ«ta pĂ«r menaxhimin e tyre. Por çfarĂ« do tĂ« thotĂ« 'tĂ« menaxhosh tĂ« dhĂ«nat'?
Pikërisht për këtë do të flasim më poshtë, si dhe për mënyrën se si na ndihmon staku opensource.
Koncepci e menaxhimit strategjik të të dhënave Data Governance (DG) është tashmë e njohur në tregun rus, dhe objektivat që arrijnë bizneset si rezultat i zbatimit të saj janë të qarta dhe të deklaruara. Kompania jonë nuk bëri përjashtim dhe vendosi të zbatojë konceptin e menaxhimit të të dhënave.
Pra, nga ku filluam? Në fillim formularëm për veten tonë objektivat kryesore:
- Të sigurojmë aksesin në të dhënat tona.
- Të sigurojmë transparencën e ciklit të jetës së të dhënave.
- Të japim përdoruesve të kompanisë të dhëna të qëndrueshme dhe konsistente.
- Të japim përdoruesve të kompanisë të dhëna të verifikuara.
Aktualisht në tregun e softuerit janë të paktën një duzinë mjete të klasës DataGovernance.
Por pas një analize të detajuar dhe studimit të zgjidhjeve, regjistruam disa vërejtje kritike për veten tone:
- Shumë prodhues ofrojnë një grup të plotsë zgjidhjesh, i cili për ne është i tepruar dhe kopjon funksionalitetin e ekzistueshëm. Për më tepër, integrimi i shtrenjtë nga këndvështrimi i burimeve në peizazhin aktual IT.
- Funksionaliteti dhe ndërfaqja janë të destinuara për teknologët, jo për përdoruesit përfundimtarë të bizneseve.
- Norma e ulët e mbijetesës së produkteve dhe mungesa e zbatimeve të suksesshme në tregun rus.
- Kosto e lartë e softuerit dhe mbështetjes së mëtejshme.
Kriteret dhe rekomandimet e lartpĂ«rmendura pĂ«r zĂ«vendĂ«simin e softuerit pĂ«r kompanitĂ« ruse na bindĂ«n tĂ« shkojmĂ« nĂ« drejtimin e zhvillimit tĂ« brendshĂ«m nĂ« njĂ« grup teknologjish opensource. Si platformĂ«, zgjodhĂ«m Django â njĂ« framework falas dhe i lirĂ«, i shkruar nĂ« Python. KĂ«shtu, ne identifikuam modulat kryesore qĂ« do tĂ« kontribuojnĂ« nĂ« qĂ«llimet e pĂ«rmendura mĂ« lart:
- Regjistri i raporteve.
- Glossar biznesi.
- Moduli i përshkrimit të transformimeve teknike.
- Moduli i përshkrimit të ciklit të jetës së të dhënave nga burimi deri te mjete BI.
- Moduli i kontrollit të cilësisë së të dhënave.
Regjistri i raporteve
Sipas rezultateve të hulumtimeve të brendshme në kompanitë e mëdha, ndërsa zgjidhin detyrat e lidhura me të dhënat, punonjësit shpenzojnë 40-80% të kohës së tyre në kërkimin e tyre. Prandaj, ne e vendosëm si objektiv ta bëjmë informacionin rreth raporteve ekzistues të hapura, të cilat më parë ishin të disponueshme vetëm për klientët. Kështu, ne reduktojmë kohën për formimin e raporteve të reja dhe sigurojmë demokratizimin e të dhënave.
Regjistri i raporteve u bë një dritare e vetme e raportit për përdoruesit e brendshëm nga rajone, departamente dhe njësi të ndryshme. Në të është konsoliduar informacioni mbi shërbimet informative, të krijuara në disa arkiva korporatash të kompanisë, dhe numri i tyre në Rostelecom është i konsiderueshëm.
Por regjistri nuk është thjesht një listë e thatë e raporteve të zhvilluara. Për çdo raport, ne ofrojmë informacionin e nevojshëm për përdoruesin për njohje të pavarur me të:
- përshkrim të shkurtër të raportit;
- thellësia e disponueshmërisë së të dhënave;
- segmente të klientëve;
- instrumenti i visualizimit;
- emri i arkivës korporative;
- kërkesat funksionale të biznesit;
- lidhu me raportin;
- lidhu me kërkesën për akses;
- statusi i realizimit.
Në raportet është në dispozicion një analizë e nivelit të përdorueshmërisë, dhe raportet renditen në krye të listës bazuar në analitikën e logeve për numrin e përdoruesve unikë. Dhe kjo nuk është e gjitha. Përveç karakteristikave të përgjithshme, ne parashikuam edhe një përshkrim të detajuar të përbërjes së atribuive të raportëve me shembuj vlerash dhe metodologji llogaritjeje. Një detajim i tillë menjëherë i përgjigjet përdoruesit nëse raporti është i dobishëm për të apo jo.
Zhvillimi i kĂ«tij moduli ishte njĂ« hap i rĂ«ndĂ«sishĂ«m drejt demokratizimit tĂ« tĂ« dhĂ«nave dhe ndjeshĂ«m reduktoi kohĂ«n e kĂ«rkimit tĂ« informacionit tĂ« kĂ«rkuar. PĂ«rveç reduktimit tĂ« kohĂ«s sĂ« kĂ«rkimit, u ul edhe numri i kĂ«rkesave drejtuar ekipit tĂ« mbĂ«shtetjes pĂ«r ofrimin e konsultimeve. Nuk mund tĂ« injorohet njĂ« rezultat tjetĂ«r tĂ« dobishĂ«m qĂ« arritĂ«m duke zhvilluar njĂ« regjistĂ«r tĂ« vetĂ«m tĂ« raportĂ«ve â parandalimi i zhvillimit tĂ« raporteve tĂ« dyfishta pĂ«r njĂ«si tĂ« ndryshme strukturore.
Glossari i biznesit
Të gjithë e dini se edhe brenda të njëjtës kompani, biznesi flet në gjuhë të ndryshme. Po, ata përdorin të njëjtat terma, por kuptojnë gjëra krejt të ndryshme nën ta. Ky problem ka për qëllim të zgjidhet nga glossari i biznesit.
PĂ«r ne, glossari i biznesit nuk Ă«shtĂ« thjesht njĂ« tregues me pĂ«rshkrime tĂ« terma dhe metodologji llogaritjeje. ĂshtĂ« njĂ« ambient i plotĂ« zhvillimi, miratimi dhe konfirmimi tĂ« terminologjisĂ«, ndĂ«rtimi i lidhjeve tĂ« terma me aktive tĂ« tjera informacioni tĂ« kompanisĂ«. Para se tĂ« hyjĂ« nĂ« glossarin e biznesit, njĂ« term duhet tĂ« kalojĂ« tĂ« gjitha etapat e miratimit me porositĂ«sit e biznesit dhe me qendrĂ«n e cilĂ«sisĂ« sĂ« tĂ« dhĂ«nave. VetĂ«m pas kĂ«saj ai bĂ«het i disponueshĂ«m pĂ«r pĂ«rdorim.
Siç e thashë më lart, unikësia e këtij instrumenti është se ai lejon lidhjen nga niveli i termit të biznesit deri te raportet specifike për përdoruesit, në të cilat ai përdoret, si dhe në nivelin e objekteve fizike të bazave të të dhënave.
Kjo u bë e mundur përmes përdorimit të identifikuesve të terma të glossarit në përshkrimin e detajuar të raportëve nga regjistri dhe përshkrimin e objekteve fizike të bazave të të dhënave.
Aktualisht, në Glossar janë përcaktuar dhe miratuar më shumë se 4000 terma. Përdorimi i tij e thjeshton dhe e përshpejton procesin e trajtimit të kërkesave për ndryshime në sistemet informative të kompanisë. Nëse treguesi i kërkuar është tashmë i implementuar në ndonjë raport, përdoruesi do të shohë menjëherë një grup raportesh të gatshme, ku është përdorur ky tregues, dhe do të jetë në gjendje të vendosë për përdorimin efektiv të funksionalitetit ekzistues ose për përmirësimin minimal të tij, pa iniciuar kërkesa të reja për zhvillimin e një raporti të ri.
Moduli i përshkrimit të transformimeve teknike dhe DataLineage
Do ta pyesni, çfarĂ« janĂ« kĂ«to module? ĂshtĂ« e pamjaftueshme tĂ« implementosh Regjistrin e Raporteve dhe Glossarin, Ă«shtĂ« e nevojshme gjithashtu qĂ« tĂ« pĂ«rkthehen tĂ« gjitha terma biznesi nĂ« modelin fizik tĂ« bazave tĂ« tĂ« dhĂ«nave. KĂ«shtu, ne arritĂ«m tĂ« pĂ«rfundojmĂ« procesin e formimit tĂ« ciklit tĂ« jetĂ«s sĂ« tĂ« dhĂ«nave nga sistemet burimore deri te vizualizimi BI pĂ«rmes tĂ« gjitha shtresave tĂ« magazinĂ«s sĂ« tĂ« dhĂ«nave. NĂ« fjalĂ« tĂ« tjera â tĂ« ndĂ«rtojmĂ« DataLineage.
Ne zhvilluam një ndërfaqe, mbi të cilën u bazua formati i mëparshëm i përdorur në kompani për përshkrimin e rregullave dhe logjikës së transformimit të të dhënave. Përmes ndërfaqes, futet të njëjtat informacione si më parë, por kusht i domosdoshëm është përcaktimi i identifikuesit të termit nga glossari i biznesit. Kështu ne ndërtuam lidhjen midis shtresave të biznesit dhe atyre fizike.
Kujt i nevojitet kjo? ĂfarĂ« nuk e pĂ«rshtati formatin e vjetĂ«r, me tĂ« cilin punuam pĂ«r disa vite? Sa u rritĂ«n kostot e punĂ«s pĂ«r formimin e kĂ«rkesave? Me kĂ«tĂ« lloj pyetje na Ă«shtĂ« dashur tĂ« pĂ«rballemi gjatĂ« procesit tĂ« implementimit tĂ« mjetit. KĂ«tu pĂ«rgjigjet janĂ« mjaft tĂ« thjeshta â kjo Ă«shtĂ« e nevojshme pĂ«r tĂ« gjithĂ« ne, zyrĂ«s sĂ« tĂ« dhĂ«nave tĂ« kompanisĂ« sonĂ« dhe pĂ«rdoruesve tanĂ«.
PĂ«r tĂ« vĂ«rtetĂ«, punonjĂ«sit patĂ«n nevojĂ« tĂ« riorganizoheshin, dhe fillimisht, kjo çoi nĂ« rritje tĂ« vogĂ«l tĂ« kohĂ«s sĂ« punĂ«s pĂ«r pĂ«rgatitjen e dokumentacionit, por e zgjidhĂ«m kĂ«tĂ« çështje. Praktika, identifikimi dhe optimizimi i vendeve problematike bĂ«nĂ« punĂ«n e tyre. ArritĂ«m qĂ«llimin kryesor â rritĂ«m cilĂ«sinĂ« e kĂ«rkesave qĂ« po zhvilloheshin. Fushat e detyrueshme pĂ«r t'u plotĂ«suar, direktorĂ«t e unifikuar, maskat e hyrjes, verifikimet e integruara â tĂ« gjitha kĂ«to ndihmuan shumĂ« nĂ« pĂ«rmirĂ«simin e cilĂ«sisĂ« sĂ« pĂ«rshkrimeve tĂ« transformimeve. U larguam nga praktika e dorĂ«zimit tĂ« skripteve si kĂ«rkesa pĂ«r zhvillim, ndamĂ« njohuritĂ« qĂ« ishin tĂ« disponueshme vetĂ«m pĂ«r ekipin qĂ« merrej me zhvillimin. Baza e formuar e metadatanĂ«ve redukton ndjeshĂ«m kohĂ«n pĂ«r analizĂ«n e regresit, duke mundĂ«suar vlerĂ«simin nĂ« kohĂ« reale tĂ« ndikimit tĂ« ndryshimeve nĂ« çdo nga nivelet e peizazhit IT (raportet e vitrinĂ«s, agregatet, burimet).
Po çfarë kanë lidhje përdoruesit e zakonshëm të raporteve, çfarë përfitimesh kanë për ta? Falë mundësisë së ndërtimit të DataLineage, përdoruesit tanë, edhe ata që janë larg SQL dhe gjuhëve të tjera të programimit, marrin informacion në kohë reale për burimet dhe objektet mbi të cilat formohet një raport i caktuar.
Moduli i kontrollit të cilësisë së të dhënave
Ădo gjĂ« qĂ« kemi diskutuara mĂ« sipĂ«r nĂ« lidhje me sigurimin e transparencĂ«s sĂ« tĂ« dhĂ«nave, nuk ka vlerĂ« pa kuptuar se tĂ« dhĂ«nat qĂ« u ofrojmĂ« pĂ«rdoruesve janĂ« tĂ« sakta. NjĂ« nga modulet e rĂ«ndĂ«sishme tĂ« konceptit tonĂ« tĂ« Menaxhimit tĂ« tĂ« DhĂ«nave â moduli i kontrollit tĂ« cilĂ«sisĂ« sĂ« tĂ« dhĂ«nave.
NĂ« kĂ«tĂ« fazĂ«, ky Ă«shtĂ« njĂ« katalog i kontrollit pĂ«r entitetet e zgjedhura. QĂ«llimi i afĂ«rt pĂ«r zhvillimin e produktit â Ă«shtĂ« zgjerimi i listĂ«s sĂ« kontrolleve dhe integrimi me regjistrin e raporteve.
ĂfarĂ« do tĂ« ofrojĂ« dhe kujt? PĂ«r pĂ«rdoruesin pĂ«rfundimtar tĂ« regjistrit, do tĂ« jetĂ« e disponueshme informata mbi datat e planifikuara dhe reale tĂ« gatishmĂ«risĂ« sĂ« raportit, rezultatet e kontrollit tĂ« kryer me dinamika, informacion mbi burimet e ngarkuara nĂ« raport.
Për ne, moduli i cilësisë së të dhënave i integruar në proceset e punës është:
- Formimi i menjëhershëm i pritjeve të porositësve.
- Marrja e vendimeve për përdorimin e mëtejshëm të të dhënave.
- Marrja e një seti paraprak të pikave problematike në fazat fillestare të punës për zhvillimin e kontrolleve të rregullta të cilësisë.
Sigurisht, këto janë hapat e parë në ndërtimin e një procesi të plotë të menaxhimit të të dhënave. Por ne jemi të sigurt se vetëm duke e zhvilluar këtë punë me qëllim, duke implementuar aktivisht mjetet e DataGovernance në procesin e punës, ne do t'u sigurojmë klientëve tanë informacione, një nivel të lartë besimi në të dhëna, transparencë në marrjen e tyre dhe do të rrisim shpejtësinë e zhvillimit të funksionaliteteve të reja.
Ekipi DataOffice
Burimi: habr.com
