Përshëndetje, Habr!
TĂ« dhĂ«nat janĂ« njĂ« aktiv shumĂ« tĂ« vlefshĂ«m pĂ«r kompanitĂ«. KĂ«tĂ« deklaron thuajse çdo kompani me orientim digjital. ĂshtĂ« e vĂ«shtirĂ« tĂ« diskutosh kĂ«tĂ«: aktualisht, nuk kalon asnjĂ« konferencĂ« tĂ« madhe tĂ« IT-sĂ« pa u diskutuar qasjet pĂ«r menaxhimin, ruajtjen dhe pĂ«rpunimin e tĂ« dhĂ«nave.
TĂ« dhĂ«nat na vinĂ« nga jashtĂ«, po ashtu ato formohen brenda kompanisĂ«; dhe kur flasim pĂ«r tĂ« dhĂ«nat e njĂ« kompanie telekomunikacionesh, ato janĂ« njĂ« thes informacioni pĂ«r punonjĂ«sit e brendshĂ«m mbi klientin, interesat e tij, zakonet, dhe vendndodhjen. Me njĂ« profilizim dhe segmentim tĂ« duhur, ofertat reklamuese rezultojnĂ« mĂ« efektive. MegjithatĂ«, nĂ« praktikĂ«, situata nuk Ă«shtĂ« gjithmonĂ« rozĂ«. TĂ« dhĂ«nat qĂ« ruajnĂ« kompanitĂ« mund tĂ« jenĂ« ndoshta tĂ« vjetruara, tĂ« tepruara, pĂ«rsĂ«ritĂ«se, ose pĂ«r ekzistencĂ«n e tyre tĂ« dijen vetĂ«m njĂ« grup tĂ« ngushtĂ« pĂ«rdoruesish. ÂŻ_(ă)_/ÂŻ
Dhe pĂ«r ta thĂ«nĂ« me njĂ« fjalĂ«, tĂ« dhĂ«nat duhet tĂ« menaxhohen me efikasitet â vetĂ«m nĂ« kĂ«tĂ« mĂ«nyrĂ« ato do tĂ« bĂ«hen njĂ« aktiv qĂ« sjell pĂ«rfitime tĂ« vĂ«rteta dhe fitime pĂ«r biznesin. FatkeqĂ«sisht, pĂ«r tĂ« adresuar çështjet e menaxhimit tĂ« tĂ« dhĂ«nave, duhet tĂ« tejkalohen shumĂ« vĂ«shtirĂ«si. KĂ«to janĂ« kryesisht tĂ« ndikuara nga trashĂ«gimia historike nĂ« formĂ«n e "zoologjive" tĂ« sistemeve, si dhe nga mungesa e proceseve dhe qasjeve tĂ« unifikuara pĂ«r menaxhimin e tyre. Por çfarĂ« do tĂ« thotĂ« "tĂ« menaxhosh tĂ« dhĂ«nat"?
Këtë temë do ta diskutojmë më poshtë, po ashtu edhe për ndihmën që na ka ofruar stoku opensource.
Koncepti i menaxhimit strategjik të të dhënave, Data Governance (DG), tashmë është mjaft i njohur në tregun rus, dhe qëllimet që arrihen nga biznesi si rezultat i implementimit të tij janë të qarta dhe të deklaruara. Kompania jonë nuk bëri përjashtim dhe vendosi të implementojë këtë koncept menaxhimi të të dhënave.
Pra, nga ku filluam? Fillimisht ne përcaktuam objektivat tona kryesore:
- Të sigurojmë aksesin në të dhënat tona.
- Të sigurojmë transparencën e ciklit të jetës së të dhënave.
- Të ofrojmë përdoruesve të kompanisë të dhëna të përputhshme dhe të paqarta.
- Të ofrojmë përdoruesve të kompanisë të dhëna të verifikuara.
Sot në tregun e programeve të softuerit, ka disa mjete të klasës Data Governance.
Por pas një analize të detajuar dhe studimit të zgjidhjeve, shënuam disa vërejtje kritike:
- Shumica e prodhuesve ofrojnë një set të plotë zgjidhjesh, i cili për ne është tepër i tepruar dhe përsërit funksionalitete ekzistuese. Plus, integrimi i tij në peizazhin aktual të TI-së është i shtrenjtë për burime.
- Funksionaliteti dhe ndërfaqja janë të destinuara për teknikët, dhe jo për përdoruesit përfundimtarë të biznesit.
- Pranimi i ulët i produkteve dhe mungesa e implementimeve të suksesshme në tregun rus.
- Kostoja e lartë e softuerit dhe mbështetjes së mëtejshme.
Kriteret dhe rekomandimet e mĂ«sipĂ«rme nĂ« lidhje me import-zĂ«vendĂ«simin e softuerit pĂ«r kompanitĂ« ruse na bindĂ«n tĂ« shkojmĂ« drejt zhvillimit tonĂ« tĂ« brendshĂ«m me stoku opensource. Si platformĂ«, zgjodhĂ«m Django â njĂ« kornizĂ« falas dhe tĂ« lirĂ«, e shkruar nĂ« Python. Pra, kĂ«shtu e pĂ«rzgjodhĂ«m pĂ«r vete modul tĂ« rĂ«ndĂ«sishĂ«m qĂ« do tĂ« kontribuojnĂ« nĂ« arritjen e qĂ«llimeve tĂ« cekura:
- Regjistri i raporteve.
- Biznes-glossari.
- Moduli për përshkrimin e transformimeve teknike.
- Moduli për përshkrimin e ciklit të jetës së të dhënave nga burimi deri në BI-instrument.
- Moduli për kontrollin e cilësisë së të dhënave.
Regjistri i raporteve
Nga rezultatet e studimeve të brendshme në kompanitë e mëdha, kur zgjidhin detyrat që lidhen me të dhënat, punonjësit kalojnë nga 40 në 80% të kohës së tyre në kërkimin e tyre. Prandaj, ne e vendosëm për vete objektiv të hapim informacionin për raportet ekzistuese, të cilat më parë ishin të disponueshme vetëm për klientët. Kështu, ne ulim kohën për përgatitjen e raporteve të reja dhe sigurojmë demokratizimin e të dhënave.
Regjistri i raporteve u bë një dritare e vetme raportimi për përdoruesit e brendshëm nga rajone, departamente, dhe njësi të ndryshme. Në të është konsoliduar informacioni mbi shërbimet informative, të krijuara në disa depo të korporatave të kompanisë, të cilat janë të shumtë në Rostelecom.
Por regjistri nuk është thjesht një listë e thatë e raporteve të zhvilluara. Për çdo raport ne ofrojmë informacionin e nevojshëm që përdoruesi të njihet me të vetë:
- përshkrimi përmbledhës i raportit;
- thellësia e aksesit në të dhëna;
- segmenti i klientit;
- instrumenti i vizualizimit;
- emri i depo të korporatave;
- kërkesat funksionale të biznesit;
- linku për raportin;
- linku për kërkesën për akses;
- statusi i realizimit.
Raportet ofrojnë analitikë mbi nivelet e përdorimit, dhe raportet renditen në krye të listës bazuar në analitikën e logëve për numrin e përdoruesve unikë. Dhe kjo është vetëm fillimi. Përveç karakteristikave të përgjithshme, ne kemi parashikuar një përshkrim të detajuar të përbërjes së raporteve me shembuj të vlerave dhe metodologjinë e llogaritjes. Kjo detajim e jep menjëherë përdoruesit përgjigje nëse raporti është i dobishëm për të apo jo.
Zhvillimi i kĂ«tij moduli ishte njĂ« hap i rĂ«ndĂ«sishĂ«m drejt demokratizimit tĂ« tĂ« dhĂ«nave dhe ka reduktuar ndjeshĂ«m kohĂ«n e kĂ«rkimit tĂ« informacionit tĂ« nevojshĂ«m. PĂ«rveç reduktimit tĂ« kohĂ«s sĂ« kĂ«rkimit, ka rĂ«nĂ« edhe numri i kĂ«rkesave drejtuar ekipit tĂ« mbĂ«shtetjes pĂ«r kĂ«shilla. Nuk mund tĂ« anashkalohet edhe njĂ« rezultat tjetĂ«r i dobishĂ«m, qĂ« arritĂ«m duke zhvilluar njĂ« regjistĂ«r tĂ« unifikuar tĂ« raporteve â parandalimi i zhvillimit tĂ« raporteve tĂ« pĂ«rsĂ«ritura pĂ«r njĂ«si tĂ« ndryshme strukturore.
Glosari i biznesit
Të gjithë e dini se madje në kuadër të njëjtës kompani, biznesi flasin në gjuhë të ndryshme. Po, ata përdorin të njëjtat terma, por kuptojnë gjëra krejt të ndryshme nën to. Glosari i biznesit ka për qëllim të zgjidhë këtë problem.
Për ne, glosari i biznesit nuk është thjesht një udhëzues me përshkrime të terma dhe metodologji të llogaritjes. Ai është një mjedis i plotë zhvillimi, miratimi dhe miratimi të terminologjisë, ndërtimi i lidhjeve të terma me aktive të tjera informacioni të kompanisë. Para se të hyjë në glosarin e biznesit, një term duhet të kalojë të gjithë fazat e miratimit nga porositësit e biznesit dhe qendra e cilësisë së të dhënave. Vetëm pas kësaj, ai bëhet i disponueshëm për përdorim.
Siç e kam përmendur më sipër, unikësia e këtij instrumenti qëndron në faktin se ai lejon lidhje nga niveli i termit të biznesit deri te raportet specifike të përdoruesve, në të cilat ai përdoret, si dhe deri te nivelet e objekteve fizike të bazës së të dhënave.
Kjo u bë e mundur përmes përdorimit të identifikuesve të terma në përshkrimin e detajuar të raporteve nga regjistri dhe përshkrimin e objekteve fizike të bazës së të dhënave.
Tani në Glosarin e biznesit janë përcaktuar dhe miratuar më shumë se 4000 terma. Përdorimi i tij thjeshton dhe përshpejton trajtimin e kërkesave të ardhura për ndryshime në sistemet informative të kompanisë. Nëse treguesi i nevojshëm është tashmë i implementuar në ndonjë raport, përdoruesi do të shohë menjëherë një grup raportesh të gatshme, ku ky tregues është përdorur, dhe mund të marrë një vendim për të përdorur në mënyrë efektive funksionalitetin ekzistues ose për një rregullim minimal, pa iniciuar kërkesa të reja për zhvillimin e një raporti të ri.
Moduli i përshkrimit të transformimeve teknike dhe DataLineage
Do tĂ« pyesni, çfarĂ« janĂ« kĂ«ta module? Nuk mjafton thjesht tĂ« implementoni Regjistrin e Raporteve dhe Glosarin, Ă«shtĂ« e nevojshme gjithashtu qĂ« tĂ« gjithĂ« termat e biznesit tĂ« zbatohen nĂ« modelin fizik tĂ« bazĂ«s sĂ« tĂ« dhĂ«nave. KĂ«shtu, arritĂ«m tĂ« pĂ«rfundojmĂ« procesin e formimit tĂ« ciklit tĂ« jetĂ«s sĂ« tĂ« dhĂ«nave nga sistemet burimore deri te vizualizimi BI pĂ«rmes tĂ« gjitha shtresave tĂ« depozitimit tĂ« tĂ« dhĂ«nave. Me fjalĂ« tĂ« tjera â tĂ« ndĂ«rtojmĂ« DataLineage.
Ne zhvilluam një ndërfaqe, e cila bazohej në formatin e përdorur më parë në kompani për përshkrimin e rregullave dhe logjikës së transformimit të të dhënave. Përmes ndërfaqes, regjistrohet e njëjta informacion si më parë, por është bërë kusht i domosdoshëm përcaktimi i identifikuesit të termit nga glosari i biznesit. Kështu ne ndërtuam lidhjen midis niveleve të biznesit dhe atyre fizike.
Kush ka nevojĂ« pĂ«r kĂ«tĂ«? ĂfarĂ« nuk e kĂ«naqte formatin e vjetĂ«r, me tĂ« cilin punuan pĂ«r disa vjet? Sa u rritĂ«n kostot e punĂ«s pĂ«r formimin e kĂ«rkesave? Me kĂ«to pyetje na Ă«shtĂ« dashur tĂ« pĂ«rballemi gjatĂ« implementimit tĂ« mjetit. PĂ«rgjigjet kĂ«tu janĂ« mjaft tĂ« thjeshta â kjo Ă«shtĂ« e nevojshme pĂ«r tĂ« gjithĂ« ne, pĂ«r datĂ«-byronĂ« e kompanisĂ« sonĂ« dhe pĂ«r pĂ«rdoruesit tanĂ«.
NĂ« tĂ« vĂ«rtetĂ«, ekipit iu desh tĂ« pĂ«rshtatej, qĂ« nĂ« fillim kjo solli njĂ« rritje tĂ« vogĂ«l tĂ« kostove tĂ« punĂ«s nĂ« pĂ«rgatitjen e dokumentacionit, por ne e zgjidhĂ«m kĂ«tĂ« çështje. Praktika, identifikimi dhe optimizimi i problemeve bĂ«nĂ« punĂ«n e tyre. ArritĂ«m tĂ« rĂ«ndĂ«sishmen â rritĂ«m cilĂ«sinĂ« e kĂ«rkesave tĂ« zhvilluara. Fushat e detyrueshme pĂ«r tâu plotĂ«suar, regjistrat e standardizuar, maskat e hyrjes, verifikimet e brendshme â tĂ« gjitha kĂ«to na lejuan tĂ« rrisim ndjeshĂ«m cilĂ«sinĂ« e pĂ«rshkrimeve tĂ« transformimeve. Ne u larguam nga praktika e kalimit tĂ« skripteve si kĂ«rkesa pĂ«r zhvillim, duke ndarĂ« njohuritĂ« qĂ« ishin tĂ« disponueshme vetĂ«m pĂ«r ekipin qĂ« merrej me zhvillimin. Baza e krijuar e metadata-ve redukton ndjeshĂ«m kohĂ«n e nevojshme pĂ«r analizĂ«n regresive dhe siguron mundĂ«sinĂ« pĂ«r vlerĂ«simin e shpejtĂ« tĂ« ndikimeve tĂ« ndryshimeve nĂ« çdo nivel tĂ« peizazhit IT (raportet e dollapĂ«ve, agregatĂ«t, burimet).
E çfarë kanë lidhje përdoruesit e zakonshëm të raporteve, cila është dobi për ta? Falë mundësisë së ndërtimit të DataLineage, përdoruesit tanë, edhe ata që janë larg SQL dhe gjuhëve të tjera të programimit, marrin informacion në kohë reale mbi burimet dhe objektet, mbi të cilat formohet një raport i caktuar.
Moduli i kontrollit të cilësisë së të dhënave
Gjithçka që kemi diskutuar më sipër në lidhje me sigurimin e transparencës së të dhënave, nuk ka rëndësi pa kuptimin se të dhënat që u japim përdoruesve, janë të sakta. Një nga modulet e rëndësishme të konceptit tonë të Data Governance është moduli i kontrollit të cilësisë së të dhënave.
Në këtë fazë, ky është një katalog i verifikimeve për entitete të zgjedhura. Qëllimi ynë afatshkurtër për zhvillimin e produktit është të zgjerim listën e verifikimeve dhe të integrojmë me regjistrin e raporteve.
ĂfarĂ« do tĂ« sjellĂ« kjo dhe kujt? PĂ«r pĂ«rdoruesin pĂ«rfundimtar tĂ« regjistrit, do tĂ« jetĂ« e disponueshme informata mbi datat e planifikuara dhe reale tĂ« gatishmĂ«risĂ« sĂ« raportit, rezultatet e verifikimeve tĂ« kryera me dinamikĂ«, informacione mbi burimet e ngarkuara nĂ« raport.
Për ne, moduli i cilësisë së të dhënave i integruar në proceset e punës do të thotë:
- Formimi në kohë reale i pritshmërive të klientëve.
- Marrja e vendimeve për përdorimin e mëtejshëm të të dhënave.
- Marrja e një grupi paraprak të pikave problematike në fazat e hershme të punës për zhvillimin e kontrolleve të rregullta të cilësisë.
Pa dyshim, këto janë hapat e parë në ndërtimin e një procesi të plotë të menaxhimit të të dhënave. Por ne jemi të sigurt se, vetëm duke u angazhuar me qëllim në këtë punë, duke implementuar aktivisht mjetet e Data Governance në procesin e punës, do të sigurojmë informimin për klientët tanë, një nivel të lartë besimi në të dhëna, transparencën e marrjes së tyre dhe do të rrisim shpejtësinë e nxjerrjes së funksionaliteteve të reja.
Ekipi DataOffice
Burimi: habr.com
