Hej Habr!
TĂ« dhĂ«nat janĂ« pasuria mĂ« e vlefshme e njĂ« kompanie. Pothuajse çdo kompani me fokus dixhital e deklaron kĂ«tĂ«. ĂshtĂ« e vĂ«shtirĂ« tĂ« argumentohet me kĂ«tĂ«: asnjĂ« konferencĂ« e vetme e madhe e IT nuk mbahet pa diskutuar qasjet pĂ«r menaxhimin, ruajtjen dhe pĂ«rpunimin e tĂ« dhĂ«nave.
TĂ« dhĂ«nat na vijnĂ« nga jashtĂ«, ato gjenerohen edhe brenda kompanisĂ«, dhe nĂ«se flasim pĂ«r tĂ« dhĂ«na nga njĂ« kompani telekomunikacioni, atĂ«herĂ« pĂ«r punonjĂ«sit e brendshĂ«m kjo Ă«shtĂ« njĂ« depo informacioni pĂ«r klientin, interesat, zakonet dhe vendndodhjen e tij. Me profilizimin dhe segmentimin e duhur, ofertat e reklamave janĂ« mĂ« efektive. SidoqoftĂ«, nĂ« praktikĂ«, jo gjithçka Ă«shtĂ« aq rozĂ«. TĂ« dhĂ«nat qĂ« kompanitĂ« ruajnĂ« mund tĂ« jenĂ« pashpresĂ« tĂ« vjetruara, tĂ« tepĂ«rta, tĂ« pĂ«rsĂ«ritura ose ekzistenca e tyre Ă«shtĂ« e panjohur pĂ«r kĂ«do, pĂ«rveç njĂ« rrethi tĂ« ngushtĂ« pĂ«rdoruesish. ÂŻ_(ă)_/ÂŻ
Me njĂ« fjalĂ«, tĂ« dhĂ«nat duhet tĂ« menaxhohen nĂ« mĂ«nyrĂ« efektive - vetĂ«m atĂ«herĂ« ato do tĂ« bĂ«hen njĂ« aset qĂ« sjell pĂ«rfitime dhe fitime reale pĂ«r biznesin. FatkeqĂ«sisht, zgjidhja e çështjeve tĂ« menaxhimit tĂ« tĂ« dhĂ«nave kĂ«rkon tejkalimin e shumĂ« kompleksiteteve. Ato janĂ« kryesisht pĂ«r shkak tĂ« trashĂ«gimisĂ« historike nĂ« formĂ«n e "kopshteve zoologjike" tĂ« sistemeve dhe mungesĂ«s sĂ« proceseve dhe qasjeve tĂ« unifikuara pĂ«r menaxhimin e tyre. Por çfarĂ« do tĂ« thotĂ« tĂ« jesh âi drejtuar nga tĂ« dhĂ«natâ?
Kjo është pikërisht ajo për të cilën do të flasim nën prerje, si dhe se si na ndihmoi pirgu i burimit të hapur.
Koncepti i menaxhimit strategjik të të dhënave të qeverisjes së të dhënave (DG) është tashmë mjaft i njohur në tregun rus, dhe qëllimet e arritura nga biznesi si rezultat i zbatimit të tij janë të qarta dhe të deklaruara qartë. Kompania jonë nuk ishte përjashtim dhe i vuri vetes detyrën e prezantimit të konceptit të menaxhimit të të dhënave.
Pra, ku filluam? Për të filluar, ne formuam qëllimet kryesore për veten tonë:
- Mbajini të dhënat tona të arritshme.
- Sigurimi i transparencës së ciklit jetësor të të dhënave.
- Ofroni përdoruesve të kompanisë të dhëna të qëndrueshme dhe të qëndrueshme.
- Jepni përdoruesve të kompanisë të dhëna të verifikuara.
Sot, ka një duzinë mjetesh të klasës së qeverisjes së të dhënave në tregun e softuerit.
Por pas një analize dhe studimi të hollësishëm të zgjidhjeve, ne regjistruam një numër komentesh kritike për veten tonë:
- Shumica e prodhuesve ofrojnë një grup zgjidhjesh gjithëpërfshirëse, të cilat për ne janë të tepërta dhe kopjojnë funksionalitetin ekzistues. Plus, i shtrenjtë për sa i përket burimeve, integrimi në peizazhin aktual të IT.
- Funksionaliteti dhe ndërfaqja janë krijuar për teknologë, jo për përdoruesit fundorë të biznesit.
- Shkalla e ulët e mbijetesës së produkteve dhe mungesa e zbatimeve të suksesshme në tregun rus.
- Kosto e lartë e softuerit dhe mbështetje e mëtejshme.
Kriteret dhe rekomandimet e shprehura më lart në lidhje me zëvendësimin e importit të softuerit për kompanitë ruse na bindën të lëviznim drejt zhvillimit tonë në një pirg me burim të hapur. Platforma që zgjodhëm ishte Django, një kornizë falas dhe me burim të hapur, e shkruar në Python. Dhe kështu ne kemi identifikuar modulet kryesore që do të kontribuojnë në qëllimet e përmendura më lart:
- Regjistri i raporteve.
- Fjalorth i biznesit.
- Modul për përshkrimin e transformimeve teknike.
- Moduli për përshkrimin e ciklit jetësor të të dhënave nga burimi në mjetin BI.
- Moduli i kontrollit të cilësisë së të dhënave.
Regjistri i raporteve
Sipas rezultateve të studimeve të brendshme në kompanitë e mëdha, kur zgjidhin probleme të lidhura me të dhënat, punonjësit shpenzojnë 40-80% të kohës së tyre duke i kërkuar ato. Prandaj, ne i vendosëm vetes detyrën për të krijuar informacion të hapur për raportet ekzistuese që më parë ishin të disponueshme vetëm për klientët. Kështu, ne reduktojmë kohën për gjenerimin e raporteve të reja dhe sigurojmë demokratizimin e të dhënave.
Regjistri i raportimit është bërë një dritare e vetme raportimi për përdoruesit e brendshëm nga rajone, departamente dhe divizione të ndryshme. Ai konsolidon informacionin mbi shërbimet e informacionit të krijuara në disa depo të korporatave të kompanisë, dhe ka shumë prej tyre në Rostelecom.
Por regjistri nuk është vetëm një listë e thatë e raporteve të zhvilluara. Për çdo raport, ne ofrojmë informacionin e nevojshëm që përdoruesi të njihet me të:
- përshkrim i shkurtër i raportit;
- thellësia e disponueshmërisë së të dhënave;
- segmenti i klientit;
- mjet vizualizimi;
- emri i ruajtjes së korporatës;
- kërkesat funksionale të biznesit;
- lidhje me raportin;
- lidhje me aplikacionin për akses;
- statusi i zbatimit.
Analizat e nivelit të përdorimit janë të disponueshme për raporte dhe raportet renditen në krye të listës bazuar në analitikën e regjistrave bazuar në numrin e përdoruesve unikë. Dhe kjo nuk është ajo. Përveç karakteristikave të përgjithshme, ne kemi dhënë gjithashtu një përshkrim të detajuar të përbërjes së atributeve të raporteve me shembuj të vlerave dhe metodave të llogaritjes. Një detajim i tillë i jep menjëherë përdoruesit një përgjigje nëse raporti është i dobishëm për të apo jo.
Zhvillimi i kĂ«tij moduli ishte njĂ« hap i rĂ«ndĂ«sishĂ«m nĂ« demokratizimin e tĂ« dhĂ«nave dhe reduktoi ndjeshĂ«m kohĂ«n qĂ« duhet pĂ«r tĂ« gjetur informacionin e kĂ«rkuar. PĂ«rveç reduktimit tĂ« kohĂ«s sĂ« kĂ«rkimit, Ă«shtĂ« ulur edhe numri i kĂ«rkesave pĂ«r ekipin mbĂ«shtetĂ«s pĂ«r tĂ« ofruar konsultime. ĂshtĂ« e pamundur tĂ« mos vĂ«rehet njĂ« tjetĂ«r rezultat i dobishĂ«m qĂ« kemi arritur duke zhvilluar njĂ« regjistĂ«r tĂ« unifikuar raportesh - duke parandaluar zhvillimin e raporteve tĂ« dyfishta pĂ«r njĂ«si tĂ« ndryshme strukturore.
Fjalorth i biznesit
Të gjithë e dini se edhe brenda së njëjtës kompani, bizneset flasin gjuhë të ndryshme. Po, ata përdorin të njëjtat terma, por nënkuptojnë gjëra krejtësisht të ndryshme. Një fjalor biznesi është krijuar për të zgjidhur këtë problem.
Për ne, një fjalor biznesi nuk është thjesht një libër referimi me një përshkrim të termave dhe metodologjisë së llogaritjes. Ky është një mjedis i plotë për zhvillimin, miratimin dhe miratimin e terminologjisë, ndërtimin e marrëdhënieve midis termave dhe aseteve të tjera të informacionit të kompanisë. Përpara se të hyjë në fjalorin e biznesit, një term duhet të kalojë nëpër të gjitha fazat e miratimit me klientët e biznesit dhe qendrën e cilësisë së të dhënave. Vetëm pas kësaj ai bëhet i disponueshëm për përdorim.
Siç shkrova më lart, veçantia e këtij mjeti është se lejon lidhje nga niveli i një termi biznesi me raportet specifike të përdoruesve në të cilat përdoret, si dhe në nivelin e objekteve fizike të bazës së të dhënave.
Kjo është bërë e mundur nëpërmjet përdorimit të identifikuesve të termave të fjalorit në përshkrimin e detajuar të raporteve të regjistrit dhe përshkrimin e objekteve fizike të bazës së të dhënave.
Aktualisht, më shumë se 4000 terma janë përcaktuar dhe rënë dakord në Fjalor. Përdorimi i tij thjeshton dhe shpejton përpunimin e kërkesave hyrëse për ndryshime në sistemet e informacionit të kompanisë. Nëse treguesi i kërkuar është zbatuar tashmë në ndonjë raport, atëherë përdoruesi do të shohë menjëherë një grup raportesh të gatshme ku përdoret ky tregues dhe do të jetë në gjendje të vendosë për ripërdorimin efektiv të funksionalitetit ekzistues ose modifikimin minimal të tij, pa filluar kërkesa të reja për zhvillimin e një raporti të ri.
Modul për përshkrimin e transformimeve teknike dhe DataLineage
Cilat janë këto module, ju pyesni? Nuk mjafton thjesht zbatimi i Regjistrit dhe Fjalorit të Raporteve; është gjithashtu e nevojshme të bazohen të gjitha termat e biznesit në modelin fizik të bazës së të dhënave. Kështu, ne ishim në gjendje të përfundonim procesin e formimit të ciklit jetësor të të dhënave nga sistemet burimore deri në vizualizimin e BI përmes të gjitha shtresave të magazinës së të dhënave. Me fjalë të tjera, ndërtoni një DataLineage.
Ne zhvilluam një ndërfaqe të bazuar në formatin e përdorur më parë në kompani për të përshkruar rregullat dhe logjikën e transformimit të të dhënave. I njëjti informacion futet përmes ndërfaqes si më parë, por përcaktimi i termit identifikues nga fjalori i biznesit është bërë një parakusht. Kjo është mënyra se si ne ndërtojmë një lidhje midis biznesit dhe shtresave fizike.
Kush ka nevojĂ« pĂ«r tĂ«? ĂfarĂ« nuk shkonte me formatin e vjetĂ«r me tĂ« cilin keni punuar pĂ«r disa vite? Sa janĂ« rritur kostot e punĂ«s pĂ«r gjenerimin e kĂ«rkesave? Ne duhej tĂ« merreshim me pyetje tĂ« tilla gjatĂ« zbatimit tĂ« mjetit. PĂ«rgjigjet kĂ«tu janĂ« mjaft tĂ« thjeshta - ne tĂ« gjithĂ« kemi nevojĂ« pĂ«r kĂ«tĂ«, zyra e tĂ« dhĂ«nave tĂ« kompanisĂ« sonĂ« dhe pĂ«rdoruesit tanĂ«.
Në të vërtetë, punonjësit duhej të përshtateshin; në fillim, kjo çoi në një rritje të lehtë të kostove të punës për përgatitjen e dokumentacionit, por ne e zgjidhëm këtë çështje. Praktika, identifikimi dhe optimizimi i zonave problematike kanë bërë punën e tyre. Ne kemi arritur gjënë kryesore - kemi përmirësuar cilësinë e kërkesave të zhvilluara. Fushat e detyrueshme, librat e unifikuar të referencës, maskat e hyrjes, kontrollet e integruara - e gjithë kjo bëri të mundur përmirësimin e ndjeshëm të cilësisë së përshkrimeve të transformimit. Ne u larguam nga praktika e dorëzimit të skripteve si kërkesa zhvillimi dhe njohuritë e përbashkëta që ishin në dispozicion vetëm për ekipin e zhvillimit. Baza e të dhënave të gjeneruara të meta të dhënave redukton ndjeshëm kohën e nevojshme për kryerjen e analizës së regresionit dhe ofron mundësinë për të vlerësuar shpejt ndikimin e ndryshimeve në çdo shtresë të peizazhit të IT (raportet e ekspozitës, agregatët, burimet).
ĂfarĂ« lidhje ka kjo me pĂ«rdoruesit e zakonshĂ«m tĂ« raporteve, cilat janĂ« avantazhet pĂ«r ta? FalĂ« aftĂ«sisĂ« pĂ«r tĂ« ndĂ«rtuar DataLineage, pĂ«rdoruesit tanĂ«, edhe ata qĂ« janĂ« larg SQL dhe gjuhĂ«ve tĂ« tjera programuese, marrin shpejt informacione pĂ«r burimet dhe objektet mbi bazĂ«n e tĂ« cilave gjenerohet njĂ« raport i veçantĂ«.
Moduli i Kontrollit të Cilësisë së të Dhënave
Gjithçka për të cilën folëm më lart në drejtim të garantimit të transparencës së të dhënave nuk është e rëndësishme pa kuptuar që të dhënat që u japim përdoruesve janë të sakta. Një nga modulet e rëndësishme të konceptit tonë të qeverisjes së të dhënave është moduli i kontrollit të cilësisë së të dhënave.
Në fazën aktuale, ky është një katalog çeqesh për subjektet e përzgjedhura. Qëllimi i menjëhershëm për zhvillimin e produktit është zgjerimi i listës së kontrolleve dhe integrimi me regjistrin e raportimit.
ĂfarĂ« do t'i japĂ« dhe kujt? PĂ«rdoruesi pĂ«rfundimtar i regjistrit do tĂ« ketĂ« akses nĂ« informacione nĂ« lidhje me datat e planifikuara dhe aktuale tĂ« gatishmĂ«risĂ« sĂ« raportit, rezultatet e kontrolleve tĂ« pĂ«rfunduara me dinamikĂ«n dhe informacionin mbi burimet e ngarkuara nĂ« raport.
Për ne, moduli i cilësisë së të dhënave i integruar në proceset tona të punës është:
- Formimi i menjëhershëm i pritshmërive të klientëve.
- Marrja e vendimeve për përdorimin e mëtejshëm të të dhënave.
- Marrja e një grupi paraprak pikash problematike në fazat fillestare të punës për zhvillimin e kontrolleve të rregullta të cilësisë.
Sigurisht, këto janë hapat e parë në ndërtimin e një procesi të plotë të menaxhimit të të dhënave. Por ne kemi besim se vetëm duke e bërë me qëllim këtë punë, duke futur në mënyrë aktive mjetet e qeverisjes së të dhënave në procesin e punës, ne do t'u ofrojmë klientëve tanë përmbajtje informacioni, një nivel të lartë besimi në të dhënat, transparencë në marrjen e tyre dhe do të rrisim shpejtësinë e lançimit. funksionalitet të ri.
Ekipi i DataOffice
Burimi: www.habr.com
