Hej Habr!
Të dhënat janë pasuria më e vlefshme e një kompanie. Pothuajse çdo kompani me fokus dixhital e deklaron këtë. Është e vështirë të argumentohet me këtë: asnjë konferencë e vetme e madhe e IT nuk mbahet pa diskutuar qasjet për menaxhimin, ruajtjen dhe përpunimin e të dhënave.
Të dhënat na vijnë nga jashtë, ato gjenerohen edhe brenda kompanisë, dhe nëse flasim për të dhëna nga një kompani telekomunikacioni, atëherë për punonjësit e brendshëm kjo është një depo informacioni për klientin, interesat, zakonet dhe vendndodhjen e tij. Me profilizimin dhe segmentimin e duhur, ofertat e reklamave janë më efektive. Sidoqoftë, në praktikë, jo gjithçka është aq rozë. Të dhënat që kompanitë ruajnë mund të jenë pashpresë të vjetruara, të tepërta, të përsëritura ose ekzistenca e tyre është e panjohur për këdo, përveç një rrethi të ngushtë përdoruesish. ¯_(ツ)_/¯
Me një fjalë, të dhënat duhet të menaxhohen në mënyrë efektive - vetëm atëherë ato do të bëhen një aset që sjell përfitime dhe fitime reale për biznesin. Fatkeqësisht, zgjidhja e çështjeve të menaxhimit të të dhënave kërkon tejkalimin e shumë kompleksiteteve. Ato janë kryesisht për shkak të trashëgimisë historike në formën e "kopshteve zoologjike" të sistemeve dhe mungesës së proceseve dhe qasjeve të unifikuara për menaxhimin e tyre. Por çfarë do të thotë të jesh “i drejtuar nga të dhënat”?
Kjo është pikërisht ajo për të cilën do të flasim nën prerje, si dhe se si na ndihmoi pirgu i burimit të hapur.
Koncepti i menaxhimit strategjik të të dhënave të qeverisjes së të dhënave (DG) është tashmë mjaft i njohur në tregun rus, dhe qëllimet e arritura nga biznesi si rezultat i zbatimit të tij janë të qarta dhe të deklaruara qartë. Kompania jonë nuk ishte përjashtim dhe i vuri vetes detyrën e prezantimit të konceptit të menaxhimit të të dhënave.
Pra, ku filluam? Për të filluar, ne formuam qëllimet kryesore për veten tonë:
- Mbajini të dhënat tona të arritshme.
- Sigurimi i transparencës së ciklit jetësor të të dhënave.
- Ofroni përdoruesve të kompanisë të dhëna të qëndrueshme dhe të qëndrueshme.
- Jepni përdoruesve të kompanisë të dhëna të verifikuara.
Sot, ka një duzinë mjetesh të klasës së qeverisjes së të dhënave në tregun e softuerit.
Por pas një analize dhe studimi të hollësishëm të zgjidhjeve, ne regjistruam një numër komentesh kritike për veten tonë:
- Shumica e prodhuesve ofrojnë një grup zgjidhjesh gjithëpërfshirëse, të cilat për ne janë të tepërta dhe kopjojnë funksionalitetin ekzistues. Plus, i shtrenjtë për sa i përket burimeve, integrimi në peizazhin aktual të IT.
- Funksionaliteti dhe ndërfaqja janë krijuar për teknologë, jo për përdoruesit fundorë të biznesit.
- Shkalla e ulët e mbijetesës së produkteve dhe mungesa e zbatimeve të suksesshme në tregun rus.
- Kosto e lartë e softuerit dhe mbështetje e mëtejshme.
Kriteret dhe rekomandimet e shprehura më lart në lidhje me zëvendësimin e importit të softuerit për kompanitë ruse na bindën të lëviznim drejt zhvillimit tonë në një pirg me burim të hapur. Platforma që zgjodhëm ishte Django, një kornizë falas dhe me burim të hapur, e shkruar në Python. Dhe kështu ne kemi identifikuar modulet kryesore që do të kontribuojnë në qëllimet e përmendura më lart:
- Regjistri i raporteve.
- Fjalorth i biznesit.
- Modul për përshkrimin e transformimeve teknike.
- Moduli për përshkrimin e ciklit jetësor të të dhënave nga burimi në mjetin BI.
- Moduli i kontrollit të cilësisë së të dhënave.
Regjistri i raporteve
Sipas rezultateve të studimeve të brendshme në kompanitë e mëdha, kur zgjidhin probleme të lidhura me të dhënat, punonjësit shpenzojnë 40-80% të kohës së tyre duke i kërkuar ato. Prandaj, ne i vendosëm vetes detyrën për të krijuar informacion të hapur për raportet ekzistuese që më parë ishin të disponueshme vetëm për klientët. Kështu, ne reduktojmë kohën për gjenerimin e raporteve të reja dhe sigurojmë demokratizimin e të dhënave.
Regjistri i raportimit është bërë një dritare e vetme raportimi për përdoruesit e brendshëm nga rajone, departamente dhe divizione të ndryshme. Ai konsolidon informacionin mbi shërbimet e informacionit të krijuara në disa depo të korporatave të kompanisë, dhe ka shumë prej tyre në Rostelecom.
Por regjistri nuk është vetëm një listë e thatë e raporteve të zhvilluara. Për çdo raport, ne ofrojmë informacionin e nevojshëm që përdoruesi të njihet me të:
- përshkrim i shkurtër i raportit;
- thellësia e disponueshmërisë së të dhënave;
- segmenti i klientit;
- mjet vizualizimi;
- emri i ruajtjes së korporatës;
- kërkesat funksionale të biznesit;
- lidhje me raportin;
- lidhje me aplikacionin për akses;
- statusi i zbatimit.
Analizat e nivelit të përdorimit janë të disponueshme për raporte dhe raportet renditen në krye të listës bazuar në analitikën e regjistrave bazuar në numrin e përdoruesve unikë. Dhe kjo nuk është ajo. Përveç karakteristikave të përgjithshme, ne kemi dhënë gjithashtu një përshkrim të detajuar të përbërjes së atributeve të raporteve me shembuj të vlerave dhe metodave të llogaritjes. Një detajim i tillë i jep menjëherë përdoruesit një përgjigje nëse raporti është i dobishëm për të apo jo.
Zhvillimi i këtij moduli ishte një hap i rëndësishëm në demokratizimin e të dhënave dhe reduktoi ndjeshëm kohën që duhet për të gjetur informacionin e kërkuar. Përveç reduktimit të kohës së kërkimit, është ulur edhe numri i kërkesave për ekipin mbështetës për të ofruar konsultime. Është e pamundur të mos vërehet një tjetër rezultat i dobishëm që kemi arritur duke zhvilluar një regjistër të unifikuar raportesh - duke parandaluar zhvillimin e raporteve të dyfishta për njësi të ndryshme strukturore.
Fjalorth i biznesit
Të gjithë e dini se edhe brenda së njëjtës kompani, bizneset flasin gjuhë të ndryshme. Po, ata përdorin të njëjtat terma, por nënkuptojnë gjëra krejtësisht të ndryshme. Një fjalor biznesi është krijuar për të zgjidhur këtë problem.
Për ne, një fjalor biznesi nuk është thjesht një libër referimi me një përshkrim të termave dhe metodologjisë së llogaritjes. Ky është një mjedis i plotë për zhvillimin, miratimin dhe miratimin e terminologjisë, ndërtimin e marrëdhënieve midis termave dhe aseteve të tjera të informacionit të kompanisë. Përpara se të hyjë në fjalorin e biznesit, një term duhet të kalojë nëpër të gjitha fazat e miratimit me klientët e biznesit dhe qendrën e cilësisë së të dhënave. Vetëm pas kësaj ai bëhet i disponueshëm për përdorim.
Siç shkrova më lart, veçantia e këtij mjeti është se lejon lidhje nga niveli i një termi biznesi me raportet specifike të përdoruesve në të cilat përdoret, si dhe në nivelin e objekteve fizike të bazës së të dhënave.
Kjo është bërë e mundur nëpërmjet përdorimit të identifikuesve të termave të fjalorit në përshkrimin e detajuar të raporteve të regjistrit dhe përshkrimin e objekteve fizike të bazës së të dhënave.
Aktualisht, më shumë se 4000 terma janë përcaktuar dhe rënë dakord në Fjalor. Përdorimi i tij thjeshton dhe shpejton përpunimin e kërkesave hyrëse për ndryshime në sistemet e informacionit të kompanisë. Nëse treguesi i kërkuar është zbatuar tashmë në ndonjë raport, atëherë përdoruesi do të shohë menjëherë një grup raportesh të gatshme ku përdoret ky tregues dhe do të jetë në gjendje të vendosë për ripërdorimin efektiv të funksionalitetit ekzistues ose modifikimin minimal të tij, pa filluar kërkesa të reja për zhvillimin e një raporti të ri.
Modul për përshkrimin e transformimeve teknike dhe DataLineage
Cilat janë këto module, ju pyesni? Nuk mjafton thjesht zbatimi i Regjistrit dhe Fjalorit të Raporteve; është gjithashtu e nevojshme të bazohen të gjitha termat e biznesit në modelin fizik të bazës së të dhënave. Kështu, ne ishim në gjendje të përfundonim procesin e formimit të ciklit jetësor të të dhënave nga sistemet burimore deri në vizualizimin e BI përmes të gjitha shtresave të magazinës së të dhënave. Me fjalë të tjera, ndërtoni një DataLineage.
Ne zhvilluam një ndërfaqe të bazuar në formatin e përdorur më parë në kompani për të përshkruar rregullat dhe logjikën e transformimit të të dhënave. I njëjti informacion futet përmes ndërfaqes si më parë, por përcaktimi i termit identifikues nga fjalori i biznesit është bërë një parakusht. Kjo është mënyra se si ne ndërtojmë një lidhje midis biznesit dhe shtresave fizike.
Kush ka nevojë për të? Çfarë nuk shkonte me formatin e vjetër me të cilin keni punuar për disa vite? Sa janë rritur kostot e punës për gjenerimin e kërkesave? Ne duhej të merreshim me pyetje të tilla gjatë zbatimit të mjetit. Përgjigjet këtu janë mjaft të thjeshta - ne të gjithë kemi nevojë për këtë, zyra e të dhënave të kompanisë sonë dhe përdoruesit tanë.
Në të vërtetë, punonjësit duhej të përshtateshin; në fillim, kjo çoi në një rritje të lehtë të kostove të punës për përgatitjen e dokumentacionit, por ne e zgjidhëm këtë çështje. Praktika, identifikimi dhe optimizimi i zonave problematike kanë bërë punën e tyre. Ne kemi arritur gjënë kryesore - kemi përmirësuar cilësinë e kërkesave të zhvilluara. Fushat e detyrueshme, librat e unifikuar të referencës, maskat e hyrjes, kontrollet e integruara - e gjithë kjo bëri të mundur përmirësimin e ndjeshëm të cilësisë së përshkrimeve të transformimit. Ne u larguam nga praktika e dorëzimit të skripteve si kërkesa zhvillimi dhe njohuritë e përbashkëta që ishin në dispozicion vetëm për ekipin e zhvillimit. Baza e të dhënave të gjeneruara të meta të dhënave redukton ndjeshëm kohën e nevojshme për kryerjen e analizës së regresionit dhe ofron mundësinë për të vlerësuar shpejt ndikimin e ndryshimeve në çdo shtresë të peizazhit të IT (raportet e ekspozitës, agregatët, burimet).
Çfarë lidhje ka kjo me përdoruesit e zakonshëm të raporteve, cilat janë avantazhet për ta? Falë aftësisë për të ndërtuar DataLineage, përdoruesit tanë, edhe ata që janë larg SQL dhe gjuhëve të tjera programuese, marrin shpejt informacione për burimet dhe objektet mbi bazën e të cilave gjenerohet një raport i veçantë.
Moduli i Kontrollit të Cilësisë së të Dhënave
Gjithçka për të cilën folëm më lart në drejtim të garantimit të transparencës së të dhënave nuk është e rëndësishme pa kuptuar që të dhënat që u japim përdoruesve janë të sakta. Një nga modulet e rëndësishme të konceptit tonë të qeverisjes së të dhënave është moduli i kontrollit të cilësisë së të dhënave.
Në fazën aktuale, ky është një katalog çeqesh për subjektet e përzgjedhura. Qëllimi i menjëhershëm për zhvillimin e produktit është zgjerimi i listës së kontrolleve dhe integrimi me regjistrin e raportimit.
Çfarë do t'i japë dhe kujt? Përdoruesi përfundimtar i regjistrit do të ketë akses në informacione në lidhje me datat e planifikuara dhe aktuale të gatishmërisë së raportit, rezultatet e kontrolleve të përfunduara me dinamikën dhe informacionin mbi burimet e ngarkuara në raport.
Për ne, moduli i cilësisë së të dhënave i integruar në proceset tona të punës është:
- Formimi i menjëhershëm i pritshmërive të klientëve.
- Marrja e vendimeve për përdorimin e mëtejshëm të të dhënave.
- Marrja e një grupi paraprak pikash problematike në fazat fillestare të punës për zhvillimin e kontrolleve të rregullta të cilësisë.
Sigurisht, këto janë hapat e parë në ndërtimin e një procesi të plotë të menaxhimit të të dhënave. Por ne kemi besim se vetëm duke e bërë me qëllim këtë punë, duke futur në mënyrë aktive mjetet e qeverisjes së të dhënave në procesin e punës, ne do t'u ofrojmë klientëve tanë përmbajtje informacioni, një nivel të lartë besimi në të dhënat, transparencë në marrjen e tyre dhe do të rrisim shpejtësinë e lançimit. funksionalitet të ri.
Ekipi i DataOffice
Burimi: www.habr.com