Հե՜յ Հաբր։
Տվյալները ընկերության ամենաթանկ ակտիվն են: Գրեթե յուրաքանչյուր թվային ընկերություն պնդում է դա: Սրա հետ դժվար է վիճել. ՏՏ ոչ մի մեծ համաժողով չի անցկացվում առանց տվյալների կառավարման, պահպանման և մշակման մոտեցումների քննարկման:
Տվյալները մեզ գալիս են դրսից, դրանք ստեղծվում են նաև ընկերության ներսում, և եթե մենք խոսում ենք հեռահաղորդակցության ընկերության տվյալների մասին, ապա ներքին աշխատողների համար սա հաճախորդի, նրա հետաքրքրությունների, սովորությունների և գտնվելու վայրի մասին տեղեկատվության պահեստ է: Պատշաճ պրոֆիլավորման և սեգմենտավորման դեպքում գովազդային առաջարկներն ամենաարդյունավետն են: Այնուամենայնիվ, գործնականում ամեն ինչ այնքան էլ վարդագույն չէ։ Տվյալները, որոնք ընկերությունները պահում են, կարող են լինել անհույս հնացած, ավելորդ, կրկնվող կամ դրանց գոյությունն անհայտ է որևէ մեկին, բացառությամբ օգտատերերի նեղ շրջանակի: ¯_(ツ)_/¯
Մի խոսքով, տվյալները պետք է արդյունավետ կառավարվեն. միայն այդ դեպքում դրանք բիզնեսին իրական օգուտներ և շահույթ բերող ակտիվ կդառնան: Ցավոք սրտի, տվյալների կառավարման խնդիրների լուծումը պահանջում է բավականին բարդությունների հաղթահարում։ Դրանք հիմնականում պայմանավորված են ինչպես համակարգերի «կենդանաբանական այգիների» տեսքով պատմական ժառանգությամբ, այնպես էլ դրանց կառավարման միասնական գործընթացների ու մոտեցումների բացակայությամբ: Բայց ի՞նչ է նշանակում լինել «տվյալների վրա հիմնված»:
Սա հենց այն է, ինչի մասին մենք կխոսենք կտրվածքի տակ, ինչպես նաև այն մասին, թե ինչպես մեզ օգնեց opensource stack-ը:
Ռազմավարական տվյալների կառավարման Տվյալների կառավարում (DG) հայեցակարգն արդեն բավականին հայտնի է ռուսական շուկայում, և դրա իրականացման արդյունքում բիզնեսի ձեռք բերած նպատակները հստակ և հստակ հայտարարված են: Մեր ընկերությունը բացառություն չէր և իր առջեւ խնդիր էր դրել ներդնել տվյալների կառավարման հայեցակարգը։
Այսպիսով, որտեղի՞ց սկսեցինք: Սկզբից մենք մեզ համար ձևավորեցինք հիմնական նպատակներ.
- Մատչելի պահեք մեր տվյալները:
- Ապահովել տվյալների կյանքի ցիկլի թափանցիկությունը:
- Ընկերության օգտվողներին տրամադրել հետևողական, հետևողական տվյալներ:
- Ընկերության օգտվողներին տրամադրել ստուգված տվյալներ:
Այսօր ծրագրային ապահովման շուկայում կան Տվյալների կառավարման դասի տասնյակ գործիքներ:
Բայց լուծումների մանրամասն վերլուծությունից և ուսումնասիրությունից հետո մենք մեզ համար արձանագրեցինք մի շարք քննադատական մեկնաբանություններ.
- Արտադրողների մեծ մասն առաջարկում է լուծումների համապարփակ փաթեթ, որը մեզ համար ավելորդ է և կրկնօրինակում է առկա ֆունկցիոնալությունը: Գումարած, ռեսուրսների առումով թանկ, ինտեգրում ՏՏ ներկայիս լանդշաֆտին:
- Ֆունկցիոնալությունը և ինտերֆեյսը նախատեսված են տեխնոլոգների, այլ ոչ թե բիզնես վերջնական օգտագործողների համար:
- Ապրանքների գոյատևման ցածր մակարդակ և ռուսական շուկայում հաջող ներդրման բացակայություն:
- Ծրագրային ապահովման բարձր արժեքը և հետագա աջակցությունը:
Ռուսական ընկերությունների համար ծրագրային ապահովման ներմուծման փոխարինման վերաբերյալ վերը հնչեցված չափանիշներն ու առաջարկությունները համոզեցին մեզ շարժվել դեպի մեր սեփական զարգացումը բաց կոդով փաթեթով: Մեր ընտրած հարթակը Django-ն էր՝ Python-ով գրված անվճար և բաց կոդով շրջանակ: Այսպիսով, մենք հայտնաբերել ենք հիմնական մոդուլներ, որոնք կնպաստեն վերը նշված նպատակներին.
- Հաշվետվությունների գրանցամատյան.
- Բիզնեսի բառարան.
- Տեխնիկական վերափոխումների նկարագրության մոդուլ.
- Տվյալների կյանքի ցիկլը աղբյուրից մինչև BI գործիք նկարագրող մոդուլ:
- Տվյալների որակի վերահսկման մոդուլ:
Հաշվետվությունների գրանցամատյան
Խոշոր ընկերություններում ներքին ուսումնասիրությունների արդյունքների համաձայն՝ տվյալների հետ կապված խնդիրներ լուծելիս աշխատակիցներն իրենց ժամանակի 40-80%-ը ծախսում են դրանք փնտրելու համար։ Ուստի մենք մեր առջեւ խնդիր ենք դրել բաց տեղեկատվություն տրամադրել առկա հաշվետվությունների մասին, որոնք նախկինում հասանելի էին միայն հաճախորդներին: Այսպիսով, մենք կրճատում ենք նոր հաշվետվությունների ստեղծման ժամանակը և ապահովում տվյալների ժողովրդավարացումը:
Հաշվետվությունների ռեգիստրը դարձել է մեկ հաշվետվության պատուհան տարբեր տարածաշրջանների, գերատեսչությունների և ստորաբաժանումների ներքին օգտագործողների համար: Այն համախմբում է ընկերության մի քանի կորպորատիվ պահոցներում ստեղծված տեղեկատվական ծառայությունների մասին տեղեկատվությունը, և դրանցից շատերը կան Ռոստելեկոմում:
Բայց ռեեստրը պարզապես մշակված հաշվետվությունների չոր ցուցակ չէ: Յուրաքանչյուր զեկույցի համար մենք տրամադրում ենք այն տեղեկատվությունը, որն անհրաժեշտ է օգտատերին՝ դրան ծանոթանալու համար.
- հաշվետվության համառոտ նկարագրությունը;
- տվյալների հասանելիության խորությունը;
- հաճախորդների հատված;
- արտացոլման գործիք;
- կորպորատիվ պահեստի անվանումը.
- բիզնեսի ֆունկցիոնալ պահանջներ;
- հղում զեկույցին;
- հղում մուտք գործելու համար;
- իրականացման կարգավիճակը:
Օգտագործման մակարդակի վերլուծությունը հասանելի է հաշվետվությունների համար, և հաշվետվությունները դասակարգվում են ցուցակի վերևում՝ հիմնված մատյանների վերլուծության վրա՝ հիմնված եզակի օգտվողների թվի վրա: Եվ դա այն չէ: Բացի ընդհանուր բնութագրերից, մենք տրամադրել ենք նաև հաշվետվությունների հատկանիշի կազմի մանրամասն նկարագրություն՝ արժեքների և հաշվարկման մեթոդների օրինակներով: Նման մանրամասնելը օգտատիրոջն անմիջապես տալիս է պատասխան՝ արդյոք զեկույցն իր համար օգտակար է, թե ոչ։
Այս մոդուլի մշակումը կարևոր քայլ էր տվյալների ժողովրդավարացման գործում և զգալիորեն կրճատեց պահանջվող տեղեկատվությունը գտնելու համար պահանջվող ժամանակը: Բացի որոնման ժամանակը կրճատելուց, նվազել է նաև աջակցող թիմին խորհրդատվություն տրամադրելու հարցումների թիվը: Անհնար է չնկատել ևս մեկ օգտակար արդյունք, որին մենք հասանք հաշվետվությունների միասնական ռեգիստր մշակելով՝ կանխելով տարբեր կառուցվածքային ստորաբաժանումների համար կրկնօրինակ հաշվետվությունների մշակումը:
Բիզնեսի բառարան
Բոլորդ գիտեք, որ նույնիսկ միևնույն ընկերությունում բիզնեսները խոսում են տարբեր լեզուներով: Այո, նրանք օգտագործում են նույն տերմինները, բայց բոլորովին այլ բաներ են նշանակում։ Այս խնդիրը լուծելու համար ստեղծված է բիզնես բառարան:
Մեզ համար բիզնեսի բառարանը պարզապես տեղեկատու գիրք չէ՝ տերմինների նկարագրությամբ և հաշվարկման մեթոդաբանությամբ: Սա լիարժեք միջավայր է տերմինաբանության մշակման, համաձայնեցման և հաստատման, պայմանների և ընկերության այլ տեղեկատվական ակտիվների միջև հարաբերություններ կառուցելու համար: Նախքան բիզնեսի բառարան մուտք գործելը, տերմինը պետք է անցնի բիզնես հաճախորդների և տվյալների որակի կենտրոնի հաստատման բոլոր փուլերը: Միայն դրանից հետո է այն հասանելի դառնում օգտագործման համար:
Ինչպես վերևում գրեցի, այս գործիքի յուրահատկությունն այն է, որ այն թույլ է տալիս միացնել բիզնես տերմինի մակարդակից մինչև կոնկրետ օգտվողների հաշվետվությունները, որոնցում այն օգտագործվում է, ինչպես նաև ֆիզիկական տվյալների բազայի օբյեկտների մակարդակին:
Դա հնարավոր է դարձել ռեեստրի հաշվետվությունների մանրամասն նկարագրության և ֆիզիկական տվյալների բազայի օբյեկտների նկարագրության մեջ տերմինների իդենտիֆիկատորների օգտագործման միջոցով:
Ներկայումս բառարանում սահմանվել և համաձայնեցված են ավելի քան 4000 տերմիններ: Դրա օգտագործումը հեշտացնում և արագացնում է ընկերության տեղեկատվական համակարգերում փոփոխությունների վերաբերյալ մուտքային հարցումների մշակումը: Եթե պահանջվող ցուցանիշն արդեն ներդրված է որևէ զեկույցում, ապա օգտվողը անմիջապես կտեսնի պատրաստի հաշվետվությունների մի շարք, որտեղ օգտագործվում է այս ցուցանիշը և կկարողանա որոշել գոյություն ունեցող ֆունկցիոնալության արդյունավետ վերօգտագործման կամ դրա նվազագույն փոփոխության մասին՝ առանց նախաձեռնելու: նոր զեկույցի մշակման նոր հարցումներ։
Տեխնիկական փոխակերպումների և DataLineage-ի նկարագրության մոդուլ
Որո՞նք են այս մոդուլները, դուք հարցնում եք: Բավական չէ պարզապես իրականացնել Հաշվետվությունների ռեգիստրը և բառարանը, անհրաժեշտ է նաև հիմնավորել բոլոր բիզնես տերմինները տվյալների բազայի ֆիզիկական մոդելի վրա: Այսպիսով, մենք կարողացանք ավարտել տվյալների կյանքի ցիկլի ձևավորման գործընթացը՝ սկզբնաղբյուր համակարգերից մինչև BI վիզուալիզացիա տվյալների պահեստի բոլոր շերտերի միջոցով: Այլ կերպ ասած, կառուցեք DataLineage:
Մենք մշակել ենք ինտերֆեյս՝ հիմնված նախկինում ընկերությունում օգտագործված ձևաչափի վրա՝ նկարագրելու տվյալների փոխակերպման կանոններն ու տրամաբանությունը: Ինտերֆեյսի միջոցով մուտքագրվում է նույն տեղեկատվությունը, ինչ նախկինում, սակայն բիզնես բառարանից տերմինի նույնացուցիչի սահմանումը դարձել է նախապայման: Այսպես մենք կապ ենք ստեղծում բիզնեսի և ֆիզիկական շերտերի միջև:
Ո՞ւմ է դա պետք: Ի՞նչն էր սխալ հին ձևաչափի հետ, որի հետ մի քանի տարի աշխատել էիք։ Որքա՞ն են ավելացել աշխատանքային ծախսերը պահանջներ առաջացնելու համար: Գործիքի ներդրման ժամանակ մենք ստիպված էինք զբաղվել նման հարցերով։ Այստեղ պատասխանները բավականին պարզ են. մենք բոլորս դրա կարիքն ունենք, մեր ընկերության տվյալների գրասենյակը և մեր օգտվողները:
Իրոք, աշխատակիցները ստիպված էին հարմարվել, սկզբում դա հանգեցրեց փաստաթղթերի պատրաստման աշխատուժի մի փոքր ավելացման, բայց մենք լուծեցինք այս հարցը: Պրակտիկան, խնդրահարույց տարածքների բացահայտումն ու օպտիմալացումը կատարել են իրենց գործը: Մենք հասել ենք գլխավորին` բարելավել ենք մշակված պահանջների որակը։ Պարտադիր դաշտեր, միասնական տեղեկատու գրքեր, մուտքագրման դիմակներ, ներկառուցված ստուգումներ - այս ամենը հնարավորություն տվեց զգալիորեն բարելավել փոխակերպման նկարագրությունների որակը: Մենք հեռացանք սկրիպտները որպես մշակման պահանջներ հանձնելու պրակտիկայից և կիսվեցինք գիտելիքներով, որոնք հասանելի էին միայն մշակողների թիմին: Ստեղծված մետատվյալների բազան զգալիորեն նվազեցնում է ռեգրեսիոն վերլուծություն կատարելու համար պահանջվող ժամանակը և հնարավորություն է տալիս արագ գնահատել փոփոխությունների ազդեցությունը ՏՏ լանդշաֆտի ցանկացած շերտի վրա (ցուցադրական հաշվետվություններ, ագրեգատներ, աղբյուրներ):
Սա ի՞նչ կապ ունի հաշվետվությունների սովորական օգտագործողների հետ, ի՞նչ առավելություններ ունի նրանց համար։ DataLineage-ի ստեղծման ունակության շնորհիվ մեր օգտվողները, նույնիսկ նրանք, ովքեր հեռու են SQL-ից և ծրագրավորման այլ լեզուներից, արագորեն տեղեկատվություն են ստանում աղբյուրների և օբյեկտների մասին, որոնց հիման վրա ստեղծվում է որոշակի հաշվետվություն:
Տվյալների որակի վերահսկման մոդուլ
Այն ամենը, ինչի մասին մենք խոսեցինք վերևում՝ տվյալների թափանցիկության ապահովման առումով, կարևոր չէ՝ առանց հասկանալու, որ այն տվյալները, որոնք մենք տալիս ենք օգտատերերին, ճիշտ են: Տվյալների կառավարման մեր հայեցակարգի կարևոր մոդուլներից մեկը տվյալների որակի վերահսկման մոդուլն է:
Ներկա փուլում սա ստուգումների կատալոգ է ընտրված սուբյեկտների համար: Արտադրանքի մշակման անմիջական նպատակն է ընդլայնել ստուգումների ցանկը և ինտեգրվել հաշվետվական ռեգիստրին:
Ի՞նչ կտա այն և ո՞ւմ։ Ռեեստրի վերջնական օգտագործողին հասանելի կլինի հաշվետվությունների պատրաստության պլանավորված և փաստացի ամսաթվերի, դինամիկայով ավարտված ստուգումների արդյունքների և հաշվետվության մեջ բեռնված աղբյուրների մասին տեղեկատվություն:
Մեզ համար տվյալների որակի մոդուլը, որը ինտեգրված է մեր աշխատանքային գործընթացներին, հետևյալն է.
- Հաճախորդի ակնկալիքների արագ ձևավորում:
- Տվյալների հետագա օգտագործման վերաբերյալ որոշումներ կայացնելը:
- Աշխատանքի սկզբնական փուլերում խնդրահարույց կետերի նախնական հավաքածուի ձեռքբերում՝ կանոնավոր որակի հսկողության մշակման համար:
Իհարկե, սրանք առաջին քայլերն են տվյալների կառավարման լիարժեք գործընթաց կառուցելու համար: Բայց մենք վստահ ենք, որ միայն նպատակաուղղված կատարելով այս աշխատանքը, ակտիվորեն ներդնելով Տվյալների կառավարման գործիքները աշխատանքային գործընթացում, մենք մեր հաճախորդներին կտրամադրենք տեղեկատվական բովանդակություն, տվյալների նկատմամբ վստահության բարձր մակարդակ, դրանց ստացման թափանցիկություն և կմեծացնենք գործարկման արագությունը: նոր ֆունկցիոնալություն:
DataOffice թիմ
Source: www.habr.com