Բարև, Хабр!
Տվյալները ընկերության ամենաարժեքավոր ակտիվն են։ Այս մասին հայտարարում է գրեթե յուրաքանչյուր թվային ուղղվածության ընկերություն։ Սա վիճարկելի չէ. տվյալների կառավարումը, պահպանումը և մշակումն այժմ որևէ մեծ IT-հանդիսությունում առանց քննարկման չի անցնում։
Տվյալները մեզ_external_ աղբյուրներից են գալիս, դրանք ձևավորվում են նաև ընկերությունում, իսկ եթե խոսենք հեռահաղորդակցության ընկերության տվյալների մասին, ապա դա ներքին աշխատակիցների համար տեղեկատվության հարպային աղբյուր է հաճախորդի, նրա հետաքրքրությունների, սովորությունների և տեղակայման վերաբերյալ։ Արդյունավետ պրոֆիլավորում և սեգմենտացիայի դեպքում գովազդային առաջարկները առավել արդյունավետ են։ Այնուամենայնիվ, գործնականում ամեն ինչ այնքան էլ վառ չէ։ Այն տվյալները, որոնք ընկերությունները պահում են, կարող են լինել հուսահատաբար հնացած, ավելորդ, կրկնվող կամ նրանց մասին ոչ ոք չգիտի, բացառությամբ узкого круга пользователей։ ¯_(ツ)_/¯
Մի խոսքով, տվյալները պետք է արդյունավետ կառավարել՝ միայն այդ դեպքում նրանք կդառնան ակտիվ, որ պետք է իրական օգուտ և շահույթ բերի բիզնեսին։ Ցավոք, տվյալների կառավարման հարցերին լուծման համար պետք է հաղթահարել բավական շատ դժվարություններ։ Դրանք հիմնականում պայմանավորված են ինչպես պատմական ժառանգությամբ՝ «զոոպարկեր» համակարգերի տեսքով, այնպես էլ միասնական գործընթացների և մոտեցումների բացակայությամբ։ Բայց ինչու է նշանակում «տվյալները կառավարման»?
Այ именно об этом мы и поговорим под катом, а также о том, как нам помог opensource-стек.
Стратегическое управление данными Data Governance (DG) уже достаточно известно на рынке, и цели, достигаемые бизнесом в результате её внедрения, понятны и чётко декларированы. Наша компания также поставила перед собой задачу внедрения концепции управления данными.
Իհարկե, որից մենք սկսեցինք։ Նախ մենք ձևակերպեցինք մեզ համար հիմնական նպատակները՝
- Հաճախորդների մուտքը մեր տվյալներին ապահովելը։
- Տվյալների կյանքի ցիկլի թափանցիկությունը ապահովելը։
- Ընկերվեաներիս միջոցով համաձայնեցված հակասական տվյալներ տալը։
- Ընկերվեաներիս տրամադրել վստահելի տվյալներ։
Այսօրվա օրվա վրա ծրագրային ապահովման շուկայում ներկայացված է մի քանի Data Governance դասի գործիքներ։
Բայց մանրամասն վերլուծությանը և լուծումների ուսումնասիրության արդյունքում մենք ամրագրեցինք մեզ համար մի շարք критичных заметок։
- Մեր թվում է, որ մեծ մասի արտադրողները առաջարկում են համալիր լուծումների հավաքածու, որը մեզ համար ավելորդ է և կրկնօրինակում է արդեն գոյություն ունեցող funcionality։ Ավելին, дорого с точки зрения ресурсов интеграция в текущий ИТ-ландшафт։
- Ֆունկցիոնալությունը և ինտերֆեյսը նախատեսված են տեխնոլոգների համար, այլ ոչ թե վերջնական բիզնես-օգտագործողների։
- Ցածր տոկոսայնությունը համակարգերի և հաջողակ ինտեգրումների բացակայությունը ռուսական շուկայում։
- Բարձր գինը ծրագրային ապահովման և նրա հետագա ապահովման։
Ավելի վաղ նշված չափանիշները և առաջարկությունները ՌԴ ընկերությունների կողմից ծրագրային ապահովման ներմուծման փոխարինման կարգի մասին անուշադրության չմնալու ուղղությամբ մեզ համոզեցին անցնել մեր սեփական զարգացմանը opensource-քայլակազմում: Ինչպես պլատֆորմ, ընտրվել է Django՝ անվճար և ազատ ֆռեյմվորք, որը գրած է Python լեզվով: Արդյունքում մենք առանձնացրել ենք այն հիմնական մոդուլները, որոնք կօգնեն նշված նպատակներին:
- Հաշվետվությունների ռեեստր:
- Բիզնեսի բառարան:
- Տեխնիկական տարրափոխումների նկարագրության մոդուլ:
- Նրանցից մինչև BI գործիքները տվյալների կյանքը նկարագրելու մոդուլ:
- Տվյալների որակի վերահսկման մոդուլ:
Հաշվետվությունների ռեեստր
Նշված հետազոտությունների արդյունքների համաձայն, խոշոր ընկերություններում տվյալների հետ կապված խնդիրները լուծելու համար աշխատակիցները ծախսում են 40—80% իրենց ժամանակից տվյալների որոնման վրա: Հետևաբար, մենք նպատակ ենք դրել բացել արդեն գոյություն ունեցող հաշվետվությունների մասին տեղեկությունը, որոնք նախկինում հասանելի էին միայն պատվիրատուներին: Այսպես, մենք կրճատում ենք նոր հաշվետվությունների ձևավորման ժամանակը և ապահովում տվյալների ժողովրդավարացումը:
Հաշվետվությունների ռեեստրն դարձել է հաշվետվությունների միասնական պատուհան տարբեր տարածաշրջաններից, բաժիններից, ստորաբաժանումներից ներքին օգտագործողների համար: Այդտեղ համակցված են ինֆոսերվիսների մասին տեղեկությունները, որոնք ստեղծվել են ընկերության մի քանի կորպորատիվ պահեստներում, որոնց էլ Ռոստելեկոմում տասնյակ են:
Բայց ռեեստրն ինքնըստինքյան պարզապես պատրաստված հաշվետվությունների չոր ցուցակ չէ: Յուրաքանչյուր հաշվետվության համար մենք տրամադրում ենք օգտատիրոջը ինքնուրույն ծանոթանալու համար անհրաժեշտ տեղեկությունները:
- հաշվետվության կարճ նկարագրություն;
- տվյալների հասանելիության խորությունը;
- պատվիրատուի խումբ;
- եզրակացության գործիք;
- կորպորատիվ պահեստի անունը;
- բիզնես-ֆունկցիոնալ պահանջներ;
- հաշվետվության հղում;
- մուտքի դիմումի հղում;
- իրագործման կարգավիճակը:
Հաշվետվությունների վերաբերյալ մատչելի է օգտագործման մակարդակի վերլուծություն, և հաշվետվությունները մտնում են ցուցակի տպավորված ցուցակի գագաթին՝ հիմնված եզրակացու լոգերի վերլուծության վրա։ Եվ սա դեռ ամենը չէ: Ընդհանուր հատկանիշների բացի, մենք նախատեսել ենք նաև հաշվետվությունների ատրիբուտների կազմերի մանրամասն նկարագրություն, օրինակների արժեքներով և հաշվարկման մեթոդաբանությամբ: Նման մանրամասնում արդեն անմիջապես տալիս է օգտատիրոջ պատասխանը, արդյո՞ք հաշվետվությունը օգտակար է նրա համար, թե՞ ոչ.
Այս մոդուլի մշակումը կարևոր քայլ եղավ տվյալների ժողովրդավարացման հարցում և զգալիորեն կրճատեց պահանջվող տեղեկության որոնման ժամանակը: Որոնման ժամանակի կրճատման այլ հարցերից, նվազել է նաև աջակցության թիմի միջնորդությունների թիվը խորհրդատվություններ տրամադրելու համար: Չի կարելի չնշել ևս մեկ օգտակար արդյունք, որը մենք ստացել ենք հաշվետվությունների միասնական ռեեստրի մշակման արդյունքում՝ տարբեր կառուցվածքային միավորների համար կրկնվող հաշվետվությունների մշակումը կանխելը:
Բիզնեսի բառարան
Այս բոլորը դուք գիտեք, որ նույնիսկ մեկ ընկերության շրջանակներում բիզնեսը խոսում է տարբեր լեզուներով: Այո, utilizan одни и те же термины, но понимают под ними совершенно разные вещи. Այս խնդիրը լուծելու համար նախատեսված է բիզնես-գլոսարյան:
Մեր համար բիզնես-գլոսարը պարզապես ռեֆերենս է տերմինների և մեթոդաբանության նկարագրություններով: Սա ամբողջական զարգացման, համաձայնեցման և հաստատման միջավայր է, որտեղ տերմինների փոխկապակցումը իրականացվում է այլ տեղեկատվական ակտիվների հետ: Ցանկացած տերմին, նախքան բիզնես-գլոսարում տեղ գտնելը, պետք է անցնի համաձայնեցման բոլոր փուլերը բիզնես պատվիրատուների և տվյալների որակի կենտրոնի հետ: Միայն այդ դեպքում նա կդառնար հասանելի օգտագործման համար.
Ինչպես արդեն նշեցի, այս գործիքի իրեց uniqueness-ը կայանում է նրանում, որ այն թույլ է տալիս կապեր ստեղծել բիզնես-տերմինի մակարդակից մինչև կոնկրետ օգտվողի հաշվետվություններ, որտեղ այն օգտագործվում է, ինչպես նաև տվյալների ֆիզիկական օբյեկտների մակարդակով:
Սա հնարավոր դարձավ glossary տերմինների նույնացուցիչների օգտագործման միջոցով հաշվետվությունների մանրամասն նկարագրության և տվյալների ֆիզիկական օբյեկտների նկարագրության մեջ:
Այս պահին Գլոսարում արդեն 4000-ից ավել տերմիններ սահմանված և համաձայնեցված են: Այն օգտագործումը պարզեցնում և արագացնում է ընկերության տեղեկատվական sistem-ըերի փոփոխությունների պահանջները: Եթե պահանջվող ցուցանիշը արդեն իրականացված է որևէ հաշվետվությունում, օգտվողը անմիջապես կտեսնի պատրաստի հաշվետվությունների հավաքածու, որտեղ այս ցուցանիշը կիրառված է, և կկարողանա որոշել արդյունավետ կրկնի օգտագործումը կամ նրա minimale փոփոխությունը, չի սկսելով նոր հարցումներ նոր հաշվետվության մշակման համար:
Տեխնիկական վերափոխումների և DataLineage-ի նկարագրության մոդուլը
Վատ եք հարցնում, թե ինչ մոդուլներ են դրանք: Պարզապես իրականացնել Ռեեստրը և Գլոսարը քիչ է, անհրաժեշտ է նաև բոլոր բիզնես-տերմինները շեղել ֆիզիկական տվյալների մոդելի: Այսպիսով, մենք կարողացանք ավարտել տվյալների կյանքի ցիկլի ձևավորումը աղբյուրային համակարգերից մինչև BI-ի պատկերման համակարգը, անցնելով տվյալների պահոցների բոլոր շերտերով: Այնինքն՝ կառուցել DataLineage:
Մենք մշակել ենք ինտերֆեյս, որտեղ հիմքը հանդիսանում էր նախկինում օգտագործվող ընկերության տվյալների վերափոխման կանոնների և տրամաբանության նկարագրության ձևաչափը: Ինտերֆեյսի միջոցով մուտք է գործում ամենայն տեղեկություն, որը նախկինում օգտագործվում էր, սակայն պարտադիր պայման է դարձել բիզնես-գլոսարից տերմինի նույնացուցիչի սահմանումը: Այսպես մենք կառուցում ենք կապը բիզնես և ֆիզիկական շերտերի միջև:
ՈՒմ է սա պետք? Ինչով էր հին ձևաչափը, որով տարիներ աշխատեցինք, մեր ախորժակը: Ինչքանով են Labor затратները ավելացել պահանջների ձևակերպման համար: Նման հարցերով ստիպված ենք եղել դիմել գործի արդյունքների ծրագրավորման ընթացքում: Այստեղ պատասխանները բավականին պարզ են՝ սա անհրաժեշտ է մեզ բոլորիս, մեր ընկերության տվյալների բաժնին և մեր օգտվողներին:
Ինձ իսկապես, աշխատակիցները ստիպված եղան վերակազմել իրենց, սկզբում դա բերեց աշխատանքի փոքր-ինչ ավելացման փաստաթղթերի պատրաստման համար, բայց մենք լուծեցինք այս հարցը: Գրավականը, խնդիրների բացահայտումը և օպտիմիզացումը իր գործն արեց: Մենք հասանք ամենակարևորին՝ բարձրացրել ենք մշակվող պահանջների որակը: Լրացուցիչ դաշտեր, միասնական գրացուցակներ, մուտքի ձեւեր, ներմուծված ստուգումներ՝ այս ամենը թույլատրեց ծանրաբեռնել նկարագրությունների որակը: Մենք հեռացանք մշակման պահանջների փոխանցման պրակտիկայից, տարածեցինք գիտելիքները, որոնք հասանելի էին միայն մշակման թիմին: Ստեղծված մետադաղը պատրաստում է նվազագույն ժամանակ կտրվածքների՝ ռեգրեսիոն վերլուծության վրա, ապահովում է արագ գնահատման հնարավորությունը փոփոխությունների ազդեցության վրա ԻԹ-լանդշաֆտի ցանկացած շերտում (հաշվողական հաշվետվությունները, ագրեգատները, աղբյուրները):
Եվ ինչ վերաբերում է պարզապես օգտագործողների հաշվետվություններում, ինչ օգուտներ նրանց համար? DataLineage-ի կառուցման շնորհիվ մեր օգտվողները, նույնիսկ SQL-ից և այլ ծրագրավորման լեզուներից հեռու, արագորեն ստանում են տեղեկատվություն աղբյուրների և օբյեկտների մասին, որոնց հիման վրա ձևավորվում է այս կամ այն հաշվետվությունը:
Տվյալների որակի վերահսկման մոդուլ
Այդ բոլորը, ինչ խոսեցինք վերևում տվյալների transparents խոսելու մասով, կարևոր չէ առանց այն բանի, որ տվյալները, որոնք մենք տրամադրում ենք օգտվողներին, ճիշտ են: Մեր Data Governance-ի կարևոր մոդուլներից մեկն է տվյալների որակի վերահսկման մոդուլը。
Այս փուլում սա հարցումների կատալոգ է ընտրված սուբյեկտների համար: Ապրանքի զարգացման ամենամոտ նպատակն է ստուգումների ցանկի ընդլայնումը և հաշվետվությունների գրանցման հետ ինտեգրումը:
Իսկ դա ինչ կպատճառի և ում? Ընթացիկ օգտվողի համար հաշվետվությունների գրանցումը կլինի հասանելի տեղեկություններ հաշվետվությունների պատրաստման պլանավորված և իրականացված պատմության մասին, արդյունքների ստուգված ստուգումների և բեռներին արձանագրված տեղեկատվություն:
Մենք համարում ենք, որ աշխատանքային գործընթացներում ինտեգրված դուր հաշվող մոդուլը ծառայել է.
- Պատվերների սպասելիությունների արագ ձևավորում:
- Տվյալների հետագա օգտագործման վերաբերյալ որոշումներ ընդունելը:
- Սկզբնական փուլերում կանոնավոր որակի վերահսկման զարգացման համար խնդիրների նախնական հավաքածու ստանալ:
Մենք վստահ ենք, որ սա տվյալների կառավարման ամբողջական գործընթացի ձևավորման առաջին քայլերն են։ Սակայն մենք համոզված ենք, որ միայն նպատակաուղղված ձևով այս աշխատանքը իրականացնելով և DataGovernance գործիքները ակտիվորեն ներառելով աշխատանքային գործընթացում, մենք կտրամադրենք մեր հաճախորդներին տեղեկատվություն, բարձր վստահություն տվյալների նկատմամբ, դրանց ձեռքբերման թափանցիկություն և կավելացնենք նոր ֆունկցիաների իրականացման արագությունը։
DataOffice թիմը
Ընտանիք: habr.com
