მონაცემთა მმართველობა შიდა

ჰეი ჰაბრ!

მონაცემები კომპანიის ყველაზე ღირებული აქტივია. ციფრული ფოკუსის მქონე თითქმის ყველა კომპანია აცხადებს ამას. ძნელია ამაზე კამათი: არც ერთი ძირითადი IT კონფერენცია არ ტარდება მონაცემთა მართვის, შენახვისა და დამუშავების მიდგომების განხილვის გარეშე.

მონაცემები ჩვენამდე მოდის გარედან, ის ასევე წარმოიქმნება კომპანიის შიგნით და თუ ვსაუბრობთ ტელეკომის კომპანიის მონაცემებზე, მაშინ შიდა თანამშრომლებისთვის ეს არის ინფორმაციის საწყობი კლიენტის, მისი ინტერესების, ჩვევების და ადგილმდებარეობის შესახებ. სათანადო პროფილირებისა და სეგმენტაციის შემთხვევაში, სარეკლამო შეთავაზებები ყველაზე ეფექტურია. თუმცა, პრაქტიკაში, ყველაფერი ასე ვარდისფერი არ არის. მონაცემები, რომლებსაც კომპანიები ინახავენ, შეიძლება იყოს უიმედოდ მოძველებული, ზედმეტი, განმეორებადი, ან მისი არსებობა უცნობია ვინმესთვის, გარდა მომხმარებელთა ვიწრო წრისა. ¯_(ツ)_/¯

ერთი სიტყვით, მონაცემთა ეფექტურად მართვა უნდა მოხდეს - მხოლოდ მაშინ გახდება ის აქტივი, რომელსაც მოაქვს რეალური სარგებელი და მოგება ბიზნესისთვის. სამწუხაროდ, მონაცემთა მართვის საკითხების გადაჭრა მოითხოვს საკმაოდ ბევრი სირთულის დაძლევას. ისინი ძირითადად განპირობებულია როგორც სისტემების „ზოოპარკების“ სახით ისტორიული მემკვიდრეობით, ასევე მათი მართვის ერთიანი პროცესებისა და მიდგომების ნაკლებობით. მაგრამ რას ნიშნავს იყო „მონაცემებზე ორიენტირებული“?

სწორედ ამაზე ვისაუბრებთ ჭრის ქვეშ, ასევე იმაზე, თუ როგორ დაგვეხმარა opensource სტეკი.

მონაცემთა სტრატეგიული მართვის კონცეფცია Data Governance (DG) უკვე საკმაოდ კარგად არის ცნობილი რუსულ ბაზარზე და მისი განხორციელების შედეგად ბიზნესის მიერ მიღწეული მიზნები მკაფიოდ და მკაფიოდ არის დეკლარირებული. გამონაკლისი არც ჩვენი კომპანია იყო და საკუთარ თავს დავალება დაუდო მონაცემთა მართვის კონცეფციის დანერგვა.

მაშ, საიდან დავიწყეთ? დასაწყისისთვის, ჩვენ ჩამოვაყალიბეთ ძირითადი მიზნები:

1. შევინარჩუნოთ ჩვენი მონაცემები ხელმისაწვდომი.
2. უზრუნველყოს მონაცემთა სასიცოცხლო ციკლის გამჭვირვალობა.
3. მიაწოდეთ კომპანიის მომხმარებლებს თანმიმდევრული, თანმიმდევრული მონაცემები.
4. მიაწოდეთ კომპანიის მომხმარებლებს დადასტურებული მონაცემები.

დღესდღეობით პროგრამული უზრუნველყოფის ბაზარზე არსებობს მონაცემთა მართვის კლასის ათეული ინსტრუმენტი.

მაგრამ გადაწყვეტილებების დეტალური ანალიზისა და შესწავლის შემდეგ, ჩვენ ჩავწერეთ არაერთი კრიტიკული კომენტარი ჩვენთვის:

• მწარმოებლების უმეტესობა გვთავაზობს გადაწყვეტილებების ყოვლისმომცველ კომპლექტს, რაც ჩვენთვის ზედმეტია და ასახავს არსებულ ფუნქციებს. გარდა ამისა, ძვირია რესურსების თვალსაზრისით, ინტეგრაცია მიმდინარე IT ლანდშაფტში.
• ფუნქციონალური და ინტერფეისი განკუთვნილია ტექნოლოგებისთვის და არა ბიზნესის საბოლოო მომხმარებლებისთვის.
• პროდუქციის დაბალი გადარჩენის მაჩვენებელი და რუსულ ბაზარზე წარმატებული განხორციელების ნაკლებობა.
• პროგრამული უზრუნველყოფის მაღალი ღირებულება და შემდგომი მხარდაჭერა.

ზემოაღნიშნულმა კრიტერიუმებმა და რეკომენდაციებმა რუსული კომპანიებისთვის პროგრამული უზრუნველყოფის იმპორტის ჩანაცვლებასთან დაკავშირებით დაგვარწმუნა, რომ გადავსულიყავით საკუთარი განვითარებისკენ ღია წყაროს დასტაზე. პლატფორმა, რომელიც ჩვენ ავირჩიეთ, იყო Django, უფასო და ღია კოდის ჩარჩო, დაწერილი პითონში. ამრიგად, ჩვენ გამოვავლინეთ ძირითადი მოდულები, რომლებიც ხელს შეუწყობს ზემოთ ჩამოთვლილ მიზნებს:

1. ანგარიშების რეესტრი.
2. ბიზნეს ლექსიკონი.
3. ტექნიკური გარდაქმნების აღწერის მოდული.
4. მონაცემთა სასიცოცხლო ციკლის აღწერის მოდული წყაროდან BI ინსტრუმენტამდე.
5. მონაცემთა ხარისხის კონტროლის მოდული.

ანგარიშების რეესტრი

მსხვილ კომპანიებში შიდა კვლევების შედეგების მიხედვით, მონაცემებთან დაკავშირებული პრობლემების გადაჭრისას თანამშრომლები დროის 40-80%-ს ატარებენ მათ ძიებაში. აქედან გამომდინარე, ჩვენ დავალებულნი ვართ, გაგვეკეთებინა ღია ინფორმაცია არსებული ანგარიშების შესახებ, რომლებიც ადრე მხოლოდ მომხმარებლებისთვის იყო ხელმისაწვდომი. ამრიგად, ჩვენ ვამცირებთ ახალი ანგარიშების გენერირების დროს და ვუზრუნველყოფთ მონაცემთა დემოკრატიზაციას.

საანგარიშო რეესტრი გახდა ერთიანი საანგარიშო ფანჯარა შიდა მომხმარებლებისთვის სხვადასხვა რეგიონებიდან, დეპარტამენტებიდან და განყოფილებებიდან. იგი აერთიანებს ინფორმაციას კომპანიის რამდენიმე კორპორატიულ საცავში შექმნილი საინფორმაციო სერვისების შესახებ და ბევრი მათგანია როსტელეკომში.

მაგრამ რეესტრი არ არის მხოლოდ შემუშავებული ანგარიშების მშრალი სია. თითოეული მოხსენებისთვის ჩვენ ვაწვდით ინფორმაციას, რომელიც აუცილებელია მომხმარებლისთვის, რომ გაეცნოს მას:

• ანგარიშის მოკლე აღწერა;
• მონაცემთა ხელმისაწვდომობის სიღრმე;
• მომხმარებლის სეგმენტი;
• ვიზუალიზაციის ინსტრუმენტი;
• კორპორატიული შენახვის დასახელება;
• ბიზნესის ფუნქციონალური მოთხოვნები;
• ანგარიშის ბმული;
• წვდომისთვის განაცხადის ბმული;
• განხორციელების სტატუსი.

გამოყენების დონის ანალიტიკა ხელმისაწვდომია ანგარიშებისთვის და ანგარიშები სიის სათავეშია დაფუძნებული ჟურნალის ანალიტიკის საფუძველზე უნიკალური მომხმარებლების რაოდენობის მიხედვით. და ეს არ არის ის. ზოგადი მახასიათებლების გარდა, ჩვენ ასევე მივაწოდეთ ანგარიშების ატრიბუტების შემადგენლობის დეტალური აღწერა მნიშვნელობებისა და გაანგარიშების მეთოდების მაგალითებით. ასეთი დეტალიზაცია დაუყოვნებლივ აძლევს მომხმარებელს პასუხს სასარგებლოა თუ არა მისთვის ანგარიში.

ამ მოდულის შემუშავება მნიშვნელოვანი ნაბიჯი იყო მონაცემთა დემოკრატიზაციის გზაზე და მნიშვნელოვნად შეამცირა საჭირო ინფორმაციის მოძიებისთვის საჭირო დრო. გარდა ძიების დროის შემცირებისა, შემცირდა მხარდაჭერის ჯგუფის მიმართ კონსულტაციების მოთხოვნის რაოდენობაც. შეუძლებელია არ აღვნიშნო კიდევ ერთი სასარგებლო შედეგი, რომელიც ჩვენ მივაღწიეთ ანგარიშების ერთიანი რეესტრის შემუშავებით - სხვადასხვა სტრუქტურული ერთეულებისთვის დუბლიკატების შემუშავების თავიდან აცილება.

ბიზნეს ლექსიკონი

ყველამ იცით, რომ ერთსა და იმავე კომპანიაშიც კი, ბიზნესი სხვადასხვა ენაზე საუბრობს. დიახ, ისინი იყენებენ ერთსა და იმავე ტერმინებს, მაგრამ ისინი გულისხმობენ სრულიად განსხვავებულ ნივთებს. ამ პრობლემის გადასაჭრელად შექმნილია ბიზნეს ტერმინები.

ჩვენთვის ბიზნეს ტერმინები არ არის მხოლოდ საცნობარო წიგნი ტერმინების აღწერით და გაანგარიშების მეთოდოლოგიით. ეს არის სრულფასოვანი გარემო ტერმინოლოგიის შემუშავების, შეთანხმებისა და დამტკიცებისთვის, კომპანიის ტერმინებსა და სხვა საინფორმაციო აქტივებს შორის ურთიერთობის დამყარებისთვის. ბიზნეს ლექსიკონში შესვლამდე ტერმინმა უნდა გაიაროს დამტკიცების ყველა ეტაპი ბიზნეს მომხმარებლებთან და მონაცემთა ხარისხის ცენტრში. მხოლოდ ამის შემდეგ გახდება ხელმისაწვდომი გამოსაყენებლად.

როგორც ზემოთ დავწერე, ამ ხელსაწყოს უნიკალურობა იმაში მდგომარეობს, რომ ის საშუალებას აძლევს კავშირებს ბიზნეს ტერმინის დონიდან კონკრეტული მომხმარებლის ანგარიშებამდე, რომელშიც ის გამოიყენება, ასევე მონაცემთა ბაზის ფიზიკური ობიექტების დონეზე.

ეს შესაძლებელი ხდება რეესტრის ანგარიშების დეტალურ აღწერაში და ფიზიკური მონაცემთა ბაზის ობიექტების აღწერილობაში ტერმინების ტერმინების იდენტიფიკატორების გამოყენებით.

ამჟამად ლექსიკონში 4000-ზე მეტი ტერმინია განსაზღვრული და შეთანხმებული. მისი გამოყენება ამარტივებს და აჩქარებს შემოსული მოთხოვნების დამუშავებას კომპანიის საინფორმაციო სისტემებში ცვლილებების შესახებ. თუ საჭირო ინდიკატორი უკვე დანერგილია რომელიმე ანგარიშში, მაშინ მომხმარებელი დაუყოვნებლივ იხილავს მზა ანგარიშების ერთობლიობას, სადაც ეს მაჩვენებელი გამოიყენება და შეძლებს გადაწყვიტოს არსებული ფუნქციის ეფექტური ხელახალი გამოყენება ან მისი მინიმალური მოდიფიკაცია, დაწყების გარეშე. ახალი მოთხოვნები ახალი ანგარიშის შემუშავებისთვის.

ტექნიკური გარდაქმნებისა და DataLineage-ის აღწერის მოდული

რა არის ეს მოდულები, გეკითხებით? საკმარისი არ არის მხოლოდ ანგარიშის რეესტრისა და ტერმინების დანერგვა, ასევე აუცილებელია ყველა ბიზნეს ტერმინის დაფუძნება ფიზიკური მონაცემთა ბაზის მოდელზე. ამრიგად, ჩვენ შევძელით დასრულებულიყო მონაცემთა სასიცოცხლო ციკლის ფორმირების პროცესი წყაროს სისტემებიდან BI ვიზუალიზაციამდე მონაცემთა საწყობის ყველა ფენაში. სხვა სიტყვებით რომ ვთქვათ, შექმენით DataLineage.

ჩვენ შევიმუშავეთ ინტერფეისი, რომელიც ეფუძნება ადრე კომპანიაში გამოყენებულ ფორმატს მონაცემთა ტრანსფორმაციის წესებისა და ლოგიკის აღწერისთვის. იგივე ინფორმაცია შედის ინტერფეისის საშუალებით, როგორც ადრე, მაგრამ ტერმინის იდენტიფიკატორის განმარტება ბიზნეს ლექსიკონიდან წინაპირობად იქცა. ასე ვაშენებთ კავშირს ბიზნესსა და ფიზიკურ ფენებს შორის.

ვის სჭირდება? რა იყო ცუდი იმ ძველ ფორმატში, რომლითაც რამდენიმე წელი მუშაობდით? რამდენად გაიზარდა შრომის ხარჯები მოთხოვნების გენერირებისთვის? ინსტრუმენტის დანერგვისას ასეთ კითხვებთან გამკლავება მოგვიწია. პასუხები აქ საკმაოდ მარტივია - ჩვენ ყველას გვჭირდება ეს, ჩვენი კომპანიის მონაცემთა ოფისი და ჩვენი მომხმარებლები.

მართლაც, თანამშრომლებს ადაპტაცია მოუწიათ, თავიდან ამან გამოიწვია დოკუმენტაციის მომზადებისთვის შრომის ხარჯების მცირედი ზრდა, მაგრამ ჩვენ ეს საკითხი მოვაგვარეთ. პრობლემური სფეროების პრაქტიკამ, იდენტიფიცირებამ და ოპტიმიზაციამ თავისი საქმე გააკეთა. ჩვენ მივაღწიეთ მთავარს - გავაუმჯობესეთ შემუშავებული მოთხოვნების ხარისხი. სავალდებულო ველები, ერთიანი საცნობარო წიგნები, შეყვანის ნიღბები, ჩაშენებული ჩეკები - ამ ყველაფერმა შესაძლებელი გახადა მნიშვნელოვნად გაუმჯობესებულიყო ტრანსფორმაციის აღწერილობების ხარისხი. ჩვენ ჩამოვშორდით სკრიპტების გადაცემის პრაქტიკას, როგორც განვითარების მოთხოვნებს და გავუზიარეთ ცოდნა, რომელიც მხოლოდ დეველოპერების გუნდისთვის იყო ხელმისაწვდომი. გენერირებული მეტამონაცემების მონაცემთა ბაზა მნიშვნელოვნად ამცირებს რეგრესიული ანალიზის ჩასატარებლად საჭირო დროს და იძლევა IT ლანდშაფტის ნებისმიერ ფენაზე ცვლილებების ზემოქმედების სწრაფად შეფასების შესაძლებლობას (გამოფენის ანგარიშები, აგრეგატები, წყაროები).

რა კავშირშია ეს ანგარიშების რიგით მომხმარებლებთან, რა უპირატესობა აქვს მათ? DataLineage-ის შექმნის შესაძლებლობის წყალობით, ჩვენი მომხმარებლები, თუნდაც SQL და სხვა პროგრამირების ენებისგან შორს, სწრაფად იღებენ ინფორმაციას იმ წყაროებისა და ობიექტების შესახებ, რომლებზედაც იქმნება კონკრეტული ანგარიში.

მონაცემთა ხარისხის კონტროლის მოდული

ყველაფერი, რაზეც ზემოთ ვისაუბრეთ მონაცემთა გამჭვირვალობის უზრუნველსაყოფად, არ არის მნიშვნელოვანი იმის გაგების გარეშე, რომ მონაცემები, რომლებსაც მომხმარებლებს ვაძლევთ, არის სწორი. ჩვენი მონაცემთა მართვის კონცეფციის ერთ-ერთი მნიშვნელოვანი მოდული არის მონაცემთა ხარისხის კონტროლის მოდული.

მიმდინარე ეტაპზე ეს არის შერჩეული სუბიექტების შემოწმებების კატალოგი. პროდუქტის განვითარების უშუალო მიზანია შემოწმებების სიის გაფართოება და ანგარიშგების რეესტრთან ინტეგრირება.
რას მისცემს და ვის? რეესტრის საბოლოო მომხმარებელს ექნება წვდომა ანგარიშის მზადყოფნის დაგეგმილი და ფაქტობრივი თარიღების, დინამიკის დასრულებული შემოწმების შედეგებისა და ანგარიშში ჩატვირთული წყაროების შესახებ ინფორმაციას.

ჩვენთვის, მონაცემთა ხარისხის მოდული ინტეგრირებულია ჩვენს სამუშაო პროცესებში:

• მომხმარებელთა მოლოდინების სწრაფი ფორმირება.
• გადაწყვეტილების მიღება მონაცემთა შემდგომი გამოყენების შესახებ.
• პრობლემური პუნქტების წინასწარი ნაკრების მიღება სამუშაოს საწყის ეტაპებზე რეგულარული ხარისხის კონტროლის შემუშავებისთვის.

რა თქმა უნდა, ეს არის პირველი ნაბიჯები მონაცემთა მართვის სრულფასოვანი პროცესის შესაქმნელად. მაგრამ ჩვენ დარწმუნებულნი ვართ, რომ მხოლოდ ამ სამუშაოს მიზანმიმართული შესრულებით, სამუშაო პროცესში მონაცემთა მართვის ინსტრუმენტების აქტიური დანერგვით, ჩვენს კლიენტებს მივაწვდით საინფორმაციო შინაარსს, მონაცემთა მიმართ ნდობის მაღალ დონეს, მათი მიღების გამჭვირვალობას და გაზრდის გაშვების სიჩქარეს. ახალი ფუნქციონირება.

DataOffice გუნდი

წყარო: www.habr.com