DataGovernance öz güclərimizlə

Salam, Habr!

Məlumatlar — şirkətin ən dəyərli aktividir. Bu, demək olar ki, hər digital yönümlü şirkət tərəfindən bildirilir. Bununla mübahisə etmək çətindir: məlumatların idarə edilməsi, saxlanması və emalı yanaşmalarının müzakirəsi olmadan indi heç bir iri IT konfransı baş tutmur.

Məlumatlar bizə xaricdən gəlir, eləcə də şirkət daxilində formalaşır; əgər telekom şirkətinin məlumatlarından danışsaq, bu, daxili işçilər üçün müştəri, onun maraqları, vərdişləri, yerləşməsi haqqında məlumatla zəngin bir xəzinədir. Düzgün profilləşdirmə və seqmentləşdirmə ilə reklam təklifləri daha effektiv olur. Ancaq praktikada hər şey o qədər də ümidverici deyil. Şirkətlərin saxladığı məlumatlar bəzən tamamilə köhnəlmiş, həddindən artıq, təkrar olunan, ya da onların varlığından yalnız dar bir istifadəçi qrupunun xəbəri var.

Bir sözlə, məlumatları effektiv idarə etmək lazımdır – yalnız bu halda onlar biznesə real fayda və gəlir gətirən aktivə çevriləcək. Təəssüf ki, məlumatların idarə edilməsi ilə bağlı məsələləri həll etmək üçün bir çox çətinlikləri aşmaq lazımdır. Bu çətinliklər daha çox «zoo park» sistemlərinin tarixsal irsi və onlarla bağlı vahid proseslərin və yanaşmaların olmamasından irəli gəlir. Ancaq «məlumatları idarə etmək» nə deməkdir?

Tam olaraq bunu müzakirə edəcəyik, eləcə də açıq mənbə texnologiyalarımıza necə kömək etdiyini.

Strategiyanın məlumatların idarə edilməsi (Data Governance - DG) konsepsiyası artıq Rusiya bazarında kifayət qədər tanınmışdır və biznesin onu tətbiq etdiyi zaman əldə etdiyi məqsədlər aydındır və dəqiq şəkildə ifadə edilir. Şirkətimiz də istisna olmadı və məlumatların idarə edilməsi konsepsiyasını tətbiq etməyi hədəflədi.

Beləliklə, haradan başladıq? İlk növbədə, özümüz üçün əsas məqsədəri müəyyən etdik:

1. Məlumatlarımıza girişin təmin edilməsi.
2. Məlumatların həyat dövrünün şəffaflığının təmin edilməsi.
3. Şirkət istifadəçilərinə razılaşdırılmış, mübahisəsiz məlumatların təqdim edilməsi.
4. Şirkət istifadəçilərinə təsdiqlənmiş məlumatların təqdim edilməsi.

Hazırda bazarda Data Governance kateqoriyasına aid bir neçə proqram təminatı aləti mövcuddur.

Ancaq detallı təhlil və həll yollarını araşdırdıqdan sonra biz özümüz üçün bir sıra ciddi müşahidələr qeydə aldıq:

• Əksər istehsalçılar kompleks həllər paketi təqdim edirlər ki, bu da bizim üçün həddindən artıqdır və artıq mövcud olan funksionallığı təkrar edir. Üstəlik, cari IT mənzərəsinə inteqrasiya baxımından resurslar üçün bahalıdır.
• Funksionallıq və interfeys texnoloqlar üçün nəzərdə tutulub və son istifadəçi biznes mütəxəssisləri üçün deyil.
• Məhsulların az populyarlığı və Rusiya bazarında uğurlu tətbiqlərin olmaması.
• Proqram təminatının və onun dəstəyinin yüksək qiyməti.

Yuxarıda qeyd olunan meyarlar və tövsiyələr, Rusiya şirkətləri üçün proqram təminatını yerli şəkildə dəyişdirmək məqsədiylə bizi açıq mənbə texnologiyaları istifadə edərək öz inkişafımıza yönəlməyə inandırdı. Platforma kimi Django seçildi – Python dilində yazılmış pulsuz və açıq bir çərçivədir. Beləliklə, biz özümüz üçün bu məqsədləri dəstəkləyəcək əsas modulları müəyyən etdik:

1. Hesabatlar reyestri.
2. Biznes lüğəti.
3. Texniki transformasiyaların təsvir modulu.
4. Məlumatların mənbədən BI vasitəsinə qədər həyat dövrünü təsvir edən modul.
5. Məlumatların keyfiyyətinə nəzarət modulu.

Hesabatlar reyestri

Böyük şirkətlərdə aparılan daxili tədqiqatların nəticələrinə görə, məlumatlarla bağlı məsələləri həll edərkən işçilər 40-80% vaxtlarını onların axtarışına sərf edirlər. Bu səbəbdən, əvvəllər yalnız sifarişçilərə təqdim edilən mövcud hesabatlar haqqında məlumatı açıq etmək məqsədini qoyduq. Beləliklə, yeni hesabatların hazırlanma müddətini qısaldır və məlumatların demokratikləşdirilməsini təmin edirik.

Hesabatlar reyestri müxtəlif regionalardan, şöbələrdən, bölmələrdən olan daxili istifadəçilər üçün bir pəncərə halına gəldi. Burada şirkətin bir neçə korporativ anbarında yaradılan informasiya xidmətləri ilə bağlı məlumatlar konsolidasiya olunmuşdur, RoStelecom-da isə bunlardan kifayət qədər çoxdur.

Ancaq reyestr – hazırlanan hesabatların sadəcə quru siyahısı deyil. Hər bir hesabat üçün istifadəçini müstəqil şəkildə tanış olması üçün zəruri olan məlumatlar təqdim edirik:

• hesabatın qısa təsviri;
• məlumatların mövcudluq dərinliyi;
• sifarişçi seqmenti;
• vizuallaşdırma aləti;
• korporativ anbarın adı;
• biznes-funksional tələblər;
• hesabata keçid;
• giriş tələbi üçün keçid;
• icra statusu.

Hesabatların istifadə səviyyəsi ilə bağlı analitika mövcuddur və hesabatlar unikal istifadəçilərin sayı əsasında analitiklərə əsasən siyahının zirvələrinə düşür. Və bu hələ deyil. Ümumi xüsusiyyətlərdən başqa, hesabatların atribut yazısı ilə bağlı detallı təsvirini, nümunə dəyərlərini və hesablamaların metodikasını da nəzərdə tutmuşuq. Bu cür detallılıq, dərhal istifadəçiyə hesabatın ona faydalı olub-olmadığını cavab verir.

Bu modulun hazırlanması məlumatların demokratikləşdirilməsi istiqamətində əhəmiyyətli bir addım oldu və tələb olunan məlumatı axtarış müddətini əhəmiyyətli dərəcədə azaldı. Axtarış müddətinin azalması ilə yanaşı, bilgi ilə bağlı yardım komandasından tələblərin sayı da azaldı. Bütün bunlarla yanaşı, biz birləşdirilmiş hesabat reyestrini hazırlayaraq fərqli struktur vahidləri üçün təkrarlanan hesabatların inkişafını da qabaqca almış olduq.

Biznes lüğəti

Hamı bilirsiniz ki, eyni şirkət daxilində biznes bir neçə dildə danışır. Bəli, eyni terminlərdən istifadə olunur, lakin onların arxasında tamamilə fərqli mənalar var. Bu problemi həll etmək üçün biznes lüğəti fəaliyyət göstərir.

Bizim üçün biznes lüğəti yalnız terminlərin və hesablama metodologiyasının təsviri ilə əhatə olunan bir qaynaq deyil. Bu, terminologiyanın inkişafı, razılaşdırılması və təsdiqi, həmçinin terminlərin şirkətin digər informasiya aktivləri ilə əlaqələrinin qurulması üçün tam mühitdir. Biznes lüğətinə daxil olmaq üçün bir termin, biznes sifarişçiləri və məlumat keyfiyyəti mərkəzi ilə bütün razılaşdırma mərhələlərindən keçməlidir. Yalnız bu mərhələlərdən sonra o, istifadəyə açılır.

Yuxarıda qeyd etdiyim kimi, bu alətin unikal üstünlüyü odur ki, o, biznes terminindən istifadə olunan konkret istifadəçi hesabatlarına və verilənlər bazasının fiziki obyektlərinə qədər əlaqələr qurmağı imkan verir.

Bu, lüğətin terminlərinin identifikatorlarından, hesabatlar qeydiyyatında ətraflı təsvirlərdə və verilənlər bazası fiziki obyektlərinin təsvirində istifadə etməklə mümkün oldu.

Hazırda Lüğətdə 4000-dən artıq termin müəyyənləşdirilib və razılaşdırılıb. Bunun istifadəsi, şirkətin informasiya sistemlərində dəyişiklik üçün daxil olan sorğuların emalını asanlaşdırır və sürətləndirir. Tələb olunan göstərici artıq hansısa hesabatda tətbiq edilibsə, istifadəçi dərhal bu göstəricinin istifadə olunduğu hazır hesabatların dəstini görə bilər və mövcud funksionallığı effektiv şəkildə təkrar istifadə etmək və ya onu minimum dərəcədə inkişaf etdirmək qərarını verə bilər, yeni hesabatın hazırlanması üçün sorğuların verilməsinə ehtiyac olmadan.

Texniki transformasiyaların və DataLineage-in təsviri modulu

Siz soruşacaqsınız, bu modullar nədir? Hesabatlar qeydiyyatı və Lüğətin tətbiqi kifayət deyil, bütün biznes terminləri ilə fiziki verilənlər bazası modelini bir araya gətirmək də vacibdir. Beləliklə, biz məlumatların həyat dövrünün formalaşma prosesini mənbə sistemlərindən BI vizuallaşdırmasına qədər, məlumat anbarının bütün təbəqələrindən keçərək tamamlamış olduq. Başqa sözlə desək, DataLineage-i inşa etdik.

Biz, əvvəllər şirkətdə istifadə olunan məlumat transformasiyası qaydaları və loqikasının təsviri formatına əsaslanan bir interfeys hazırlamışıq. İstifadəçi interfeysi ilə eyni informasiya daxil edilir, lakin mütləq şərt olaraq biznes lüğətindən termin identifikatorunun müəyyən edilməsi tələb olunur. Beləliklə, biz biznes və fiziki təbəqələr arasında əlaqə qururuq.

Bunun kimə lazım olduğunu düşünürsünüz? Bir neçə il işlədiyimiz köhnə format bizi niyə qane etmir? Tələblərin formalaşmasına görə əmək tələbləri nə qədər artdı? Bu suallarla alətlərin tətbiqi zamanı qarşılaşdıq. Burada cavablar olduqca sadədir – bu, hamımıza, şirkətimizin data ofisinə və istifadəçilərimizə lazımdır.

Həqiqətən, əməkdaşlar yenidən strukturlaşmağa məcbur oldular, ilk başda bu, sənədlərin hazırlanmasında əmək tələblərinin cüzi artımına səbəb oldu, amma bu məsələylə məşğul olduq. Praktika, problemlərin aşkarlanması və optimizasiyası öz işini gördü. Əsas məqsədimizə nail olduq – hazırlanmış tələblərin keyfiyyətini artırdıq. Doldurulması mütləq olan sahələr, standartlaşdırılmış göstəricilər, giriş maskaları, daxili yoxlamalar – bütün bunlar transformasiyaların təsvirlərinin keyfiyyətini xeyli artırmağa imkan yaratdı. İllərlə inkişaf ehtiyatlarını tələblər şəklində ötürmə praktikasından uzaqlaşdıq, yalnız inkişafla məşğul olan komandaya aid olan bilikləri paylaşdıq. Yaranmış metadata bazası, tərs analiz üçün zaman xərclərini kəskin şəkildə azaltmağa və İT mənzərəsinin istənilən qatında dəyişikliklərin təsirini tez bir zamanda qiymətləndirməyə imkan verir (şöbələr üzrə hesabatlar, toplayıcılar, mənbələr).

Adi hesabat istifadəçilərinə bunun nə aidiyyəti var, onlara hansı üstünlüklər təqdim edir? DataLineage qurma imkanları sayəsində istifadəçilərimiz, SQL və digər proqramlaşdırma dillərindən uzaq olsalar belə, əldə olunan hesabatın tərtib edilməsi üçün istifadə edilən mənbələr və obyektlər barədə məlumatı sürətlə alırlar.

Məlumatların keyfiyyətinin nəzarət modulu

Üstündə danışdığımız bütün şişirdilməsi, məlumatların istifadəçilərə düzgün olaraq təqdim edilmədiyində mənasızdır. Bizim Data Governance konsepsiyamızın mühüm modullarından biri – məlumatların keyfiyyətinin nəzarət moduludur.

Hazırda bu, seçilmiş obyektlər üzrə yoxlamaların kataloqudur. Məhsulun inkişafı üzrə yaxın məqsəd – yoxlamalar siyahısının genişləndirilməsi və hesabatlar reyestri ilə inteqrasiya.
Bu, kimin üçün və nə verəcək? Hesabat reyestrinin son istifadəsi üçün planlaşdırılan və faktiki hesabatın tamamlama tarixləri, icra edilmiş yoxlamaların nəticələri və hesabatlara yüklənmiş mənbələrin məlumatları əlçatan olacaq.

Bizim iş proseslərimizə inteqrasiya olunmuş məlumat keyfiyyəti modulu bu deməkdir ki:

• Müştəri tələblərinin sürətli formalaşması.
• Verilənlərin gələcək istifadəsi ilə bağlı qərarların qəbul edilməsi.
• Müntəzəm keyfiyyət nəzarətləri üçün işlərin başlanğıc mərhələlərində problemli nöqtələrin ilkin dəstinin əldə edilməsi.

Şübhəsiz ki, bunlar məlumat idarəçiliyi prosesini qurmağın ilk addımlarıdır. Lakin inanırıq ki, yalnız bu işə məqsədyönlü yanaşma, DataGovernance alətlərini iş prosesinə aktiv şəkildə daxil etməklə müştərilərimizə məlumatların dəqiqliyi, onlara olan etimadın yüksəldilməsi, əldə edilmələrinin şəffaflığının təmin edilməsi və yeni funksionallıqların təqdimat sürətinin artırılması ilə təmin edə bilərik.

DataOffice Komandası

Mənbə: habr.com