Daxili Məlumat İdarəetməsi

Hey Habr!

Məlumat şirkətin ən qiymətli aktividir. Demək olar ki, hər bir rəqəmsal düşüncəli şirkət bunu iddia edir. Bununla mübahisə etmək çətindir: bu günlərdə heç bir böyük İT konfransı məlumatların idarə edilməsi, saxlanması və emalı ilə bağlı yanaşmaların müzakirəsi olmadan keçmir.

Məlumat bizə şirkətdən kənardan gəlir və o, həm də daxildə yaradılır. Telekommunikasiya şirkətləri üçün bu, müştərilər, onların maraqları, vərdişləri və yeri haqqında məlumat xəzinəsidir. Düzgün profilləşdirmə və seqmentləşdirmə ilə reklam təklifləri ən təsirli olur. Ancaq praktikada hər şey o qədər də çəhrayı deyil. Məlumat şirkətlərinin saxladığı məlumatlar ümidsiz şəkildə köhnəlmiş, lazımsız, təkrarlana bilər və ya onun mövcudluğu kiçik bir istifadəçi dairəsi istisna olmaqla, hamıya məlum deyil.

Bir sözlə, məlumatlar effektiv şəkildə idarə olunmalıdır – yalnız bu halda o, biznesə real dəyər və mənfəət gətirən aktivə çevriləcəkdir. Təəssüf ki, məlumatların idarə edilməsi problemlərinin həlli bir çox çətinliklərin öhdəsindən gəlməyi tələb edir. Bunlar ilk növbədə həm sistemlərin “zooparkının” tarixi irsi, həm də onları idarə etmək üçün vahid proseslərin və yanaşmaların olmaması ilə bağlıdır. Bəs "məlumatları idarə etmək" nə deməkdir?

Bu, aşağıda danışacağımız şey, eləcə də açıq mənbə yığınının bizə necə kömək etdiyidir.

Strateji məlumatların idarə edilməsi (DG) konsepsiyası artıq Rusiya bazarında yaxşı məlumdur və onun həyata keçirilməsi ilə biznesin əldə etdiyi məqsədlər aydın və aydın şəkildə ifadə olunub. Şirkətimiz də istisna deyil və bu məlumatların idarə edilməsi konsepsiyasını həyata keçirmək vəzifəsini qarşısına qoyub.

Yaxşı, biz haradan başladıq? Başlamaq üçün əsas məqsədləri müəyyənləşdirdik:

1. Məlumatlarımızın mövcudluğunu təmin edin.
2. Məlumatların həyat dövrünün şəffaflığını təmin edin.
3. Şirkət istifadəçilərini ardıcıl, birmənalı məlumatlarla təmin edin.
4. Şirkət istifadəçilərini təsdiqlənmiş məlumatlarla təmin edin.

Bu gün proqram bazarında təxminən onlarla DataGovernance sinfi aləti mövcuddur.

Bununla belə, həllərin ətraflı təhlili və öyrənilməsindən sonra biz bir sıra tənqidi şərhləri müəyyən etdik:

• Əksər satıcılar bizim üçün lazımsız olan və mövcud funksionallığı təkrarlayan hərtərəfli həllər dəstini təklif edirlər. Bundan əlavə, mövcud İT mənzərəsinə inteqrasiya resurs tutumludur.
• Funksionallıq və interfeys son biznes istifadəçiləri üçün deyil, texnoloqlar üçün nəzərdə tutulub.
• Aşağı məhsul qəbulu və Rusiya bazarında uğurlu tətbiqin olmaması.
• Proqram təminatının yüksək qiyməti və əlavə dəstək.

Rusiya şirkətləri üçün idxalı əvəz etmək üçün yuxarıda qeyd olunan meyarlar və tövsiyələr bizi açıq mənbə yığınından istifadə edərək öz inkişafımızı davam etdirməyə inandırdı. Biz platformamız olaraq Python-da yazılmış pulsuz və açıq mənbəli Django çərçivəsini seçdik. Beləliklə, yuxarıda qeyd olunan məqsədləri dəstəkləyəcək əsas modulları müəyyən etdik:

1. Hesabatların reyestri.
2. Biznes lüğəti.
3. Texniki transformasiyaların təsviri üçün modul.
4. Mənbədən BI alətinə qədər verilənlərin həyat dövrünü təsvir etmək üçün modul.
5. Məlumatların keyfiyyətinə nəzarət modulu.

Hesabatların reyestri

Böyük şirkətlərdə aparılan daxili araşdırmalara görə, işçilər vaxtlarının 40-80%-ni məlumatların axtarışına verilənlərlə bağlı problemlərin həllinə sərf edirlər. Buna görə də, biz əvvəllər yalnız müştərilər üçün əlçatan olan mövcud hesabatları ictimaiyyətə açıq etməyi qarşımıza məqsəd qoymuşuq. Bu, yeni hesabatların yaradılmasına sərf olunan vaxtı azaldır və məlumatların demokratikləşməsini təmin edir.

Hesabat reyestri müxtəlif regionlar, departamentlər və bölmələr üzrə daxili istifadəçilər üçün vahid hesabat pəncərəsinə çevrilmişdir. Rostelecom-un çoxlu olduğu bir neçə korporativ depoda yaradılmış məlumat xidmətləri haqqında məlumatları birləşdirir.

Lakin reyestr sadəcə hazırlanmış hesabatların quru siyahısı deyil. Hər bir hesabat üçün istifadəçilərə müstəqil şəkildə araşdırmaq üçün lazım olan məlumatları təqdim edirik:

• hesabatın qısa təsviri;
• məlumatların mövcudluğunun dərinliyi;
• müştəri seqmenti;
• vizuallaşdırma aləti;
• korporativ anbarın adı;
• biznesin funksional tələbləri;
• hesabata keçid;
• giriş sorğusuna keçid;
• icra vəziyyəti.

Hesabatlar istifadə analitikasını təklif edir və onlar unikal istifadəçi sayına görə log analitikasına əsasən üst sıralarda yer alır. Və bu hamısı deyil. Ümumi xüsusiyyətlərə əlavə olaraq, nümunə dəyərlər və hesablama üsulları ilə hesabat atributlarının ətraflı təsvirini də təqdim etdik. Bu təfərrüat səviyyəsi istifadəçilərə hesabatın faydalı olub olmadığını dərhal bildirir.

Bu modulun inkişafı məlumatların demokratikləşdirilməsi istiqamətində mühüm addım oldu və tələb olunan məlumatı tapmaq üçün lazım olan vaxtı əhəmiyyətli dərəcədə azaldıb. Axtarış vaxtını azaltmaqla yanaşı, dəstək qrupundan məsləhət almaq üçün müraciətlərin sayı da azalıb. Vahid hesabat reyestrinin yaradılması ilə əldə etdiyimiz digər faydalı nəticə müxtəlif biznes bölmələri üçün təkrar hesabatların qarşısının alınmasıdır.

Biznes lüğəti

Hamınız bilirsiniz ki, hətta eyni şirkət daxilində müəssisələr müxtəlif dillərdə danışırlar. Eyni terminləri işlədə bilsələr də, tamamilə fərqli mənaları ifadə edirlər. Bu problemi həll etmək üçün biznes lüğəti hazırlanmışdır.

Bizim üçün biznes lüğəti terminoloji təsvirləri və hesablama metodologiyası olan bir istinad kitabından daha çox şeydir. Bu, terminologiyanın işlənib hazırlanması, əlaqələndirilməsi və təsdiqlənməsi, həmçinin terminlər və şirkətin digər məlumat aktivləri arasında əlaqə yaratmaq üçün tam hüquqlu mühitdir. Biznes lüğətinə daxil edilməzdən əvvəl termin biznes müştəriləri və məlumatların keyfiyyət mərkəzi tərəfindən təsdiqlənmənin bütün mərhələlərindən keçməlidir. Yalnız bundan sonra istifadəyə verilir.

Yuxarıda yazdığım kimi, bu alətin unikallığı ondan ibarətdir ki, o, biznes termini səviyyəsindən onun istifadə olunduğu konkret istifadəçi hesabatlarına, eləcə də fiziki verilənlər bazası obyektləri səviyyəsinə qədər əlaqə yaratmağa imkan verir.

Bu, reyestr hesabatlarının təfərrüatlı təsvirində və fiziki verilənlər bazası obyektlərinin təsvirində lüğət termini identifikatorlarından istifadə etməklə mümkün olmuşdur.

Hal-hazırda Lüğətdə 4000-dən çox termin müəyyən edilmiş və razılaşdırılmışdır. Onun istifadəsi şirkətin informasiya sistemlərində daxil olan dəyişiklik sorğularının işlənməsini asanlaşdırır və sürətləndirir. Tələb olunan göstərici artıq hesabatda tətbiq edilibsə, istifadəçi dərhal bu göstəricidən istifadə edən hazır hesabatlar toplusunu görəcək və yeni hesabatın hazırlanması üçün yeni sorğulara başlamadan mövcud funksionallıqdan səmərəli şəkildə yenidən istifadə etmək və ya ona minimal dəyişikliklər etmək barədə qərar verə bilər.

Texniki Transformasiya Təsviri Modulu və DataLineage

Soruşa bilərsiniz ki, bu modullar nədir? Sadəcə Hesabat Reyestrinin və Lüğətin tətbiqi kifayət deyil; biz həmçinin fiziki verilənlər bazası modelində bütün biznes şərtlərini əsaslandırmalıyıq. Bu, bizə məlumat anbarının bütün təbəqələrində mənbə sistemlərindən tutmuş BI vizuallaşdırılmasına qədər verilənlərin həyat dövrünün qurulması prosesini başa çatdırmağa imkan verdi. Başqa sözlə, biz DataLineage qurduq.

Biz məlumatların transformasiya qaydalarını və məntiqini təsvir etmək üçün şirkətin əvvəllər istifadə etdiyi formata əsaslanan interfeys hazırladıq. İnterfeys əvvəlki kimi eyni məlumatları qəbul edir, lakin biznes lüğətindən termin identifikatorunun müəyyən edilməsi artıq məcburidir. Biz biznes və fiziki təbəqələr arasında əlaqəni belə qururuq.

Bu kimə lazımdır? İllərdir istifadə etdiyimiz köhnə formatın nəyi pisdir? Tələbləri inkişaf etdirmək üçün tələb olunan səy nə qədər artdı? Aləti həyata keçirərkən bu suallarla qarşılaşdıq. Cavablar olduqca sadədir: şirkətimizin məlumat ofisi və istifadəçilərimiz də daxil olmaqla, hamımız buna ehtiyac duyuruq.

Həqiqətən də, işçilərimiz uyğunlaşmalı idi, bu da ilkin olaraq sənədləşdirmə səylərinin bir qədər artmasına səbəb oldu, lakin biz bu problemi həll etdik. Təcrübə, darboğazları müəyyən etmək və optimallaşdırmaq öz işini gördü. Biz əsas məqsədə nail olduq - işlənib hazırlanan tələblərin keyfiyyətini yüksəltmək. Məcburi sahələr, standartlaşdırılmış arayış kitabları, daxiletmə maskaları və daxili çeklər - bütün bunlar transformasiya təsvirlərinin keyfiyyətini əhəmiyyətli dərəcədə yaxşılaşdırdı. Biz skriptlərin inkişaf tələbləri kimi təhvil verilməsi təcrübəsindən imtina etdik və əvvəllər yalnız inkişaf komandası üçün mövcud olan bilikləri paylaşdıq. Yaranan metaməlumat bazası reqressiya təhlili üçün tələb olunan vaxtı əhəmiyyətli dərəcədə azaldır və İT landşaftının istənilən qatında (hesabatlar, aqreqatlar və mənbələr) dəyişikliklərin təsirinin sürətli qiymətləndirilməsinə imkan verir.

Bu, müntəzəm hesabat istifadəçiləri üçün nə deməkdir? Onlar üçün hansı faydalar var? DataLineage qurmaq bacarığı sayəsində istifadəçilərimiz, hətta SQL və digər proqramlaşdırma dilləri ilə tanış olmayanlar belə, müəyyən hesabat yaratmaq üçün istifadə olunan mənbələr və obyektlər haqqında məlumatları tez əldə edirlər.

Məlumatların Keyfiyyətinə Nəzarət Modulu

İstifadəçilərə təqdim etdiyimiz məlumatların dəqiq olmasını təmin etmədən məlumatların şəffaflığı ilə bağlı yuxarıda müzakirə etdiyimiz hər şey mənasızdır. Data İdarəetmə konsepsiyamızın əsas komponentlərindən biri məlumat keyfiyyətinə nəzarət moduludur.

Hazırkı mərhələdə bu, seçilmiş qurumlar üçün çeklərin kataloqudur. Dərhal inkişaf məqsədi çeklərin siyahısını genişləndirmək və hesabat reyestrinə inteqrasiya etməkdir.
Bu nə demək olacaq və kimin üçün? Reyestrin son istifadəçisi hesabatın planlaşdırılmış və faktiki tamamlanma tarixləri, tamamlanmış auditlərin nəticələri və onların dinamikası, hesabata yüklənmiş mənbələr haqqında məlumat əldə edə biləcək.

Bizim üçün iş axınlarımıza inteqrasiya olunmuş məlumat keyfiyyəti modulu o deməkdir:

• Müştəri gözləntilərinin operativ formalaşdırılması.
• Məlumatların sonrakı istifadəsi ilə bağlı qərarların qəbul edilməsi.
• Müntəzəm keyfiyyətə nəzarəti inkişaf etdirmək üçün işin ilkin mərhələlərində problem nöqtələrinin ilkin toplusunun əldə edilməsi.

Əlbəttə ki, bunlar hərtərəfli məlumat idarəetmə prosesinin qurulmasında ilk addımlardır. Lakin biz əminik ki, yalnız bu işə diqqət yetirməklə və DataGovernance alətlərini iş prosesimizə fəal şəkildə inteqrasiya etməklə biz müştərilərimizə məlumat, onların məlumatlarına yüksək səviyyədə inam, onların qəbulunda şəffaflıq təmin edəcəyik və yeni funksionallığın tətbiqini sürətləndirəcəyik.

DataOffice Komandası

Mənbə: www.habr.com