Hey Habr!
Məlumat şirkətin ən qiymətli aktividir. Rəqəmsal fokuslu demək olar ki, hər bir şirkət bunu bəyan edir. Bununla mübahisə etmək çətindir: məlumatların idarə edilməsi, saxlanması və emalına yanaşmalar müzakirə edilmədən heç bir böyük İT konfransı keçirilmir.
Məlumat bizə kənardan gəlir, o, həm də şirkət daxilində yaradılır və əgər bir telekommunikasiya şirkətinin məlumatlarından danışırıqsa, daxili işçilər üçün bu, müştəri, onun maraqları, vərdişləri və yeri haqqında məlumat anbarıdır. Düzgün profilləşdirmə və seqmentləşdirmə ilə reklam təklifləri ən təsirli olur. Ancaq praktikada hər şey o qədər də çəhrayı deyil. Şirkətlərin saxladığı məlumatlar ümidsiz şəkildə köhnəlmiş, lazımsız, təkrarlanan ola bilər və ya onların mövcudluğu dar bir istifadəçi dairəsi istisna olmaqla, heç kimə məlum deyil. ¯_(ツ)_/¯
Bir sözlə, məlumatlar effektiv şəkildə idarə olunmalıdır - yalnız bundan sonra o, biznesə real fayda və mənfəət gətirən aktivə çevriləcəkdir. Təəssüf ki, məlumatların idarə edilməsi məsələlərinin həlli kifayət qədər çox mürəkkəbliyin aradan qaldırılmasını tələb edir. Bunlar əsasən həm sistemlərin “zooparkları” şəklində tarixi irs, həm də onların idarə olunmasında vahid proseslərin və yanaşmaların olmaması ilə bağlıdır. Bəs “məlumatlara əsaslanan” olmaq nə deməkdir?
Bu, kəsik altında danışacağımız şey, eləcə də açıq mənbə yığınının bizə necə kömək etdiyidir.
Strateji məlumatların idarə edilməsi konsepsiyası Data Governance (DG) artıq Rusiya bazarında kifayət qədər yaxşı məlumdur və onun həyata keçirilməsi nəticəsində biznesin əldə etdiyi məqsədlər aydın və aydın şəkildə bəyan edilmişdir. Şirkətimiz də istisna olmadı və öz qarşısına verilənlərin idarə edilməsi konsepsiyasını təqdim etmək vəzifəsini qoydu.
Bəs biz haradan başladıq? Başlamaq üçün özümüz üçün əsas məqsədləri formalaşdırdıq:
- Məlumatlarımızı əlçatan saxlayın.
- Məlumatların həyat dövrünün şəffaflığını təmin edin.
- Şirkət istifadəçilərini ardıcıl, ardıcıl məlumatlarla təmin edin.
- Şirkət istifadəçilərini təsdiqlənmiş məlumatlarla təmin edin.
Bu gün proqram bazarında onlarla Data Governance sinfi aləti mövcuddur.
Ancaq həllərin ətraflı təhlili və öyrənilməsindən sonra özümüz üçün bir sıra tənqidi şərhlər qeyd etdik:
- Əksər istehsalçılar bizim üçün lazımsız olan və mövcud funksionallığı təkrarlayan hərtərəfli həllər dəsti təklif edirlər. Üstəlik, resurslar baxımından bahalı, mövcud İT mənzərəsinə inteqrasiya.
- Funksionallıq və interfeys son biznes istifadəçiləri üçün deyil, texnoloqlar üçün nəzərdə tutulub.
- Məhsulların aşağı sağ qalma dərəcəsi və Rusiya bazarında uğurlu tətbiqlərin olmaması.
- Proqram təminatının yüksək qiyməti və əlavə dəstək.
Rusiya şirkətləri üçün proqram təminatının idxalı ilə əvəzlənməsi ilə bağlı yuxarıda səslənən meyarlar və tövsiyələr bizi açıq mənbə yığını üzərində öz inkişafımıza doğru irəliləməyə inandırdı. Seçdiyimiz platforma Python-da yazılmış pulsuz və açıq mənbə çərçivəsi olan Django idi. Beləliklə, yuxarıda göstərilən məqsədlərə töhfə verəcək əsas modulları müəyyən etdik:
- Hesabatların reyestri.
- Biznes lüğəti.
- Texniki transformasiyaları təsvir etmək üçün modul.
- Mənbədən BI alətinə qədər verilənlərin həyat dövrünü təsvir etmək üçün modul.
- Məlumatların keyfiyyətinə nəzarət modulu.
Hesabatların reyestri
Böyük şirkətlərdə aparılan daxili araşdırmaların nəticələrinə görə, məlumatlarla bağlı problemləri həll edərkən işçilər vaxtlarının 40-80%-ni onları axtarmağa sərf edirlər. Buna görə də biz qarşımıza əvvəllər yalnız müştərilər üçün mövcud olan mövcud hesabatlar haqqında açıq məlumat vermək vəzifəsini qoymuşuq. Beləliklə, biz yeni hesabatların yaradılması üçün vaxtı azaldır və məlumatların demokratikləşməsini təmin edirik.
Hesabat reyestri müxtəlif bölgələrdən, departamentlərdən və şöbələrdən olan daxili istifadəçilər üçün vahid hesabat pəncərəsinə çevrilmişdir. Bu, şirkətin bir neçə korporativ depolarında yaradılmış məlumat xidmətləri haqqında məlumatları birləşdirir və Rostelecom-da onların çoxu var.
Lakin reyestr sadəcə hazırlanmış hesabatların quru siyahısı deyil. Hər bir hesabat üçün istifadəçinin onunla tanış olması üçün lazım olan məlumatları təqdim edirik:
- hesabatın qısa təsviri;
- məlumatların mövcudluğunun dərinliyi;
- müştəri seqmenti;
- vizuallaşdırma aləti;
- korporativ anbarın adı;
- biznesin funksional tələbləri;
- hesabata keçid;
- giriş üçün tətbiqə keçid;
- icra vəziyyəti.
İstifadə səviyyəsinin analitikası hesabatlar üçün əlçatandır və hesabatlar unikal istifadəçilərin sayına əsaslanan log analitikasına əsasən siyahının yuxarısında sıralanır. Və bu deyil. Ümumi xüsusiyyətlərə əlavə olaraq, dəyərlər və hesablama üsulları nümunələri ilə hesabatların atribut tərkibinin ətraflı təsvirini də təqdim etdik. Bu cür təfərrüatlar istifadəçiyə hesabatın onun üçün faydalı olub-olmadığını dərhal cavablandırır.
Bu modulun hazırlanması məlumatların demokratikləşdirilməsində mühüm addım oldu və tələb olunan məlumatın tapılması üçün lazım olan vaxtı əhəmiyyətli dərəcədə azaldıb. Axtarış vaxtının azaldılması ilə yanaşı, dəstək qrupuna məsləhətlər vermək üçün müraciətlərin sayı da azalıb. Hesabatların vahid reyestrinin hazırlanması ilə əldə etdiyimiz daha bir faydalı nəticəni - ayrı-ayrı struktur bölmələri üzrə təkrar hesabatların hazırlanmasının qarşısının alınmasını qeyd etməmək mümkün deyil.
Biznes lüğəti
Hamınız bilirsiniz ki, hətta eyni şirkət daxilində müəssisələr müxtəlif dillərdə danışırlar. Bəli, eyni terminləri işlədirlər, lakin tamamilə fərqli mənaları ifadə edirlər. Bu problemi həll etmək üçün biznes lüğəti hazırlanmışdır.
Bizim üçün biznes lüğəti sadəcə terminlərin və hesablama metodologiyasının təsviri olan istinad kitabı deyil. Bu, terminologiyanın işlənib hazırlanması, razılaşdırılması və təsdiqlənməsi, terminlər və şirkətin digər informasiya aktivləri arasında əlaqələrin qurulması üçün tam hüquqlu mühitdir. Biznes lüğətinə daxil edilməzdən əvvəl termin biznes müştəriləri və məlumatların keyfiyyət mərkəzi ilə təsdiqlənmənin bütün mərhələlərindən keçməlidir. Yalnız bundan sonra istifadə üçün əlçatan olur.
Yuxarıda yazdığım kimi, bu alətin unikallığı ondan ibarətdir ki, o, biznes termini səviyyəsindən onun istifadə olunduğu konkret istifadəçi hesabatlarına, eləcə də fiziki verilənlər bazası obyektləri səviyyəsinə qədər əlaqə yaratmağa imkan verir.
Bu, reyestr hesabatlarının təfərrüatlı təsvirində və fiziki verilənlər bazası obyektlərinin təsvirində lüğət termini identifikatorlarından istifadə etməklə mümkün olur.
Hazırda Lüğətdə 4000-dən çox termin müəyyən edilib və razılaşdırılıb. Onun istifadəsi şirkətin informasiya sistemlərində dəyişikliklərlə bağlı daxil olan müraciətlərin işlənməsini asanlaşdırır və sürətləndirir. Əgər tələb olunan göstərici hər hansı hesabatda artıq tətbiq edilibsə, onda istifadəçi dərhal bu göstəricinin istifadə olunduğu bir sıra hazır hesabatları görəcək və işə başlamadan mövcud funksionallığın effektiv təkrar istifadəsi və ya onun minimal modifikasiyası barədə qərar qəbul edə biləcək. yeni hesabatın hazırlanması üçün yeni sorğular.
Texniki transformasiyaları və DataLineage-i təsvir etmək üçün modul
Soruşursunuz ki, bu modullar nədir? Sadəcə Hesabat Reyestrinin və Lüğətin tətbiqi kifayət deyil, həm də bütün biznes şərtlərini fiziki verilənlər bazası modelinə əsaslandırmaq lazımdır. Beləliklə, biz məlumat anbarının bütün təbəqələri vasitəsilə mənbə sistemlərindən BI vizuallaşdırılmasına qədər verilənlərin həyat dövrünün formalaşdırılması prosesini başa çatdıra bildik. Başqa sözlə, DataLineage qurun.
Biz məlumatların çevrilməsi qaydalarını və məntiqini təsvir etmək üçün əvvəllər şirkətdə istifadə olunan formata əsaslanan interfeys hazırladıq. Əvvəlki kimi eyni məlumat interfeys vasitəsilə daxil edilir, lakin biznes lüğətindən identifikator termininin tərifi ilkin şərtə çevrilib. Biz biznes və fiziki təbəqələr arasında əlaqəni belə qururuq.
Kimə lazımdır? Bir neçə il işlədiyiniz köhnə formatda nə səhv idi? Tələblərin yaradılması üçün əmək xərcləri nə qədər artıb? Alətin tətbiqi zamanı belə suallarla qarşılaşmalı olduq. Burada cavablar olduqca sadədir - hamımızın buna, şirkətimizin məlumat ofisinə və istifadəçilərimizə ehtiyacı var.
Həqiqətən də, işçilər uyğunlaşmalı idilər, əvvəlcə bu, sənədlərin hazırlanması üçün əmək xərclərinin bir qədər artmasına səbəb oldu, lakin biz bu məsələni həll etdik. Təcrübə, problemli sahələrin müəyyən edilməsi və optimallaşdırılması öz işini gördü. Biz əsas şeyə nail olduq - hazırlanmış tələblərin keyfiyyətini yaxşılaşdırdıq. Məcburi sahələr, vahid arayış kitabları, giriş maskaları, quraşdırılmış çeklər - bütün bunlar transformasiya təsvirlərinin keyfiyyətini əhəmiyyətli dərəcədə yaxşılaşdırmağa imkan verdi. Biz inkişaf tələbləri şəklində skriptlərin təhvil verilməsi praktikasından uzaqlaşdıq və yalnız inkişaf komandası üçün mövcud olan bilikləri paylaşdıq. Yaradılmış metaməlumatlar bazası reqressiya təhlilinin aparılması üçün tələb olunan vaxtı əhəmiyyətli dərəcədə azaldır və dəyişikliklərin İT landşaftının istənilən qatına (vitrin hesabatları, aqreqatlar, mənbələr) təsirini tez qiymətləndirmək imkanı verir.
Bunun adi hesabat istifadəçilərinə nə dəxli var, onlar üçün hansı üstünlüklər var? DataLineage qurmaq imkanı sayəsində istifadəçilərimiz, hətta SQL və digər proqramlaşdırma dillərindən uzaq olanlar da, əsasında konkret hesabatın yaradıldığı mənbələr və obyektlər haqqında məlumatı tez qəbul edirlər.
Məlumatların Keyfiyyətinə Nəzarət Modulu
Məlumatların şəffaflığının təmin edilməsi baxımından yuxarıda danışdığımız hər şey istifadəçilərə verdiyimiz məlumatların düzgün olduğunu anlamadan vacib deyil. Data İdarəetmə konsepsiyamızın mühüm modullarından biri məlumat keyfiyyətinə nəzarət moduludur.
Hazırkı mərhələdə bu, seçilmiş qurumlar üçün çeklərin kataloqudur. Məhsulun inkişafı üçün bilavasitə məqsəd yoxlamaların siyahısını genişləndirmək və hesabat reyestrinə inteqrasiya etməkdir.
Nə verəcək və kimə? Reyestrin son istifadəçisi hesabatın hazırlığının planlaşdırılmış və faktiki tarixləri, dinamikası ilə tamamlanmış yoxlamaların nəticələri və hesabata yüklənmiş mənbələr haqqında məlumat əldə edə biləcək.
Bizim üçün iş proseslərimizə inteqrasiya olunmuş məlumat keyfiyyəti modulu:
- Müştəri gözləntilərinin operativ formalaşdırılması.
- Məlumatların sonrakı istifadəsi ilə bağlı qərarların qəbul edilməsi.
- Müntəzəm keyfiyyətə nəzarətin inkişafı üçün işin ilkin mərhələlərində problem nöqtələrinin ilkin toplusunun əldə edilməsi.
Əlbəttə ki, bunlar tam hüquqlu məlumatların idarə edilməsi prosesinin qurulmasında ilk addımlardır. Lakin biz əminik ki, yalnız bu işi məqsədyönlü şəkildə yerinə yetirməklə, Data İdarəetmə alətlərini iş prosesinə fəal şəkildə tətbiq etməklə biz müştərilərimizə informasiya məzmunu, məlumatlara yüksək inam, onların qəbulunda şəffaflıq təmin edəcəyik və işə salınma sürətini artıracağıq. yeni funksionallıq.
DataOffice Komandası
Mənbə: www.habr.com