Hey Xabr!
Ma'lumotlar kompaniyaning eng qimmatli aktividir. Raqamli markazga ega bo'lgan deyarli har bir kompaniya buni e'lon qiladi. Bu bilan bahslashish qiyin: ma'lumotlarni boshqarish, saqlash va qayta ishlashga yondashuvlarni muhokama qilmasdan bironta ham yirik IT konferentsiyasi o'tkazilmaydi.
Ma'lumotlar bizga tashqaridan keladi, ular kompaniya ichida ham ishlab chiqariladi va agar biz telekom kompaniyasining ma'lumotlari haqida gapiradigan bo'lsak, ichki xodimlar uchun bu mijoz, uning qiziqishlari, odatlari va joylashuvi haqidagi ma'lumotlar ombori. To'g'ri profillash va segmentatsiya bilan reklama takliflari eng samarali hisoblanadi. Biroq, amalda, hamma narsa juda pushti emas. Kompaniyalar saqlaydigan ma'lumotlar umidsiz ravishda eskirgan, keraksiz, takrorlanuvchi bo'lishi mumkin yoki uning mavjudligi tor doiradagi foydalanuvchilardan tashqari hech kimga noma'lum. ¯_(ツ)_/¯
Bir so'z bilan aytganda, ma'lumotlar samarali boshqarilishi kerak - shundagina u biznesga real foyda va foyda keltiradigan aktivga aylanadi. Afsuski, ma'lumotlarni boshqarish muammolarini hal qilish juda ko'p murakkabliklarni engib o'tishni talab qiladi. Ular, asosan, tizimlarning "hayvonot bog'lari" ko'rinishidagi tarixiy meros va ularni boshqarishda yagona jarayonlar va yondashuvlarning yo'qligi bilan bog'liq. Ammo "ma'lumotlarga asoslangan" bo'lish nimani anglatadi?
Aynan shu haqida biz kesma ostida gaplashamiz, shuningdek, ochiq manbali stek bizga qanday yordam bergan.
Strategik ma'lumotlarni boshqarish tushunchasi Ma'lumotlarni boshqarish (DG) Rossiya bozorida allaqachon yaxshi ma'lum va uni amalga oshirish natijasida biznes tomonidan erishilgan maqsadlar aniq va aniq e'lon qilingan. Bizning kompaniyamiz bundan mustasno emas edi va o'z oldiga ma'lumotlarni boshqarish kontseptsiyasini joriy etish vazifasini qo'ydi.
Xo'sh, biz qaerdan boshladik? Boshlash uchun biz o'zimizga asosiy maqsadlarni belgilab oldik:
- Maʼlumotlarimiz ochiq boʻlsin.
- Ma'lumotlarning hayot aylanishining shaffofligini ta'minlash.
- Kompaniya foydalanuvchilarini izchil, izchil ma'lumotlar bilan ta'minlash.
- Kompaniya foydalanuvchilarini tasdiqlangan ma'lumotlar bilan ta'minlash.
Bugungi kunda dasturiy ta'minot bozorida Data Governance sinfining o'nlab vositalari mavjud.
Ammo yechimlarni batafsil tahlil qilish va o'rganishdan so'ng biz o'zimiz uchun bir qator tanqidiy sharhlarni yozdik:
- Aksariyat ishlab chiqaruvchilar keng qamrovli echimlar to'plamini taklif qilishadi, bu biz uchun ortiqcha va mavjud funksiyalarni takrorlaydi. Bundan tashqari, resurslar jihatidan qimmat, hozirgi IT landshaftiga integratsiya.
- Funktsionallik va interfeys oxirgi biznes foydalanuvchilari uchun emas, balki texnologlar uchun mo'ljallangan.
- Mahsulotlarning past omon qolish darajasi va Rossiya bozorida muvaffaqiyatli amalga oshirilmaganligi.
- Dasturiy ta'minotning yuqori narxi va qo'shimcha yordam.
Rossiya kompaniyalari uchun dasturiy ta'minotni import o'rnini bosish bo'yicha yuqorida aytilgan mezonlar va tavsiyalar bizni ochiq manbali stekda o'z rivojlanishimiz sari harakatlanishimizga ishontirdi. Biz tanlagan platforma Django, Python-da yozilgan bepul va ochiq manbali ramka edi. Shunday qilib, biz yuqorida ko'rsatilgan maqsadlarga hissa qo'shadigan asosiy modullarni aniqladik:
- Hisobotlar reestri.
- Biznes lug'ati.
- Texnik transformatsiyalarni tavsiflash moduli.
- Manbadan BI vositasigacha bo'lgan ma'lumotlarning hayot aylanishini tavsiflash uchun modul.
- Ma'lumotlar sifatini nazorat qilish moduli.
Hisobotlar reestri
Yirik kompaniyalarda o'tkazilgan ichki tadqiqotlar natijalariga ko'ra, ma'lumotlar bilan bog'liq muammolarni hal qilishda xodimlar vaqtlarining 40-80 foizini ularni qidirishga sarflashadi. Shu sababli, biz o'z oldimizga ilgari faqat mijozlar uchun mavjud bo'lgan mavjud hisobotlar haqida ochiq ma'lumot berish vazifasini qo'ydik. Shunday qilib, biz yangi hisobotlarni yaratish vaqtini qisqartiramiz va ma'lumotlarni demokratlashtirishni ta'minlaymiz.
Hisobot reestri turli hududlar, boshqarma va bo‘limlardan bo‘lgan ichki foydalanuvchilar uchun yagona hisobot oynasiga aylandi. U kompaniyaning bir nechta korporativ omborlarida yaratilgan axborot xizmatlari haqidagi ma'lumotlarni birlashtiradi va ularning ko'plari Rostelekomda mavjud.
Ammo reestr faqat ishlab chiqilgan hisobotlarning quruq ro'yxati emas. Har bir hisobot uchun biz foydalanuvchining u bilan tanishishi uchun zarur bo'lgan ma'lumotlarni taqdim etamiz:
- hisobotning qisqacha tavsifi;
- ma'lumotlarning mavjudligi chuqurligi;
- mijozlar segmenti;
- vizualizatsiya vositasi;
- korporativ omborning nomi;
- biznesning funktsional talablari;
- hisobotga havola;
- kirish uchun ilovaga havola;
- amalga oshirish holati.
Hisobotlar uchun foydalanish darajasi tahlili mavjud va hisobotlar noyob foydalanuvchilar soniga asoslangan jurnal tahlili asosida roʻyxatning yuqori qismida tartiblangan. Va bu emas. Umumiy xususiyatlarga qo'shimcha ravishda, biz qiymatlar va hisoblash usullari misollari bilan hisobotlarning atribut tarkibining batafsil tavsifini taqdim etdik. Bunday tafsilot foydalanuvchiga hisobot u uchun foydalimi yoki yo'qmi, darhol javob beradi.
Ushbu modulning ishlab chiqilishi ma'lumotlarni demokratlashtirishda muhim qadam bo'ldi va kerakli ma'lumotlarni topish vaqtini sezilarli darajada qisqartirdi. Qidiruv vaqtini qisqartirishdan tashqari, qo'llab-quvvatlash guruhiga maslahat berish uchun so'rovlar soni ham kamaydi. Hisobotlarning yagona reestrini ishlab chiqish orqali erishilgan yana bir foydali natijani qayd etmaslikning iloji yo'q - turli tuzilmaviy bo'linmalar uchun takroriy hisobotlar ishlab chiqilishining oldini olish.
Biznes lug'ati
Hammangiz bilasizki, hatto bitta kompaniya ichida ham korxonalar turli tillarda gaplashadi. Ha, ular bir xil atamalardan foydalanadilar, lekin ular butunlay boshqa narsalarni anglatadi. Ushbu muammoni hal qilish uchun biznes lug'ati ishlab chiqilgan.
Biz uchun biznes lug'ati shunchaki atamalar tavsifi va hisoblash metodologiyasi mavjud ma'lumotnoma emas. Bu terminologiyani ishlab chiqish, kelishish va tasdiqlash, shartlar va kompaniyaning boshqa axborot aktivlari o'rtasidagi munosabatlarni o'rnatish uchun to'liq huquqli muhit. Biznes lug'atiga kirishdan oldin, atama biznes mijozlari va ma'lumotlar sifati markazi bilan tasdiqlashning barcha bosqichlaridan o'tishi kerak. Shundan keyingina foydalanish mumkin bo'ladi.
Yuqorida yozganimdek, ushbu vositaning o'ziga xosligi shundaki, u biznes termini darajasidan u ishlatiladigan foydalanuvchining aniq hisobotlariga, shuningdek, jismoniy ma'lumotlar bazasi ob'ektlari darajasiga ulanish imkonini beradi.
Bu ro'yxatga olish hisobotlarini batafsil tavsiflashda va jismoniy ma'lumotlar bazasi ob'ektlarini tavsiflashda lug'at atama identifikatorlaridan foydalanish orqali mumkin bo'ladi.
Hozirgi vaqtda Lug'atda 4000 dan ortiq atama aniqlangan va kelishilgan. Uning qo‘llanilishi kompaniyaning axborot tizimlariga o‘zgartirishlar kiritish bo‘yicha kiruvchi so‘rovlarni ko‘rib chiqishni soddalashtiradi va tezlashtiradi. Agar talab qilinadigan ko'rsatkich har qanday hisobotda allaqachon amalga oshirilgan bo'lsa, foydalanuvchi darhol ushbu ko'rsatkich qo'llaniladigan tayyor hisobotlar to'plamini ko'radi va mavjud funktsiyadan samarali qayta foydalanish yoki uni minimal o'zgartirish to'g'risida qaror qabul qilishi mumkin. yangi hisobotni ishlab chiqish uchun yangi so'rovlar.
Texnik transformatsiyalarni va DataLineageni tavsiflash uchun modul
Bu modullar nima, deb so'rayapsizmi? Hisobot registrini va lug'atni amalga oshirishning o'zi kifoya emas, shuningdek, barcha biznes shartlarini jismoniy ma'lumotlar bazasi modeliga asoslash kerak. Shunday qilib, biz ma'lumotlar omborining barcha qatlamlari orqali manba tizimlaridan BI vizualizatsiyasiga qadar ma'lumotlarning hayot aylanishini shakllantirish jarayonini yakunlashga muvaffaq bo'ldik. Boshqacha qilib aytganda, DataLineage yarating.
Biz ma'lumotlarni o'zgartirish qoidalari va mantiqini tavsiflash uchun kompaniyada ilgari qo'llanilgan formatga asoslangan interfeysni ishlab chiqdik. Xuddi shu ma'lumot interfeys orqali avvalgidek kiritiladi, ammo biznes lug'atidan identifikator atamasining ta'rifi zaruriy shartga aylandi. Shunday qilib, biz biznes va jismoniy qatlamlar o'rtasida aloqa o'rnatamiz.
Kimga kerak? Siz bir necha yil ishlagan eski formatda nima noto'g'ri edi? Talablarni ishlab chiqarish uchun mehnat xarajatlari qanchaga oshdi? Asbobni amalga oshirish jarayonida biz bunday savollar bilan shug'ullanishimiz kerak edi. Bu erda javoblar juda oddiy - bu barchamizga kerak, kompaniyamizning ma'lumotlar ofisi va bizning foydalanuvchilarimiz.
Darhaqiqat, xodimlar moslashishlari kerak edi, bu dastlab hujjatlarni tayyorlash uchun mehnat xarajatlarining biroz oshishiga olib keldi, ammo biz bu masalani hal qildik. Amaliyot, muammoli joylarni aniqlash va optimallashtirish o'z vazifalarini bajardi. Biz asosiy narsaga erishdik - ishlab chiqilgan talablar sifatini oshirdik. Majburiy maydonlar, yagona ma'lumotnomalar, kirish maskalari, o'rnatilgan tekshiruvlar - bularning barchasi transformatsiya tavsiflarining sifatini sezilarli darajada yaxshilashga imkon berdi. Biz skriptlarni ishlab chiqish talabi sifatida topshirish amaliyotidan uzoqlashdik va faqat ishlab chiquvchilar jamoasi uchun mavjud bo'lgan umumiy bilimlar. Yaratilgan metama'lumotlar bazasi regressiya tahlilini o'tkazish uchun zarur bo'lgan vaqtni sezilarli darajada qisqartiradi va o'zgarishlarning IT landshaftining istalgan qatlamiga ta'sirini tezda baholash imkoniyatini beradi (vitrinalar hisobotlari, agregatlar, manbalar).
Bu hisobotlarning oddiy foydalanuvchilariga qanday aloqasi bor, ular uchun qanday afzalliklarga ega? DataLineage-ni yaratish qobiliyati tufayli bizning foydalanuvchilarimiz, hatto SQL va boshqa dasturlash tillaridan uzoq bo'lganlar ham, ma'lum bir hisobot yaratiladigan manbalar va ob'ektlar haqida tezda ma'lumot olishadi.
Ma'lumotlar sifatini nazorat qilish moduli
Ma'lumotlar shaffofligini ta'minlash nuqtai nazaridan biz yuqorida aytib o'tgan hamma narsa foydalanuvchilarga bergan ma'lumotlarning to'g'ri ekanligini tushunmasdan muhim emas. Maʼlumotlarni boshqarish konsepsiyamizning muhim modullaridan biri maʼlumotlar sifatini nazorat qilish modulidir.
Hozirgi bosqichda bu tanlangan ob'ektlar uchun tekshiruvlar katalogi. Mahsulotni ishlab chiqishning bevosita maqsadi tekshiruvlar ro'yxatini kengaytirish va hisobot reestri bilan integratsiya qilishdir.
U nima beradi va kimga? Ro'yxatga olish kitobining oxirgi foydalanuvchisi hisobotni tayyorlashning rejalashtirilgan va haqiqiy sanalari, dinamika bilan yakunlangan tekshirish natijalari va hisobotga yuklangan manbalar to'g'risidagi ma'lumotlarga ega bo'ladi.
Biz uchun ish jarayonlarimizga integratsiyalangan ma'lumotlar sifati moduli:
- Mijozlarning umidlarini tezda shakllantirish.
- Ma'lumotlardan keyingi foydalanish bo'yicha qarorlar qabul qilish.
- Muntazam sifat nazoratini ishlab chiqish uchun ishning dastlabki bosqichlarida muammoli nuqtalarning dastlabki to'plamini olish.
Albatta, bu to'liq huquqli ma'lumotlarni boshqarish jarayonini qurishning birinchi qadamlari. Ammo biz ishonchimiz komilki, bu ishni maqsadli amalga oshirib, maʼlumotlarni boshqarish vositalarini ish jarayoniga faol joriy etgan holda, biz oʻz mijozlarimizga axborot mazmunini, maʼlumotlarga yuqori darajadagi ishonchni, ularni qabul qilishda shaffoflikni taʼminlaymiz va ishga tushirish tezligini oshiramiz. yangi funksionallik.
DataOffice jamoasi
Manba: www.habr.com