Эй Хабр!
Маалымат - бул компаниянын эң баалуу активи. Дээрлик ар бир санариптик компания муну ырастайт. Муну менен талашуу кыйын: бир дагы ири IT конференциясы маалыматтарды башкаруу, сактоо жана иштетүү ыкмаларын талкуулоосуз өткөрүлбөйт.
Берилиштер бизге сырттан келет, ал компаниянын ичинде да түзүлөт, эгер биз телекоммуникация компаниясынын маалыматтары жөнүндө айтсак, анда ички кызматкерлер үчүн бул кардар, анын кызыкчылыктары, адаттары жана жайгашкан жери жөнүндө маалымат кампасы. Туура профилдештирүү жана сегменттөө менен жарнамалык сунуштар эң эффективдүү. Бирок, иш жүзүндө, баары ушунчалык кызгылт эмес. Компаниялар сактаган маалыматтар үмүтсүз эскирген, ашыкча, кайталануучу болушу мүмкүн же анын бар экендиги колдонуучулардын тар чөйрөсүнөн башка эч кимге белгисиз. ¯_(ツ)_/¯
Бир сөз менен айтканда, маалыматтар эффективдүү башкарылууга тийиш – ошондо гана ал бизнеске реалдуу пайда жана пайда алып келе турган активге айланат. Тилекке каршы, маалыматтарды башкаруу маселелерин чечүү бир топ татаалдыктарды жеңүүнү талап кылат. Алар негизинен системалардын “зоопарктары” түрүндөгү тарыхый мураска да, аларды башкарууга бирдиктүү процесстердин жана ыкмалардын жоктугуна да байланыштуу. Бирок "маалыматтарга негизделген" деген эмнени билдирет?
Дал ушул нерсе жөнүндө сөз кылабыз, ошондой эле ачык булак стек бизге кандайча жардам берген.
Стратегиялык маалыматтарды башкаруу концепциясы Data Governance (DG) Россиянын рыногунда буга чейин эле белгилүү жана аны ишке ашыруунун натыйжасында бизнестин жетишкен максаттары так жана так жарыяланган. Биздин компания да четте калган жок жана маалыматтарды башкаруу концепциясын киргизүү милдетин койду.
Анда биз эмнеден баштадык? Баштоо үчүн, биз өзүбүзгө негизги максаттарды түздүк:
- Биздин маалыматтар жеткиликтүү болсун.
- Маалыматтын жашоо циклинин ачыктыгын камсыз кылуу.
- Компаниянын колдонуучуларын ырааттуу, ырааттуу маалыматтар менен камсыз кылуу.
- Компаниянын колдонуучуларын текшерилген маалыматтар менен камсыз кылуу.
Бүгүнкү күндө программалык камсыздоо рыногунда Data Governance классынын ондогон куралдары бар.
Бирок деталдуу талдоодон жана чечимдерди изилдөөдөн кийин, биз өзүбүз үчүн бир катар сын пикирлерди жаздык:
- Көпчүлүк өндүрүүчүлөр биз үчүн ашыкча жана учурдагы функцияларды кайталаган чечимдердин комплексин сунушташат. Мындан тышкары, ресурстар жагынан кымбат, азыркы IT ландшафтына интеграция.
- Функционалдык жана интерфейс бизнестин акыркы колдонуучулары үчүн эмес, технологдор үчүн иштелип чыккан.
- Продукциялардын жашоо деңгээли төмөн жана орус рыногунда ийгиликтүү ишке ашырылбагандыгы.
- Программалык камсыздоонун жогорку баасы жана андан ары колдоо.
Орус компаниялары үчүн программалык камсыздоону импортту алмаштыруу боюнча жогоруда айтылган критерийлер жана сунуштар бизди ачык булак стекинде өзүбүздүн өнүгүүбүзгө ынандырды. Биз тандаган платформа Django болду, Python тилинде жазылган эркин жана ачык булак алкагы. Ошентип, биз жогоруда айтылган максаттарга салым кошо турган негизги модулдарды аныктадык:
- Отчеттордун реестри.
- Бизнес глоссарий.
- Техникалык трансформацияларды сүрөттөө үчүн модуль.
- Булактан BI инструментине чейинки маалыматтардын жашоо циклин сүрөттөө үчүн модул.
- Маалыматтын сапатын башкаруу модулу.
Отчеттордун реестри
Ири компаниялардагы ички изилдөөлөрдүн жыйынтыгы боюнча, маалыматтарга байланышкан маселелерди чечүүдө кызматкерлер убактысынын 40-80% аларды издөөгө жумшашат. Ошондуктан, биз өзүбүздүн алдыбызга мурда кардарлар үчүн гана жеткиликтүү болгон болгон отчеттор жөнүндө ачык маалымат түзүү милдетин койдук. Ошентип, биз жаңы отчетторду түзүү убактысын кыскартып, маалыматтарды демократиялаштырууну камсыз кылабыз.
Отчеттук реестр ар кайсы региондордон, ведомстволордон жана бөлүмдөрдөн ички колдонуучулар үчүн бирдиктүү отчеттук терезе болуп калды. Ал компаниянын бир нече корпоративдик репозиторийлеринде түзүлгөн маалыматтык кызматтар жөнүндө маалыматты бириктирет жана алардын көбү Ростелекомдо бар.
Бирок реестр иштелип чыккан отчеттордун кургак тизмеси эмес. Ар бир отчет үчүн биз колдонуучуга аны менен таанышуу үчүн керектүү маалыматтарды беребиз:
- отчеттун кыскача баяндамасы;
- маалыматтардын жеткиликтүүлүгүнүн тереңдиги;
- кардар сегменти;
- визуализация куралы;
- корпоративдик сактоо жайынын аталышы;
- бизнестин функционалдык талаптары;
- отчетко шилтеме;
- кирүү үчүн колдонмого шилтеме;
- ишке ашыруу абалы.
Колдонуу деңгээлинин аналитикасы отчеттор үчүн жеткиликтүү жана отчеттор уникалдуу колдонуучулардын санына негизделген лог аналитикасынын негизинде тизменин башында жайгаштырылат. А бул эмес. Жалпы мүнөздөмөлөрдөн тышкары, биз баалуулуктардын жана эсептөө ыкмаларынын мисалдары менен отчеттордун атрибуттук курамынын деталдуу сүрөттөлүшүн бердик. Мындай деталдаштыруу колдонуучуга отчеттун ал үчүн пайдалуубу же жокпу, дароо жооп берет.
Бул модулдун иштелип чыгышы маалыматтарды демократиялаштыруудагы маанилүү кадам болду жана талап кылынган маалыматты табууга кеткен убакытты бир топ кыскартты. Издөө убактысын кыскартуудан тышкары, колдоо тобуна консультация берүү өтүнүчү да азайды. Отчеттордун бирдиктүү реестрин иштеп чыгуу аркылуу жетишилген дагы бир пайдалуу натыйжаны белгилебей коюуга болбойт – ар кандай түзүмдүк бөлүмдөр үчүн кайталанган отчетторду иштеп чыгууга жол бербөө.
Бизнес глоссарий
Баарыңар билесиңер, атүгүл бир эле компаниянын ичинде ишканалар ар башка тилде сүйлөшөт. Ооба, алар бирдей терминдерди колдонушат, бирок алар такыр башка нерселерди билдирет. Бизнес глоссарий бул маселени чечүү үчүн иштелип чыккан.
Биз үчүн бизнес глоссарий терминдерди жана эсептөө методологиясын сүрөттөгөн маалымдама китепчеси эмес. Бул терминологияны иштеп чыгуу, макулдашуу жана бекитүү, терминдер менен компаниянын башка маалымат активдери ортосундагы мамилелерди куруу үчүн толук кандуу чөйрө. Бизнес глоссарийге кирүүдөн мурун, термин бизнес кардарлары жана маалыматтардын сапаты борбору менен бекитүүнүн бардык баскычтарынан өтүшү керек. Ошондон кийин гана колдонууга болот.
Мен жогоруда жазганымдай, бул инструменттин уникалдуулугу бул бизнес термининин деңгээлинен ал колдонулган колдонуучунун конкреттүү отчетторуна, ошондой эле маалымат базасынын физикалык объекттеринин деңгээлине байланышууга мүмкүндүк берет.
Бул реестрдик отчеттордун деталдуу сыпатталышында жана маалыматтар базасынын физикалык объекттеринин сыпатталышында глоссарий терминдердин идентификаторлорун колдонуу аркылуу мүмкүн болот.
Учурда Глоссарийде 4000ден ашык термин аныкталып, макулдашылган. Аны колдонуу компаниянын маалыматтык системаларына өзгөртүүлөрдү киргизүү жөнүндө келип түшкөн суроо-талаптарды иштеп чыгууну жөнөкөйлөтөт жана тездетет. Эгерде талап кылынган индикатор кандайдыр бир отчетто ишке ашырылган болсо, анда колдонуучу бул көрсөткүч колдонулган жерде даяр отчеттордун топтомун дароо көрөт жана колдонуудагы функцияларды эффективдүү кайра пайдалануу же анын минималдуу модификациясы жөнүндө чечим кабыл алат. жаңы отчетту иштеп чыгуу үчүн жаңы суроо-талаптар.
Техникалык трансформацияларды жана DataLineageди сүрөттөө үчүн модул
Бул модулдар эмне, деп сурайсыңбы? Отчеттордун реестрин жана Глоссарийди жөн гана ишке ашыруу жетишсиз, ошондой эле бардык бизнес-шарттарды физикалык маалыматтар базасынын моделине негиздөө зарыл. Ошентип, биз маалымат кампасынын бардык катмарлары аркылуу баштапкы системалардан BI визуализациясына чейин берилиштердин жашоо циклин түзүү процессин аягына чыгара алдык. Башка сөз менен айтканда, DataLineage түзүңүз.
Биз маалыматтарды трансформациялоонун эрежелерин жана логикасын сүрөттөө үчүн мурун компанияда колдонулган форматтын негизинде интерфейсти иштеп чыктык. Мурункудай эле маалымат интерфейс аркылуу киргизилет, бирок бизнес глоссарийден идентификатор термининин аныктамасы милдеттүү шарт болуп калды. Биз бизнес менен физикалык катмарлардын ортосундагы байланышты ушундайча курабыз.
Кимге керек? Сиз бир нече жыл иштеген эски форматта эмне ката кетти? Талаптарды жаратуу үчүн эмгек чыгымдары канчага өстү? Биз куралды ишке ашыруу учурунда ушундай суроолор менен күрөшүүгө туура келди. Бул жерде жооптор абдан жөнөкөй - бул баарыбызга керек, биздин компаниянын маалымат кеңсеси жана биздин колдонуучулар.
Чынында эле, кызматкерлер ыңгайлашууга туура келген, адегенде бул документтерди даярдоо үчүн эмгек чыгымдарынын бир аз жогорулашына алып келди, бирок биз бул маселени чечтик. Практика, көйгөйлүү аймактарды аныктоо жана оптималдаштыруу өз ишин аткарды. Биз башкы нерсеге жетиштик — иштелип чыккан талаптардын сапатын жакшырттык. Милдеттүү талаалар, бирдиктүү маалымдамалар, киргизүү маскалары, орнотулган чектер - мунун бардыгы трансформациянын сүрөттөмөлөрүнүн сапатын бир топ жакшыртууга мүмкүндүк берди. Биз скрипттерди иштеп чыгуу талаптары катары өткөрүп берүү практикасынан баш тарттык жана иштеп чыгуу тобуна гана жеткиликтүү болгон билимди бөлүштүк. Түзүлгөн метаберилиштер базасы регрессиялык анализ жүргүзүү үчүн талап кылынган убакытты бир топ кыскартат жана IT ландшафтынын каалаган катмарына өзгөрүүлөрдүн таасирин тез баалоо мүмкүнчүлүгүн берет (витриналык отчеттор, агрегаттар, булактар).
Мунун отчеттордун жөнөкөй колдонуучуларына кандай тиешеси бар, алар үчүн кандай артыкчылыктар бар? DataLineageди куруу мүмкүнчүлүгүнүн аркасында биздин колдонуучулар, атүгүл SQL жана башка программалоо тилдеринен алыс болгондор да, алардын негизинде белгилүү бир отчет түзүлө турган булактар жана объекттер жөнүндө маалыматты тез эле алышат.
Маалыматтын сапатын көзөмөлдөө модулу
Маалыматтын ачыктыгын камсыз кылуу жагынан биз жогоруда айткандардын баары, биз колдонуучуларга берген маалыматтар туура экенин түшүнбөй туруп, маанилүү эмес. Маалыматтарды башкаруу концепциябыздын маанилүү модулдарынын бири бул маалыматтардын сапатын башкаруу модулу.
Учурдагы этапта бул тандалган субъекттер үчүн текшерүүлөрдүн каталогу. Продукцияны өнүктүрүүнүн жакынкы максаты - текшерүүлөрдүн тизмесин кеңейтүү жана отчеттуулук реестри менен интеграциялоо.
Ал эмнени жана кимге берет? Реестрдин акыркы колдонуучусу отчетту даярдоонун пландаштырылган жана иш жүзүндөгү даталары, динамикасы менен аяктаган текшерүүлөрдүн натыйжалары жана отчетко жүктөлгөн булактар жөнүндө маалыматка ээ болот.
Биз үчүн, биздин иш процесстерибизге интеграцияланган маалымат сапаты модулу:
- Кардардын күтүүлөрүн тез арада калыптандыруу.
- Маалыматтарды андан ары пайдалануу боюнча чечимдерди кабыл алуу.
- Сапатты үзгүлтүксүз контролдоону иштеп чыгуу үчүн иштин баштапкы этаптарында көйгөйлүү пункттардын алдын ала топтомун алуу.
Албетте, бул толук кандуу маалыматтарды башкаруу процессин куруунун алгачкы кадамдары. Бирок биз бул ишти максаттуу аткаруу менен, Маалыматтарды башкаруунун инструменттерин иш процессине жигердүү киргизүү менен гана биз кардарларыбызга маалыматтык контентти, берилиштерге болгон ишенимдин жогорку деңгээлин, аларды кабыл алуунун ачыктыгын жана ишке киргизүү ылдамдыгын жогорулатабыз деп ишенебиз. жаңы функция.
DataOffice командасы
Source: www.habr.com