Управување со податоци внатре

Еј Хабр!

Податоците се највредното богатство на компанијата. Речиси секоја компанија со дигитален фокус го изјавува ова. Тешко е да се расправаме со ова: ниту една голема ИТ конференција не се одржува без да се разговара за пристапите за управување, складирање и обработка на податоци.

Податоците ни доаѓаат однадвор, тие се генерираат и во компанијата, а ако зборуваме за податоци од телеком компанија, тогаш за внатрешните вработени ова е складиште на информации за клиентот, неговите интереси, навики и локација. Со соодветно профилирање и сегментација, рекламните понуди се најефективни. Сепак, во пракса, не е сè толку розово. Податоците што компаниите ги складираат можеби се безнадежно застарени, непотребни, повторувачки или нивното постоење е непознато за никого, освен за тесен круг на корисници. ¯_(ツ)_/¯

Со еден збор, податоците мора ефективно да се управуваат - само тогаш тие ќе станат предност што носи реални придобивки и профит за бизнисот. За жал, решавањето на проблемите со управувањето со податоци бара надминување на доста сложености. Тие главно се должат и на историското наследство во форма на „зоолошки градини“ на системи и на недостатокот на унифицирани процеси и пристапи кон нивното управување. Но, што значи да се биде „воден од податоци“?

Токму за ова ќе зборуваме под сечењето, како и за тоа како ни помогна стекот со отворен код.

Концептот за стратешко управување со податоци Управување со податоци (ДГ) е веќе доста добро познат на рускиот пазар, а целите што ги постигнува бизнисот како резултат на неговата имплементација се јасни и јасно декларирани. Нашата компанија не беше исклучок и си постави задача да го воведе концептот за управување со податоци.

Па каде почнавме? За почеток, ние ги формиравме клучните цели за себе:

1. Чувајте ги нашите податоци достапни.
2. Обезбедете транспарентност на животниот циклус на податоците.
3. Обезбедете им на корисниците на компанијата конзистентни, конзистентни податоци.
4. Обезбедете им на корисниците на компанијата проверени податоци.

Денес, на пазарот на софтвер има десетина алатки од класата Data Governance.

Но, по детална анализа и проучување на решенијата, за себе забележавме голем број критички коментари:

• Повеќето производители нудат сеопфатен сет на решенија, што за нас е непотребно и ја дуплира постоечката функционалност. Плус, скапо во однос на ресурсите, интеграција во сегашниот ИТ пејзаж.
• Функционалноста и интерфејсот се дизајнирани за технолози, а не за деловни крајни корисници.
• Ниска стапка на преживување на производите и недостаток на успешни имплементации на рускиот пазар.
• Висока цена на софтверот и дополнителна поддршка.

Критериумите и препораките искажани погоре во врска со увозната замена на софтвер за руските компании не убедија да се движиме кон сопствен развој на стек со отворен код. Платформата што ја избравме беше Django, бесплатна и отворен код рамка напишана во Python. И на тој начин ги идентификувавме клучните модули кои ќе придонесат за целите наведени погоре:

1. Регистар на извештаи.
2. Деловен речник.
3. Модул за опишување технички трансформации.
4. Модул за опишување на животниот циклус на податоци од изворот до алатката БИ.
5. Модул за контрола на квалитетот на податоците.

Регистар на извештаи

Според резултатите од интерните студии во големите компании, при решавање на проблеми поврзани со податоци, вработените поминуваат 40-80% од своето време во потрага по нив. Затоа, си поставивме задача да направиме отворени информации за постоечките извештаи кои претходно беа достапни само за клиентите. Така, го намалуваме времето за генерирање нови извештаи и обезбедуваме демократизација на податоците.

Регистарот за известување стана единствен прозорец за известување за внатрешни корисници од различни региони, одделенија и одделенија. Ги консолидира информациите за информативните услуги создадени во неколку корпоративни складишта на компанијата, а има многу од нив во Ростелеком.

Но, регистарот не е само сува листа на развиени извештаи. За секој извештај ги даваме потребните информации за корисникот да се запознае со него:

• краток опис на извештајот;
• длабочината на достапноста на податоците;
• сегмент на клиенти;
• алатка за визуелизација;
• име на корпоративното складирање;
• деловни функционални барања;
• линк до извештајот;
• линк до апликација за пристап;
• статус на имплементација.

Анализата на ниво на употреба е достапна за извештаи, а извештаите се рангирани на врвот на листата врз основа на аналитика на дневници врз основа на бројот на единствени корисници. И тоа не е тоа. Покрај општите карактеристики, дадовме и детален опис на составот на атрибутите на извештаите со примери на вредности и методи на пресметка. Ваквото детализирање веднаш му дава одговор на корисникот дали извештајот е корисен за него или не.

Развојот на овој модул беше важен чекор во демократизацијата на податоците и значително го намали времето потребно за наоѓање на бараните информации. Покрај намалувањето на времето за пребарување, намален е и бројот на барања до тимот за поддршка за давање консултации. Невозможно е да не се забележи уште еден корисен резултат што го постигнавме со развивање на унифициран регистар на извештаи - спречување на развој на дупликат извештаи за различни структурни единици.

Деловен речник

Сите знаете дека дури и во една иста компанија, бизнисите зборуваат различни јазици. Да, тие користат исти термини, но значат сосема различни работи. Деловен речник е дизајниран да го реши овој проблем.

За нас, деловниот речник не е само референтна книга со опис на термини и методологија за пресметка. Ова е полноправно опкружување за развивање, договарање и одобрување на терминологијата, градење односи помеѓу условите и другите информативни средства на компанијата. Пред да влезе во деловниот речник, терминот мора да ги помине сите фази на одобрување кај деловните клиенти и центарот за квалитет на податоци. Само после ова станува достапен за употреба.

Како што напишав погоре, уникатноста на оваа алатка е што дозволува поврзување од ниво на деловен термин до конкретни кориснички извештаи во кои се користи, како и до ниво на физички објекти на базата на податоци.

Ова е овозможено преку употреба на идентификатори на термини во речник во деталниот опис на извештаите од регистарот и описот на физичките објекти на базата на податоци.

Во моментов, повеќе од 4000 термини се дефинирани и договорени во Поимникот. Неговата употреба ја поедноставува и забрзува обработката на дојдовните барања за промени во информациските системи на компанијата. Доколку бараниот индикатор е веќе имплементиран во кој било извештај, тогаш корисникот веднаш ќе види збир на готови извештаи каде се користи овој индикатор и ќе може да одлучи за ефективната повторна употреба на постоечката функционалност или нејзината минимална измена, без да започне нови барања за изработка на нов извештај.

Модул за опишување технички трансформации и DataLineage

Кои се овие модули, прашувате? Не е доволно едноставно да се имплементира Регистарот за извештаи и речник; исто така е неопходно да се засноваат сите деловни термини на моделот на физичка база на податоци. Така, успеавме да го завршиме процесот на формирање на животниот циклус на податоци од изворните системи до визуелизација на БИ низ сите слоеви на складиштето на податоци. Со други зборови, изградете DataLineage.

Развивме интерфејс заснован на форматот користен претходно во компанијата за опишување на правилата и логиката на трансформација на податоците. Преку интерфејсот се внесуваат истите информации како и досега, но дефиницијата на поимот идентификатор од деловниот речник стана предуслов. Ова е начинот на кој градиме врска помеѓу деловниот и физичкиот слој.

На кого му треба? Што не беше во ред со стариот формат со кој работевте неколку години? Колку се зголемени трошоците за работна сила за генерирање барања? Моравме да се справиме со такви прашања за време на имплементацијата на алатката. Одговорите овде се прилично едноставни - на сите ни треба ова, канцеларијата за податоци на нашата компанија и нашите корисници.

Навистина, вработените мораа да се приспособат, на почетокот тоа доведе до мало зголемување на трошоците за работна сила за подготовка на документација, но ние го решивме ова прашање. Вежбањето, идентификувањето и оптимизирањето на проблематичните области ја завршија својата работа. Ја постигнавме главната работа - го подобривме квалитетот на развиените барања. Задолжителни полиња, унифицирани референтни книги, маски за внесување, вградени проверки - сето тоа овозможи значително да се подобри квалитетот на описите на трансформацијата. Се оддалечивме од практиката на предавање скрипти како барања за развој и споделено знаење кое беше достапно само за тимот за развој. Генерираната база на метаподатоци значително го намалува времето потребно за спроведување на регресивна анализа и обезбедува можност за брзо проценување на влијанието на промените на кој било слој од ИТ пејзажот (извештајни извештаи, агрегати, извори).

Каква врска има ова со обичните корисници на извештаи, кои се предностите за нив? Благодарение на можноста да се изгради DataLineage, нашите корисници, дури и оние кои се далеку од SQL и други програмски јазици, брзо добиваат информации за изворите и објектите врз основа на кои се генерира одреден извештај.

Модул за контрола на квалитетот на податоците

Сè што зборувавме погоре во смисла на обезбедување на транспарентност на податоците не е важно без разбирање дека податоците што им ги даваме на корисниците се точни. Еден од важните модули на нашиот концепт за управување со податоци е модулот за контрола на квалитетот на податоците.

Во сегашната фаза, ова е каталог на проверки за избрани субјекти. Непосредна цел за развој на производ е да се прошири листата на проверки и да се интегрира со регистарот за известување.
Што ќе даде и на кого? Крајниот корисник на регистарот ќе има пристап до информации за планираните и вистинските датуми на подготвеност на извештајот, резултатите од завршените проверки со динамика и информации за изворите вчитани во извештајот.

За нас, модулот за квалитет на податоците интегриран во нашите работни процеси е:

• Брзо формирање на очекувањата на клиентите.
• Донесување одлуки за понатамошна употреба на податоците.
• Добивање на прелиминарен сет на проблематични точки во почетните фази на работа за развој на редовни контроли на квалитетот.

Се разбира, ова се првите чекори за градење на полноправен процес на управување со податоци. Но, ние сме убедени дека само со намерно извршување на оваа работа, активно воведување алатки за управување со податоци во работниот процес, на нашите клиенти ќе им обезбедиме информативна содржина, високо ниво на доверба во податоците, транспарентност во нивниот прием и зголемување на брзината на лансирање. нова функционалност.

Тим на DataOffice

Извор: www.habr.com