Ин-хоусе управљање подацима

Хеј Хабр!

Подаци су највреднија имовина компаније. Скоро свака дигитална компанија то тврди. Тешко је расправљати са овим: ниједна велика ИТ конференција се не одржава без разматрања приступа управљању, складиштењу и обради података.

Подаци нам долазе споља, генеришу се и унутар компаније, а ако говоримо о подацима из телеком компаније, онда је за интерне запослене ово складиште информација о клијенту, његовим интересовањима, навикама, локацији. Уз правилно профилисање и сегментацију, рекламне понуде су најефикасније. Међутим, у пракси није све тако ружичасто. Подаци које компаније чувају могу бити безнадежно застарели, сувишни, понављајући се или је њихово постојање непознато никоме осим уском кругу корисника. ¯_(ツ)_/¯

Једном речју, подацима се мора ефикасно управљати – тек тада ће они постати имовина која доноси стварне користи и профит за пословање. Нажалост, решавање проблема управљања подацима захтева превазилажење доста сложености. Они су углавном због историјског наслеђа у виду „зоолошких вртова” система и недостатка јединствених процеса и приступа њиховом управљању. Али шта значи бити „вођен подацима“?

Управо о томе ћемо причати испод реза, као и о томе како нам је стек отвореног кода помогао.

Концепт стратешког управљања подацима Дата Говернанце (ДГ) је већ прилично познат на руском тржишту, а циљеви које пословање остварује као резултат његове имплементације су јасни и јасно декларисани. Наша компанија није била изузетак и поставила је себи задатак да уведе концепт управљања подацима.

Па одакле смо почели? За почетак, формирали смо кључне циљеве за себе:

1. Нека наши подаци буду доступни.
2. Обезбедите транспарентност животног циклуса података.
3. Обезбедите корисницима компаније конзистентне и доследне податке.
4. Обезбедите корисницима компаније проверене податке.

Данас на тржишту софтвера постоји десетак алата класе управљања подацима.

Али након детаљне анализе и проучавања решења, забележили смо низ критичних коментара за себе:

• Већина произвођача нуди свеобухватан скуп решења, који је за нас сувишан и дуплира постојећу функционалност. Плус, скупо у смислу ресурса, интеграција у тренутни ИТ пејзаж.
• Функционалност и интерфејс су дизајнирани за технологе, а не за крајње пословне кориснике.
• Ниска стопа преживљавања производа и недостатак успешних имплементација на руском тржишту.
• Висока цена софтвера и даље подршке.

Горе наведени критеријуми и препоруке у вези са заменом увоза софтвера за руске компаније убедили су нас да кренемо ка сопственом развоју на стеку отвореног кода. Платформа коју смо изабрали је Дјанго, бесплатни оквир отвореног кода написан у Питхон-у. И тако смо идентификовали кључне модуле који ће допринети горе наведеним циљевима:

1. Регистар извештаја.
2. Пословни појмовник.
3. Модул за описивање техничких трансформација.
4. Модул за описивање животног циклуса података од извора до БИ алата.
5. Модул контроле квалитета података.

Регистар извештаја

Према резултатима интерних студија у великим компанијама, приликом решавања проблема везаних за податке, запослени троше 40-80% свог времена тражећи их. Стога смо себи поставили задатак да објавимо информације о постојећим извештајима који су раније били доступни само купцима. Тиме смањујемо време за генерисање нових извештаја и обезбеђујемо демократизацију података.

Регистар извештавања је постао јединствен прозор за извештавање за интерне кориснике из различитих региона, одељења и одељења. Обједињује информације о информационим услугама креираним у неколико корпоративних репозиторијума компаније, а у Ростелецому их има много.

Али регистар није само сува листа израђених извештаја. За сваки извештај дајемо информације неопходне да би се корисник упознао са њим:

• кратак опис извештаја;
• дубина доступности података;
• сегмент купаца;
• алат за визуелизацију;
• назив корпоративног складишта;
• пословни функционални захтеви;
• линк до извештаја;
• линк до апликације за приступ;
• статус имплементације.

Аналитика нивоа коришћења доступна је за извештаје, а извештаји се рангирају на врху листе на основу аналитике евиденције на основу броја јединствених корисника. И то није то. Поред општих карактеристика, дали смо и детаљан опис састава атрибута извештаја са примерима вредности и метода израчунавања. Таква детаљизација одмах даје кориснику одговор да ли му је извештај користан или не.

Развој овог модула био је важан корак у демократизацији података и значајно је смањио време потребно за проналажење потребних информација. Поред смањења времена претраге, смањен је и број захтева тиму за подршку да пружи консултације. Немогуће је не истаћи још један користан резултат који смо постигли израдом јединственог регистра извештаја – спречавање израде дупликата извештаја за различите структурне јединице.

Пословни појмовник

Сви знате да чак и унутар исте компаније, предузећа говоре различите језике. Да, користе исте термине, али значе потпуно различите ствари. Пословни појмовник је дизајниран да реши овај проблем.

Пословни појмовник за нас није само приручник са описом појмова и методологијом обрачуна. Ово је потпуно окружење за развој, договарање и одобравање терминологије, изградњу односа између термина и других информационих средстава компаније. Пре уласка у пословни појмовник, термин мора проћи све фазе одобрења код пословних корисника и центра за квалитет података. Тек након тога постаје доступан за употребу.

Као што сам горе написао, јединственост овог алата је у томе што омогућава повезивање од нивоа пословног појма до конкретних корисничких извештаја у којима се користи, као и до нивоа физичких објеката базе података.

Ово је омогућено употребом идентификатора термина у глосару у детаљном опису извештаја регистра и опису физичких објеката базе података.

Тренутно је више од 4000 појмова дефинисано и договорено у Глосару. Његова употреба поједностављује и убрзава обраду долазних захтева за изменама у информационим системима компаније. Ако је тражени индикатор већ имплементиран у било који извештај, тада ће корисник одмах видети сет готових извештаја у којима се користи овај индикатор и моћи ће да одлучи о ефективној поновној употреби постојеће функционалности или њеној минималној модификацији, без покретања нови захтеви за израду новог извештаја.

Модул за описивање техничких трансформација и ДатаЛинеаге

Шта су ови модули, питате се? Није довољно само имплементирати Регистар извештаја и Глосар, потребно је и све пословне термине утемељити на физичком моделу базе података. Тако смо успели да завршимо процес формирања животног циклуса података од изворних система до БИ визуелизације кроз све слојеве складишта података. Другим речима, изградите ДатаЛинеаге.

Развили смо интерфејс заснован на формату који је раније коришћен у компанији за описивање правила и логике трансформације података. Преко интерфејса се уносе исте информације као и раније, али је дефиниција појма идентификатор из пословног речника постала предуслов. Тако градимо везу између пословног и физичког слоја.

Коме то треба? Шта није у реду са старим форматом са којим сте радили неколико година? Колико су порасли трошкови рада за стварање захтева? Морали смо да се позабавимо таквим питањима током имплементације алата. Одговори су овде прилично једноставни - ово нам је свима потребно, канцеларији података наше компаније и нашим корисницима.

И заиста, запослени су морали да се прилагођавају, што је у почетку довело до благог повећања трошкова рада за израду документације, али смо решили овај проблем. Вежбање, идентификација и оптимизација проблематичних области су урадили свој посао. Постигли смо главну ствар - побољшали смо квалитет развијених захтева. Обавезна поља, обједињене референтне књиге, маске за унос, уграђене провере - све ово је омогућило значајно побољшање квалитета описа трансформације. Одмакнули смо се од праксе предаје скрипти као развојних захтева и поделили знање које је било доступно само развојном тиму. Генерисана база метаподатака значајно смањује време потребно за спровођење регресионе анализе и пружа могућност брзе процене утицаја промена на било који слој ИТ пејзажа (излог извештаја, агрегата, извора).

Какве то везе има са обичним корисницима извештаја, које су предности за њих? Захваљујући могућности израде ДатаЛинеаге-а, наши корисници, чак и они који су далеко од СКЛ-а и других програмских језика, брзо добијају информације о изворима и објектима на основу којих се генерише одређени извештај.

Модул контроле квалитета података

Све о чему смо горе говорили у смислу обезбеђивања транспарентности података није важно без разумевања да су подаци које дајемо корисницима тачни. Један од важних модула нашег концепта управљања подацима је модул контроле квалитета података.

У тренутној фази, ово је каталог чекова за одабране ентитете. Непосредни циљ развоја производа је проширење листе провера и интеграција са регистром извештавања.
Шта ће то дати и коме? Крајњем кориснику регистра биће доступне информације о планираним и стварним датумима спремности извештаја, резултатима извршених провера са динамиком, као и информацијама о изворима учитаним у извештај.

За нас је модул квалитета података интегрисан у наше радне процесе:

• Брзо формирање очекивања купаца.
• Доношење одлука о даљем коришћењу података.
• Добијање прелиминарног скупа проблемских тачака у почетним фазама рада за развој редовних контрола квалитета.

Наравно, ово су први кораци у изградњи пуноправног процеса управљања подацима. Али, уверени смо да ћемо само наменским обављањем овог посла, активним увођењем алата управљања подацима у процес рада, нашим клијентима пружити информативни садржај, висок ниво поверења у податке, транспарентност у њиховом пријему и повећати брзину покретања нова функционалност.

ДатаОффице тим

Извор: ввв.хабр.цом