🥇DataGovernance с наши средства

Здравейте, Хабр!

Данните са безценен актив за компанията. Това твърди почти всяка компания с цифрови акценти. Трудно е да се спори с това: в момента не минава нито една значима IT конференция без да се обсъждат подходите за управление, съхранение и обработка на данни.

Данните постъпват при нас от външни източници, но те също така се генерират вътре в компанията; а ако говорим за данните на телекомуникационна компания, то те предоставят на вътрешните служители обширна информация за клиента, неговите интереси, навици и местоположение. При правилно профилиране и сегментиране рекламните предложения постигат най-голям ефект. Въпреки това, на практика не всичко е толкова rosy. Данните, които компаниите съхраняват, могат да бъдат безнадеждно остарели, излишни, повтарящи се или пък никой, освен малък кръг от потребители, да не знае за тяхното съществуване. ¯_(ツ)_/¯

И с две думи, данните трябва да се управляват ефективно – само тогава те ще станат актив, който носи реална полза и печалба на бизнеса. За съжаление, за да се решат въпросите по управлението на данните, трябва да се преодолеят доста трудности. Те произтичат основно както от историческото наследство под формата на "зоопаркове" от системи, така и от отсъствието на единни процеси и подходи към тяхното управление. Но какво означава "да управляваш данните"?

Точно за това ще говорим по-нататък, а също и за това как ни помогна стекът с отворен код.

Концепцията за стратегическото управление на данни Data Governance (DG) вече е доста известна на руския пазар, а целите, които бизнесът постига чрез нейното внедряване, са ясни и точно декларирани. Нашата компания също не направи изключение и си постави за цел внедряване на концепцията за управление на данни.

И така, откъде започнахме? Първо, формулирахме ключовите цели:

Да осигурим достъпност на нашите данни.
Да осигурим прозрачност на жизнения цикъл на данните.
Да предоставим на потребителите на компанията консистентни и непротиворечиви данни.
Да предоставим на потребителите на компанията проверени данни.

Към днешна дата на пазара на софтуер се предлагат десетки инструменти от клас Data Governance.

Но след детайлен анализ и проучване на решенията, установихме редица критични забележки:

Повечето производители предлагат комплексен набор от решения, който за нас е излишен и дублира вече съществуваща функционалност. Освен това, интеграцията в текущата ИТ среда е скъпа от гледна точка на ресурсите.
Функционалността и интерфейсът са предназначени за технологичните специалисти, а не за крайните бизнес потребители.
Ниска жизнеспособност на продуктите и отсъствие на успешни внедрения на руския пазар.
Висока цена на софтуера и последващото му поддържане.

Изложените по-горе критерии и препоръки относно импортозамяната на софтуер за руски компании ни убедиха да се насочим към разработване на собствени решения на база на opensource стек. За платформа избрахме Django – безплатен и отворен фреймворк, написан на Python. Така ние определихме ключовите модули, които ще способстват за целите, изложени по-горе:

Регистър на отчетите.
Бизнес глосар.
Модул за описание на техническите трансформации.
Модул за описание на жизнения цикъл на данните от източника до BI инструмента.
Модул за контрол на качеството на данните.

Регистър на отчетите

Според резултатите от вътрешни изследвания в големи компании, при решаване на задачи, свързани с данни, служителите прекарват 40—80% от времето си в търсене на тях. Затова си поставихме за цел да направим информацията за съществуващите отчети, които преди бяха достъпни само за поръчителите, публична. По този начин ние намаляваме времето за създаване на нова отчетност и осигуряваме демократизация на данните.

Регистърът на отчетите стана единен интерфейс за отчетност за вътрешни потребители от различни региони, департаменти, подразделения. В него е консолидирана информация за инфосервизите, създадени в няколко корпоративни хранилища на компанията, а те в Ростелеском са многобройни.

Но регистърът не е просто сух списък на разработените отчети. За всеки отчет предоставяме информация, необходима на потребителя за самостоятелно запознаване с него:

кратко описание на отчета;
дълбочина на достъпност на данните;
сегмент на клиента;
инструмент за визуализация;
наименование на корпоративното хранилище;
бизнес функционални изисквания;
линк към отчета;
линк към заявка за достъп;
статус на реализиране.

Според отчетите е налична аналитика за нивото на използваемост, а отчетите се класират в топ списъка въз основа на аналитика на логовете за броя на уникалните потребители. И това не е всичко. Освен общите характеристики, предвидихме и детайлно описание на атрибутивния състав на отчетите с примери на стойности и методология за изчисления. Подобна детайлизация веднага дава на потребителя отговор, дали отчетът е полезен за него или не.

Разработването на този модул стана важна стъпка в посока демократизация на данните и значително съкрати времето за търсене на необходимата информация. Освен съкращаване на времето за търсене, намалява и броят на запитванията към екипа за поддръжка за предоставяне на консултации. Не може да се не отбележи още един полезен резултат, който постигнахме с разработването на единен регистър на отчетите – предотвратяване на разработването на дублиращи отчети за различни структурни единици.

Бизнес-глосар

Всички знаете, че дори в рамките на една и съща компания, бизнесът говори на различни езици. Да, използват се едни и същи термини, но под тях се разбират съвсем различни неща. Бизнес-глосарът е призван да реши този проблем.

За нас бизнес-глосарът не е просто справочник с описание на термини и методология за изчисления. Това е цялостна среда за разработка, съгласуване и одобрение на терминология, изграждане на взаимовръзки между термините и други информационни активи на компанията. Преди да влезе в бизнес-глосара, терминът трябва да премине всички етапи на съгласуване с бизнес клиентите и центъра за качество на данните. Само след това той става достъпен за употреба.

Както вече писах по-горе, уникалността на този инструмент е, че той позволява провеждане на връзки от нивото на бизнес термина до конкретните потребителски отчети, в които се използва, както и до нивото на физическите обекти на базите данни.

Това стана възможно чрез използването на идентификатори на термините от глосара в детайлното описание на отчетите от регистъра и в описанието на физическите обекти на базите данни.

В момента в Глосариума са дефинирани и одобрени повече от 4000 термина. Неговото използване улеснява и ускорява обработката на постъпващите заявки за промени в информационните системи на компанията. Ако необходимият показател вече е реализиран в някой отчет, потребителят веднага ще види набор от готови отчети, в които този показател е използван, и ще може да реши за ефективно повторно използване на наличната функционалност или за минимално доработка, без да инициира нови заявки за разработка на нов отчет.

Модул за описание на техническите трансформации и DataLineage

Ще питате какви са тези модули? Малко е просто да внедрим Регистъра на отчета и Глосария, необходимо е също така да приземим всички бизнес-термини на физическия модел на базите данни. Така успяхме да завършим процеса на формиране на жизнения цикъл на данните от системите източници до BI визуализацията през всички слоеве на хранилището на данни. С други думи – изграждане на DataLineage.

Разработихме интерфейс, в основата на който лежи използваният преди това в компанията формат за описание на правилата и логиката на трансформация на данни. Чрез интерфейса се въвежда същата информация, както преди, но задължително условие стана определянето на идентификатора на термина от бизнес глосарията. По този начин изграждаме връзка между бизнес и физическите слоеве.

Кому е необходимо това? Какво не бе наред със стария формат, с който работехме няколко години? Колко нарастват трудозатратыта за формулиране на изискванията? С такива въпроси трябваше да се сблъскваме в процеса на внедряване на инструмента. Тук отговорите са достатъчно прости – това е необходимо на всички нас, на дата-офиса на нашата компания и на нашите потребители.

Наистина, на служителите им се наложи да се адаптират, в началото това доведе до незначителни увеличения на трудовите разходи за подготовка на документацията, но разрешихме този проблем. Практиката, откритията и оптимизацията на проблемните области свършиха своето. Постигнахме основното — повишихме качеството на разработваните изисквания. Задължителните полета за попълване, унифицираните справочници, маските за въвеждане, вградените проверки — всичко това значително повиши качеството на описанията на трансформациите. Напуснахме практиката на предаване на скриптове под формата на изисквания за разработка, споделихме знания, които бяха достъпни само за екипа, занимаващ се с разработка. Сформираната база данни на метаданни намалява многократно времето за извършване на регресионен анализ, осигурява възможност за бърза оценка на влиянието на промените на всеки слой в ИТ ландшафта (отчети на витрината, агрегати, източници).

Каква е връзката с обикновените потребители на отчети, какви са ползите за тях? Благодарение на възможността за изграждане на DataLineage, нашите потребители, дори и далечни от SQL и други програмни езици, бързо получават информация за източниците и обектите, на които се основават даден отчет.

Модул за контрол на качеството на данните

Всичко, което обсъдихме по-горе относно осигуряването на прозрачност на данните, няма значение без разбирането, че данните, които предоставяме на потребителите, са коректни. Един от важните модули в нашата концепция за управление на данните (Data Governance) е модулът за контрол на качеството на данните.

В момента това е каталог на проверки по избрани сущности. Най-близката цел за развитие на продукта е разширяване на списъка с проверки и интеграция с регистъра на отчетите.
Какво ще даде това и на кого? За крайния потребител регистъра ще бъде достъпна информация за планираните и фактическите дати на готовност на отчета, резултатите от извършените проверки с динамика, данни за заредените в отчета източници.

За нас интегрираният в работните процеси модул за качество на данните е:

Бързо формиране на очакванията на клиентите.
Вземане на решения относно по-нататъшното използване на данните.
Получаване на предварителен набор от проблемни точки на начален етап за разработка на редовни проверки на качеството.

Несъмнено, това са първите стъпки в изграждането на пълен процес за управление на данни. Но сме сигурни, че само чрез целенасочена работа и активно внедряване на инструментите за DataGovernance в работния процес ще осигурим на нашите клиенти информация, високо ниво на доверие в данните, прозрачност при тяхното получаване и ще увеличим скоростта на излизане на нови функционалности.

Екипът на DataOffice

Източник: habr.com