Вътрешно управление на данните

Хей Хабр!

Данните са най-ценният актив на компанията. Почти всяка компания с дигитален фокус декларира това. Трудно е да се спори с това: нито една голяма ИТ конференция не се провежда без обсъждане на подходи за управление, съхранение и обработка на данни.

Данните идват при нас отвън, генерират се и вътре в компанията, а ако говорим за данни от телеком компания, то за вътрешните служители това е хранилище на информация за клиента, неговите интереси, навици и местоположение. При правилно профилиране и сегментиране рекламните предложения са най-ефективни. На практика обаче не всичко е толкова розово. Данните, които компаниите съхраняват, може да са безнадеждно остарели, излишни, повтарящи се или съществуването им да не е известно на никого, освен на тесен кръг потребители. ¯_(ツ)_/¯

С една дума, данните трябва да се управляват ефективно – само тогава те ще се превърнат в актив, който носи реални ползи и печалба за бизнеса. За съжаление, решаването на проблеми с управлението на данни изисква преодоляване на доста сложности. Те се дължат главно както на историческото наследство под формата на „зоопаркове“ от системи, така и на липсата на единни процеси и подходи за тяхното управление. Но какво означава да бъдеш „управляван от данни“?

Точно за това ще говорим под съкращенията, както и как стекът с отворен код ни помогна.

Концепцията за стратегическо управление на данни Data Governance (DG) вече е доста добре позната на руския пазар и целите, постигнати от бизнеса в резултат на нейното прилагане, са ясни и ясно декларирани. Нашата компания не направи изключение и си постави за задача да въведе концепцията за управление на данни.

И така, откъде започнахме? Като начало ние формирахме ключови цели за себе си:

1. Поддържайте нашите данни достъпни.
2. Осигурете прозрачност на жизнения цикъл на данните.
3. Осигурете на потребителите на компанията последователни, последователни данни.
4. Осигурете на потребителите на компанията проверени данни.

Днес на пазара на софтуер има дузина инструменти от клас Data Governance.

Но след подробен анализ и проучване на решенията, записахме редица критични коментари за себе си:

• Повечето производители предлагат цялостен набор от решения, който за нас е излишен и дублира съществуващата функционалност. Освен това, скъпо от гледна точка на ресурси, интеграция в текущия ИТ пейзаж.
• Функционалността и интерфейсът са предназначени за технолози, а не за крайни бизнес потребители.
• Нисък процент на оцеляване на продуктите и липса на успешни внедрявания на руския пазар.
• Висока цена на софтуер и допълнителна поддръжка.

Изразените по-горе критерии и препоръки относно заместването на вноса на софтуер за руски компании ни убедиха да преминем към собствена разработка на стек с отворен код. Платформата, която избрахме, беше Django, безплатна рамка с отворен код, написана на Python. И по този начин ние идентифицирахме ключови модули, които ще допринесат за целите, посочени по-горе:

1. Регистър на отчетите.
2. Бизнес речник.
3. Модул за описание на технически преобразувания.
4. Модул за описание на жизнения цикъл на данните от източника до BI инструмента.
5. Модул за контрол на качеството на данните.

Регистър на отчетите

Според резултатите от вътрешни проучвания в големи компании, когато решават проблеми, свързани с данни, служителите прекарват 40-80% от времето си в търсене на тях. Затова си поставихме задачата да направим отворена информация за съществуващи отчети, които преди това бяха достъпни само за клиенти. Така съкращаваме времето за генериране на нови справки и осигуряваме демократизация на данните.

Регистърът за отчитане се превърна в единен прозорец за отчитане за вътрешни потребители от различни региони, отдели и отдели. Той консолидира информация за информационни услуги, създадени в няколко корпоративни хранилища на компанията, а има много от тях в Rostelecom.

Но регистърът не е просто сух списък от разработени отчети. За всеки отчет предоставяме информацията, необходима на потребителя, за да се запознае с него:

• кратко описание на доклада;
• дълбочина на достъпност на данните;
• клиентски сегмент;
• инструмент за визуализация;
• име на корпоративното хранилище;
• бизнес функционални изисквания;
• връзка към отчета;
• връзка към приложение за достъп;
• състояние на изпълнение.

Анализите на нивото на използване са достъпни за отчети и отчетите се класират в горната част на списъка въз основа на анализи на регистрационни файлове въз основа на броя на отделните потребители. И това не е всичко. В допълнение към общите характеристики, ние предоставихме и подробно описание на състава на атрибутите на отчетите с примери за стойности и методи за изчисление. Такова детайлизиране веднага дава на потребителя отговор дали отчетът е полезен за него или не.

Разработването на този модул беше важна стъпка в демократизацията на данните и значително намали времето, необходимо за намиране на необходимата информация. В допълнение към намаляването на времето за търсене, броят на заявките към екипа за поддръжка за предоставяне на консултации също е намалял. Невъзможно е да не отбележим още един полезен резултат, който постигнахме чрез разработването на единен регистър на отчетите - предотвратяване на разработването на дублиращи се отчети за различни структурни звена.

Бизнес речник

Всички знаете, че дори в една и съща компания бизнесът говори на различни езици. Да, те използват едни и същи термини, но означават напълно различни неща. Бизнес речник е предназначен да разреши този проблем.

За нас бизнес терминологичният речник не е просто справочник с описание на термини и методология за изчисление. Това е пълноценна среда за разработване, съгласуване и одобряване на терминология, изграждане на връзки между термини и други информационни активи на компанията. Преди да влезе в бизнес речника, даден термин трябва да премине през всички етапи на одобрение от бизнес клиенти и центъра за качество на данните. Едва след това той става достъпен за използване.

Както писах по-горе, уникалността на този инструмент е, че позволява връзки от ниво бизнес термин до конкретни потребителски отчети, в които се използва, както и до ниво физически обекти на база данни.

Това става възможно чрез използването на идентификатори на термини от речника в подробното описание на отчетите на регистъра и описанието на физическите обекти на базата данни.

Понастоящем повече от 4000 термина са дефинирани и съгласувани в речника. Използването му улеснява и ускорява обработката на входящи заявки за промени в информационните системи на компанията. Ако необходимият индикатор вече е внедрен в който и да е отчет, тогава потребителят веднага ще види набор от готови отчети, където се използва този индикатор, и ще може да вземе решение за ефективно повторно използване на съществуваща функционалност или нейната минимална модификация, без да инициира нови заявки за разработване на нов отчет.

Модул за описание на технически трансформации и DataLineage

Какви са тези модули, ще попитате? Не е достатъчно просто да се внедрят регистърът на отчетите и речникът; необходимо е също така да се основават всички бизнес термини на физическия модел на база данни. Така успяхме да завършим процеса на формиране на жизнения цикъл на данните от изходните системи до BI визуализацията през всички слоеве на хранилището на данни. С други думи, изградете DataLineage.

Разработихме интерфейс, базиран на формата, използван преди в компанията за описание на правилата и логиката на трансформация на данни. През интерфейса се въвежда същата информация, както преди, но дефинирането на термина идентификатор от бизнес речника е станало задължително условие. Така изграждаме връзка между бизнес и физическия слой.

Кому е нужно? Какво не беше наред със стария формат, с който работихте няколко години? Колко са се увеличили разходите за труд за генериране на изисквания? Трябваше да се справим с такива въпроси по време на внедряването на инструмента. Отговорите тук са доста прости – всички имаме нужда от това, офисът за данни на нашата компания и нашите потребители.

Наистина служителите трябваше да се адаптират, в началото това доведе до леко увеличение на разходите за труд за изготвяне на документация, но ние решихме този проблем. Практиката, идентифицирането и оптимизирането на проблемните области свършиха своята работа. Постигнахме основното - подобрихме качеството на разработените изисквания. Задължителни полета, унифицирани справочници, маски за въвеждане, вградени проверки - всичко това направи възможно значително подобряване на качеството на описанията на трансформациите. Премахнахме практиката на предаване на скриптове като изисквания за разработка и споделени знания, които бяха достъпни само за екипа за разработка. Генерираната база данни с метаданни значително намалява времето, необходимо за извършване на регресионен анализ и предоставя възможност за бърза оценка на въздействието на промените върху всеки слой от ИТ пейзажа (отчети за представяне, агрегати, източници).

Какво общо има това с обикновените потребители на справки, какви са предимствата за тях? Благодарение на възможността за изграждане на DataLineage, нашите потребители, дори тези, които са далеч от SQL и други езици за програмиране, бързо получават информация за източниците и обектите, въз основа на които се генерира конкретен отчет.

Модул за контрол на качеството на данните

Всичко, за което говорихме по-горе по отношение на осигуряването на прозрачност на данните, не е важно, без да разберем, че данните, които предоставяме на потребителите, са верни. Един от важните модули на нашата концепция за управление на данните е модулът за контрол на качеството на данните.

На настоящия етап това е каталог от проверки за избрани субекти. Непосредствената цел за разработване на продукта е разширяване на списъка с проверки и интегриране с регистъра за отчитане.
Какво ще даде и на кого? Крайният потребител на регистъра ще има достъп до информация за планираните и действителните дати на готовност на отчета, резултатите от извършените проверки с динамика и информация за източниците, заредени в отчета.

За нас модулът за качество на данните, интегриран в нашите работни процеси, е:

• Бързо формиране на клиентските очаквания.
• Вземане на решения за по-нататъшно използване на данните.
• Получаване на предварителен набор от проблемни точки в началните етапи на работа за разработване на редовен контрол на качеството.

Разбира се, това са първите стъпки в изграждането на пълноценен процес за управление на данни. Но ние сме уверени, че само целенасочено извършвайки тази работа, активно въвеждайки инструменти за управление на данните в работния процес, ще предоставим на нашите клиенти информационно съдържание, високо ниво на доверие в данните, прозрачност при тяхното получаване и ще увеличим скоростта на стартиране нова функционалност.

Екипът на DataOffice

Източник: www.habr.com