DataGovernance własnymi siłami

Cześć, Habr!

Dane to najcenniejszy aktyw firmy. Twierdzi to niemal każda firma z cyfrowym zacięciem. To trudno podważyć: bez omawiania podejść do zarządzania, przechowywania i przetwarzania danych nie odbywa się żadna większa konferencja IT.

Dane napływają do nas z zewnątrz, ale również są tworzone wewnątrz firmy, a mówiąc o danych firmy telekomunikacyjnej, to dla wewnętrznych pracowników kopalnia informacji o kliencie, jego zainteresowaniach, zwyczajach i lokalizacji. Przy odpowiednim profilowaniu i segmentacji oferty reklamowe działają najbardziej efektywnie. Jednak w praktyce sytuacja nie jest tak różowa. Te dane, które przechowują firmy, mogą być beznadziejnie przestarzałe, nadmiarowe, powtarzające się, lub nikt poza wąskim kręgiem użytkowników nie wie o ich istnieniu. ¯_(ツ)_/¯

Innymi słowy, danymi należy skutecznie zarządzać – tylko w ten sposób staną się one aktywem przynoszącym biznesowi rzeczywiste korzyści i zyski. Niestety, aby rozwiązać problemy związane z zarządzaniem danymi, trzeba pokonać wiele trudności. Są one przede wszystkim związane z dziedzictwem historycznym w postaci 'zoo' systemów oraz brakiem jednolitych procesów i podejść do ich zarządzania. Ale co oznacza 'zarządzać danymi'?

O tym właśnie porozmawiamy poniżej, a także o tym, jak pomógł nam stos open source.

Koncepcja strategicznego zarządzania danymi Data Governance (DG) jest już dość znana na polskim rynku, a cele, które realizuje biznes w wyniku jej wdrożenia, są zrozumiałe i jasno zadeklarowane. Nasza firma nie była wyjątkiem i postawiła sobie za zadanie wdrożenie koncepcji zarządzania danymi.

Więc od czego zaczęliśmy? Na początek określiliśmy kluczowe cele:

1. Zapewnić dostępność naszych danych.
2. Zapewnić przejrzystość cyklu życia danych.
3. Dostarczyć użytkownikom firmy zgodne, niebudzące sprzeczności dane.
4. Dostarczyć użytkownikom firmy zweryfikowane dane.

Na dzisiejszym rynku oprogramowania dostępnych jest kilkanaście narzędzi klasy Data Governance.

Jednak po szczegółowej analizie i badaniu rozwiązań odnotowaliśmy szereg krytycznych uwag:

• Większość producentów oferuje kompleksowy zestaw rozwiązań, który dla nas jest nadmierny i duplikuje już istniejącą funkcjonalność. Dodatkowo integracja w obecny krajobraz IT jest kosztowna pod względem zasobów.
• Funkcjonalność i interfejs są przeznaczone dla technologów, a nie dla końcowych użytkowników biznesowych.
• Niska akceptacja produktów i brak udanych wdrożeń na rynku rosyjskim.
• Wysoki koszt oprogramowania i dalszego wsparcia.

Wymienione powyżej kryteria i zalecenia dotyczące importu oprogramowania dla rosyjskich firm przekonały nas do podjęcia decyzji o własnym rozwoju na staku opensource. Jako platformę wybraliśmy Django – darmowy i otwarty framework napisany w Pythonie. W ten sposób wyróżniliśmy kluczowe moduły, które będą wspierać wcześniej wymienione cele:

1. Rejestr raportów.
2. Biznesowy glosariusz.
3. Moduł opisu przekształceń technicznych.
4. Moduł opisu cyklu życia danych od źródła do narzędzia BI.
5. Moduł kontroli jakości danych.

Rejestr raportów

Na podstawie badań wewnętrznych w dużych firmach, rozwiązując problemy związane z danymi, pracownicy poświęcają 40-80% czasu na ich wyszukiwanie. Dlatego postawiliśmy sobie za cel udostępnienie informacji o istniejących raportach, które wcześniej były dostępne tylko dla zamawiających. Dzięki temu skracamy czas tworzenia nowych raportów i zapewniamy demokratyzację danych.

Rejestr raportów stał się jednym oknem raportowania dla wewnętrznych użytkowników z różnych regionów, departamentów i jednostek. Zawiera on skonsolidowane informacje o infoserwisach utworzonych w kilku korporacyjnych magazynach firmy, których w Rostelekomie jest sporo.

Jednak rejestr to nie tylko sucha lista opracowanych raportów. Dla każdego raportu dostarczamy informacje, które są potrzebne użytkownikowi do samodzielnego zapoznania się z nim:

• krótkie opisy raportu;
• głębokość dostępności danych;
• segment klienta;
• narzędzie wizualizacji;
• nazwa korporacyjnego magazynu;
• biznesowe wymagania funkcjonalne;
• link do raportu;
• link do wniosku o dostęp;
• status realizacji.

Dzięki raportom dostępna jest analiza poziomu wykorzystania, a raporty trafiają na szczyt listy na podstawie analizy logów dotyczących liczby unikalnych użytkowników. I to nie wszystko. Oprócz ogólnych charakterystyk przewidzieliśmy również szczegółowy opis składu atrybutów raportów z przykładami wartości oraz metodologią obliczeń. Tego rodzaju szczegółowość od razu daje użytkownikowi odpowiedź, czy raport jest dla niego użyteczny, czy nie.

Opracowanie tego modułu stało się istotnym krokiem w kierunku demokratyzacji danych i znacznie skróciło czas poszukiwania wymaganych informacji. Oprócz skrócenia czasu wyszukiwania zmniejszyła się również liczba zapytań do zespołu wsparcia o udzielenie konsultacji. Nie można nie zauważyć jeszcze jednego korzystnego wyniku, który osiągnęliśmy, opracowując jednolity rejestr raportów – zapobieganie tworzeniu duplikujących się raportów dla różnych jednostek organizacyjnych.

Słownik biznesowy

Wszyscy wiecie, że nawet w ramach tej samej firmy biznes mówi różnymi językami. Tak, używają tych samych terminów, ale rozumieją pod nimi zupełnie różne rzeczy. Rozwiązaniem tego problemu jest słownik biznesowy.

Dla nas słownik biznesowy to nie tylko przewodnik z opisem terminów oraz metodologią obliczeń. To pełnoprawne środowisko do opracowywania, uzgadniania i zatwierdzania terminologii, budowania powiązań terminów z innymi aktywami informacyjnymi firmy. Zanim termin trafi do słownika biznesowego, musi przejść wszystkie etapy uzgadniania z zamawiającymi biznesowymi i centrum jakości danych. Dopiero po tym staje się dostępny do użycia.

Jak już napisałem wcześniej, unikalność tego narzędzia polega na tym, że pozwala na śledzenie powiązań od poziomu terminu biznesowego do konkretnych raportów użytkowników, w których jest on używany, a także do poziomu fizycznych obiektów baz danych.

To stało się możliwe dzięki użyciu identyfikatorów terminów słownika w szczegółowym opisie raportów z rejestru oraz opisie fizycznych obiektów baz danych.

Obecnie w Glosariuszu zdefiniowano i zatwierdzono już ponad 4000 terminów. Jego wykorzystanie usprawnia i przyspiesza przetwarzanie napływających zapytań o zmiany w systemach informacyjnych firmy. Jeśli wymagany wskaźnik został już zrealizowany w jakimkolwiek raporcie, użytkownik od razu zobaczy zestaw gotowych raportów, w których ten wskaźnik został użyty, i będzie mógł podjąć decyzję o efektywnym ponownym wykorzystaniu istniejącej funkcjonalności lub jej minimalnej modyfikacji, bez inicjowania nowych zapytań o stworzenie nowego raportu.

Moduł opisu transformacji technicznych i DataLineage

Zapytasz, czym są te moduły? Wdrożenie Rejestru raportów i Glosariusza to za mało, konieczne jest również osadzenie wszystkich terminów biznesowych na fizycznym modelu baz danych. Dzięki temu ukończyliśmy proces formowania cyklu życia danych od systemów źródłowych do wizualizacji BI przez wszystkie warstwy magazynu danych. Innymi słowy — zbudowaliśmy DataLineage.

Opracowaliśmy interfejs, którego podstawą był wcześniej stosowany w firmie format opisu zasad i logiki transformacji danych. Za pomocą interfejsu wprowadza się te same informacje co wcześniej, ale koniecznym warunkiem stało się określenie identyfikatora terminu z glosariusza biznesowego. W ten sposób budujemy więź między warstwami biznesowymi a fizycznymi.

Kto tego potrzebuje? Co nie odpowiadał stary format, z którym pracowaliśmy przez kilka lat? Jak wzrosły nakłady pracy na formułowanie wymagań? Z takimi pytaniami musieliśmy się zmagać w procesie wdrażania narzędzia. Odpowiedzi są dość proste – to potrzebne nam wszystkim, biuru danych naszej firmy oraz naszym użytkownikom.

Rzeczywiście, pracownicy musieli się dostosować, początkowo prowadziło to do niewielkich wzrostów nakładów pracy na przygotowanie dokumentacji, ale poradziliśmy sobie z tym problemem. Praktyka, identyfikacja i optymalizacja problematycznych miejsc przyniosły efekty. Osiągnęliśmy najważniejsze — poprawiliśmy jakość opracowywanych wymagań. Obowiązkowe pola do wypełnienia, ustandaryzowane słowniki, maski wejściowe, wbudowane kontrole – wszystko to pozwoliło znacznie podnieść jakość opisów transformacji. Odeszliśmy od praktyki przekazywania skryptów w formie wymagań na rozwój, dzieliliśmy się wiedzą, która była dostępna tylko dla zespołu zajmującego się programowaniem. Stworzona baza metadanych znacznie skraca czas przeprowadzania analizy regresyjnej, zapewnia możliwość szybkiej oceny wpływu zmian na każdym z poziomów IT-landscape (raporty wizualizacji, agregaty, źródła).

A co mają do tego zwykli użytkownicy raportów, jakie mają zyski? Dzięki możliwości budowania DataLineage nasi użytkownicy, nawet ci dalecy od SQL i innych języków programowania, szybko uzyskują informacje o źródłach i obiektach, na podstawie których tworzony jest dany raport.

Moduł kontroli jakości danych

Wszystko, o czym mówiliśmy powyżej w kontekście zapewnienia przezroczystości danych, nie ma znaczenia bez zrozumienia, że dane, które przekazujemy użytkownikom, są poprawne. Jednym z ważnych modułów naszej koncepcji Data Governance jest moduł kontroli jakości danych.

Na obecnym etapie to katalog kontroli dla wybranych encji. Najbliższym celem rozwoju produktu jest rozszerzenie listy kontroli oraz integracja z rejestrem raportów.
Co to da i komu? Dla końcowego użytkownika rejestru dostępne będą informacje o planowanych i rzeczywistych datach gotowości raportu, wyniki przeprowadzonych kontroli z dynamiką, informacje dotyczące załadowanych do raportu źródeł.

Dla nas zintegrowany w procesy robocze moduł jakości danych to:

• Szybkie formowanie oczekiwań klientów.
• Podejmowanie decyzji dotyczących dalszego wykorzystania danych.
• Uzyskanie wstępnego zestawu problematycznych punktów na wczesnych etapach prac do opracowania regularnych kontrolnych jakości.

Z pewnością to pierwsze kroki w budowaniu pełnego procesu zarządzania danymi. Jesteśmy jednak pewni, że jedynie celowe podejście do tej pracy oraz aktywne wdrażanie narzędzi DataGovernance do procesów roboczych zapewni naszym klientom informacyjność, wysoki poziom zaufania do danych, przejrzystość ich pozyskiwania oraz zwiększy szybkość wprowadzania nowych funkcjonalności.

Zespół DataOffice

Źródło: habr.com