DataGovernance på egen hand

Hej, Habr!

Data är en ovärderlig tillgång för företaget. Detta påstår nästan varje företag med digital inriktning. Det är svårt att argumentera emot det: utan diskussioner om metoder för datahantering, lagring och bearbetning hålls inga stora IT-konferenser längre.

Data kommer till oss utifrån, och de skapas även internt inom företaget. När det handlar om data från telekomföretag är det en guldgruva av information för interna medarbetare om kunder, deras intressen, vanor och plats. Med rätt profilering och segmentering blir reklam erbjudanden mycket mer effektiva. Men i praktiken är det inte alltid så enkelt. De data som företag har kan vara hopplöst föråldrade, överflödiga, repetitiva eller så kan ingen veta om deras existens utom en liten krets av användare. ¯_(ツ)_/¯

Kort sagt, data måste hanteras effektivt – endast då kan de bli en tillgång som ger företaget verklig nytta och vinst. Tyvärr måste man övervinna en hel del svårigheter för att hantera data. Detta beror främst på ett historiskt arv i form av "zoodjur" av system, samt bristen på enhetliga processer och metoder för att hantera dem. Men vad innebär det att "hantera data"?

Det är precis vad vi kommer att prata om under rubriken, och också om hur vi fick hjälp av vårt opensource-stack.

Konceptet för strategisk datastyrning, Data Governance (DG), är redan ganska välkänt på den ryska marknaden, och målen som företag når genom att implementera det är tydliga och uttalade. Vårt företag är inget undantag och har satt som mål att implementera konceptet för datastyrning.

Så, var började vi? Först och främst formulerade vi våra nyckelmål:

1. Säkerställa tillgängligheten av våra data.
2. Säkerställa transparens i datacykeln.
3. Ge företagets användare enhetliga och konsekventa data.
4. Ge företagets användare verifierade data.

I dagsläget finns det ett tiotal verktyg på mjukvarumarknaden inom klassen Data Governance.

Men efter en grundlig analys och granskning av lösningarna har vi noterat flera kritiska anmärkningar:

• De flesta tillverkare erbjuder en omfattande uppsättning lösningar, vilket för oss är överflödigt och duplicerar redan befintlig funktionalitet. Dessutom är integrationen i den nuvarande IT-miljön resurskrävande.
• Funktionaliteten och gränssnittet är avsedda för tekniker, inte för slutliga affärsanvändare.
• Låg acceptans av produkter och avsaknad av framgångsrika implementeringar på den ryska marknaden.
• Höga kostnader för programvara och fortsatt support.

De ovan nämnda kriterierna och rekommendationerna när det gäller mjukvaruimportersättning för ryska företag övertygade oss att gå mot egen utveckling baserad på en öppen källkodsteknologi. Vi valde Django som plattform – ett gratis och fritt ramverk skrivet i Python. Så vi har identifierat nyckelmoduler som kommer att stödja de mål som nämndes ovan:

1. Rapportregister.
2. Affärsglossary.
3. Modul för beskrivning av tekniska transformationer.
4. Modul för beskrivning av livscykeln för data från källa till BI-verktyg.
5. Modul för datakvalitetskontroll.

Rapportregister

Enligt resultat från interna studier inom stora företag spenderar anställda 40–80 % av sin tid på att söka efter data när de hanterar datarelaterade uppgifter. Därför har vi satt som mål att göra information om befintliga rapporter, som tidigare endast var tillgängliga för kunder, offentlig. På så sätt minskar vi tiden för att skapa ny rapportering och säkerställer en demokratisering av data.

Rapportregistret har blivit en enhetlig rapporteringspunkt för interna användare från olika regioner, avdelningar och enheter. Det konsoliderar information om informationstjänster skapade i olika företagslagringssystem, och det finns många av dem inom Ростелеком.

Men registret är inte bara en torr lista över utvecklade rapporter. För varje rapport tillhandahåller vi information som användaren behöver för att bekanta sig med den på egen hand:

• kort beskrivning av rapporten;
• djup tillgång till data;
• kundsegment;
• visualiseringsverktyg;
• namn på företagslagringssystemet;
• affärsfunktionella krav;
• länk till rapporten;
• länk till ansökan om tillgång;
• implementeringsstatus.

Genom rapporterna är analys av användningsnivå tillgänglig, och rapporterna rankas i topp baserat på logganalys av antalet unika användare. Men det är inte allt. Förutom allmänna egenskaper har vi även inkluderat en detaljerad beskrivning av rapporternas attributsammansättning med exempel på värden och beräkningsmetoder. Denna typ av detaljer kan omedelbart ge användaren svaret på om rapporten är användbar för honom eller inte.

Utvecklingen av denna modul var ett viktigt steg mot att demokratisera data och minskade avsevärt tiden för att söka efter information. Förutom att söktiden minskade, minskade även antalet henvendelser till supportteamet för att få rådgivning. Det är också värt att nämna en annan nyttig effekt vi uppnådde genom att utveckla ett enhetligt register över rapporter – att förhindra utvecklingen av duplicerade rapporter för olika organisatoriska enheter.

Affärsglossär

Ni vet alla att även inom samma företag pratar affären olika språk. Ja, de använder samma termer, men förstår helt olika saker med dem. Affärsglossären syftar till att lösa detta problem.

För oss är affärsglossären inte bara en referens med beskrivning av termer och beräkningsmetodologi. Det är en fullfjädrad utvecklings-, överenskommelser- och godkännandeplattform för terminologi, samt för att bygga relationer mellan termer och andra informationsaktiver i företaget. Innan en term kommer in i affärsglossären måste den gå igenom alla godkännandeprocesser med affärsbeställarna och datakvalitetscentret. Först efter det blir den tillgänglig för användning.

Som jag nämnde tidigare ligger unikheten hos detta verktyg i att det låter oss korsa kopplingarna från nivån av affärsterm till specifika användarrrapporter där den används, liksom till nivån av fysiska objekt i databaser.

Detta blev möjligt genom att använda identifierarna för termer i glossären i den detaljerade beskrivningen av rapporterna från registret och beskrivningen av fysiska objekt i databaser.

Just nu har Glossariet definierat och godkänt mer än 4000 termer. Dess användning förenklar och påskyndar behandlingen av inkommande begärningar om ändringar i företagets informationssystem. Om den begärda indikatorn redan finns i en rapport kommer användaren omedelbart att se en uppsättning färdiga rapporter där denna indikator används och kan fatta beslut om effektiv återanvändning av befintlig funktionalitet eller om det behövs en minimal justering, utan att initiera nya begärningar om att utveckla en ny rapport.

Modul för beskrivning av tekniska transformationer och DataLineage

Du kanske undrar vad dessa moduler är? Det räcker inte bara med att införa Rapportregistret och Glossariet, det är också nödvändigt att koppla alla affärstermer till den fysiska databasmallen. På så sätt kunde vi slutföra processen för att skapa livscykeln av data från källsystem till BI-visualisering genom alla lager av datalagring. Med andra ord – bygga DataLineage.

Vi har utvecklat ett gränssnitt, baserat på det format som tidigare användes i företaget för att beskriva regler och logik för datatransformationer. Genom gränssnittet matas all den information in som tidigare, men ett obligatoriskt villkor har blivit att definiera identifieraren för termen från affärsglossariet. På så sätt bygger vi upp kopplingen mellan affärs- och fysiska lager.

Vem behöver detta? Vad var fel med det gamla formatet som vi arbetade med i flera år? Hur mycket har arbetsinsatsen ökat för att formulera krav? Med sådana frågor har vi stött på under införandet av verktyget. Här är svaren ganska enkla – det behövs av oss alla, data-kontoret i vårt företag och våra användare.

Verkligen, de anställda fick anpassa sig, i början ledde detta till en viss ökning av arbetsinsatsen för att förbereda dokumentationen, men vi löste detta problem. Praktik, identifiering och optimering av problemområden gjorde sitt. Vi har uppnått det viktigaste — vi har ökat kvaliteten på de krav som utvecklas. Obligatoriska fält, standardiserade referenser, inmatningsmasker, inbyggda kontroller - allt detta har möjliggjort en dramatiskt ökning av kvaliteten på beskrivningarna av transformationer. Vi har övergett praktiken att överföra skript som krav för utveckling, och delat kunskap som tidigare endast var tillgänglig för utvecklingsteamet. Den samlade metadata-databasen minskar tiden för regressionsanalys avsevärt och möjliggör en snabb bedömning av förändringars genomslag på vilket som helst av IT-landskapets lager (rapporter, aggregat, källor).

Vad har det med vanliga användare av rapporter att göra, vilka fördelar har de? Tack vare möjligheten att bygga DataLineage får våra användare, även de som är långt ifrån SQL och andra programmeringsspråk, snabbt information om källorna och objekten som ligger till grund för en viss rapport.

Modul för datakvalitetskontroll

Allt vad vi nämnt ovan angående datatransparens spelar ingen roll utan förståelse för att de data vi ger användarna är korrekta. En av de viktigaste modulerna i vår Data Governance-koncept är modulen för datakvalitetskontroll.

I det aktuella skedet är detta en katalog över kontroller för urvalsenheter. Den närmaste målsättningen för produktutvecklingen är att utöka listan över kontroller och integrera med rapportregistret.
Vad kommer detta att ge och till vem? För slutkunden av registret kommer information om planerade och faktiska datum för rapportens färdigställande att vara tillgänglig, resultaten av genomförda kontroller med dynamik, samt uppgifter om källor som laddats upp till rapporten.

För oss innebär den integrerade modulen för datakvalitet i arbetsprocesserna:

• Snabb bildande av kundernas förväntningar.
• Beslut om vidare användning av data.
• Inhämtning av en preliminär uppsättning av problemområden i de tidiga faserna av arbetet för att utveckla regelbundna kvalitetskontroller.

Självklart är detta de första stegen i att bygga en komplett datastyrningsprocess. Men vi är övertygade om att genom att dedikerat arbeta med detta och aktivt implementera DataGovernance-verktyg i arbetsprocessen, kommer vi att säkerställa att våra kunder får informativitet, en hög nivå av förtroende för data, transparens i datainsamlingen och öka hastigheten för att introducera ny funktionalitet.

DataOffice-teamet

Källa: habr.com