Haai Habr!
Data is 'n maatskappy se waardevolste bate. Byna elke maatskappy met 'n digitale fokus verklaar dit. Dit is moeilik om hiermee te argumenteer: nie 'n enkele groot IT-konferensie word gehou sonder om benaderings tot die bestuur, berging en verwerking van data te bespreek nie.
Data kom van buite na ons toe, dit word ook binne die maatskappy gegenereer, en as ons praat oor data van 'n telekommunikasiemaatskappy, dan is dit vir interne werknemers 'n stoorkamer van inligting oor die kliënt, sy belangstellings, gewoontes en ligging. Met behoorlike profilering en segmentering is advertensieaanbiedinge die doeltreffendste. In die praktyk is alles egter nie so rooskleurig nie. Die data wat maatskappye stoor, kan hopeloos verouderd, oorbodig, herhalend wees, of die bestaan daarvan is onbekend aan enigiemand behalwe 'n nou kring van gebruikers. ¯_(ツ)_/¯
In 'n woord, data moet effektief bestuur word - slegs dan sal dit 'n bate word wat werklike voordele en wins vir die onderneming bring. Ongelukkig verg die oplossing van databestuurkwessies nogal baie kompleksiteite. Hulle is hoofsaaklik te wyte aan beide die historiese nalatenskap in die vorm van "dieretuine" van stelsels en die gebrek aan verenigde prosesse en benaderings tot die bestuur daarvan. Maar wat beteken dit om "data-gedrewe" te wees?
Dit is presies waaroor ons onder die snit sal praat, asook hoe die opensource-stapel ons gehelp het.
Die konsep van strategiese databestuur Data Governance (DG) is reeds redelik bekend in die Russiese mark, en die doelwitte wat deur besigheid bereik word as gevolg van die implementering daarvan, is duidelik en duidelik verklaar. Ons maatskappy was geen uitsondering nie en het homself die taak gestel om die konsep van databestuur bekend te stel.
So waar het ons begin? Om mee te begin, het ons sleuteldoelwitte vir onsself gevorm:
- Hou ons data toeganklik.
- Verseker deursigtigheid van die data lewensiklus.
- Voorsien maatskappygebruikers van konsekwente, konsekwente data.
- Voorsien maatskappygebruikers van geverifieerde data.
Vandag is daar 'n dosyn Data Governance-klasinstrumente op die sagtewaremark.
Maar na 'n gedetailleerde ontleding en studie van die oplossings, het ons 'n aantal kritiese opmerkings vir onsself aangeteken:
- Die meeste vervaardigers bied 'n omvattende stel oplossings, wat vir ons oorbodig is en bestaande funksionaliteit dupliseer. Plus, duur in terme van hulpbronne, integrasie in die huidige IT-landskap.
- Die funksionaliteit en koppelvlak is ontwerp vir tegnoloë, nie besigheidseindgebruikers nie.
- Lae oorlewingsyfer van produkte en gebrek aan suksesvolle implementering op die Russiese mark.
- Hoë koste van sagteware en verdere ondersteuning.
Die kriteria en aanbevelings wat hierbo uitgespreek is oor invoervervanging van sagteware vir Russiese maatskappye, het ons oortuig om na ons eie ontwikkeling op 'n oopbronstapel te beweeg. Die platform wat ons gekies het, was Django, 'n gratis en oopbronraamwerk wat in Python geskryf is. En dus het ons sleutelmodules geïdentifiseer wat sal bydra tot die doelwitte hierbo genoem:
- Register van verslae.
- Besigheidswoordelys.
- Module vir die beskrywing van tegniese transformasies.
- Module vir die beskrywing van die data-lewensiklus vanaf die bron na die BI-instrument.
- Data kwaliteit beheer module.
Register van verslae
Volgens die resultate van interne studies in groot maatskappye spandeer werknemers 40-80% van hul tyd om na hulle te soek wanneer hulle dataverwante probleme oplos. Daarom het ons onsself die taak opgelê om oop inligting te maak oor bestaande verslae wat voorheen slegs vir kliënte beskikbaar was. Ons verminder dus die tyd vir die generering van nuwe verslae en verseker demokratisering van data.
Die verslagdoeningsregister het 'n enkele verslagdoeningsvenster geword vir interne gebruikers van verskeie streke, departemente en afdelings. Dit konsolideer inligting oor inligtingsdienste wat in verskeie korporatiewe bewaarplekke van die maatskappy geskep is, en daar is baie van hulle in Rostelecom.
Maar die register is nie net 'n droë lys van ontwikkelde verslae nie. Vir elke verslag verskaf ons die inligting wat nodig is vir die gebruiker om homself daarmee vertroud te maak:
- kort beskrywing van die verslag;
- diepte van databeskikbaarheid;
- klantsegment;
- visualiseringsinstrument;
- naam van die korporatiewe berging;
- besigheids funksionele vereistes;
- skakel na die verslag;
- skakel na aansoek om toegang;
- implementering status.
Gebruiksvlakanalise is beskikbaar vir verslae, en verslae word boaan die lys gerangskik op grond van loganalise gebaseer op die aantal unieke gebruikers. En dit is nie dit nie. Benewens die algemene kenmerke, het ons ook 'n gedetailleerde beskrywing van die kenmerksamestelling van die verslae verskaf met voorbeelde van waardes en berekeningsmetodes. Sulke besonderhede gee die gebruiker dadelik 'n antwoord of die verslag vir hom nuttig is of nie.
Die ontwikkeling van hierdie module was 'n belangrike stap in die demokratisering van data en het die tyd wat dit neem om die vereiste inligting te vind aansienlik verminder. Benewens die vermindering van soektyd, het die aantal versoeke aan die ondersteuningspan om konsultasies te verskaf ook afgeneem. Dit is onmoontlik om nie te let op nog 'n nuttige resultaat wat ons bereik het deur 'n verenigde register van verslae te ontwikkel nie - die voorkoming van die ontwikkeling van duplikaatverslae vir verskillende strukturele eenhede.
Besigheidswoordelys
Julle weet almal dat selfs binne dieselfde maatskappy besighede verskillende tale praat. Ja, hulle gebruik dieselfde terme, maar hulle beteken heeltemal verskillende dinge. 'n Besigheidswoordelys is ontwerp om hierdie probleem op te los.
Vir ons is 'n sakewoordelys nie net 'n naslaanboek met 'n beskrywing van terme en berekeningsmetodologie nie. Dit is 'n volwaardige omgewing vir die ontwikkeling, ooreenstemming en goedkeuring van terminologie, die bou van verhoudings tussen terme en ander inligtingsbates van die maatskappy. Voordat u die besigheidswoordelys betree, moet 'n term deur alle stadiums van goedkeuring met besigheidskliënte en die datakwaliteitsentrum gaan. Eers hierna word dit beskikbaar vir gebruik.
Soos ek hierbo geskryf het, is die uniekheid van hierdie instrument dat dit verbindings vanaf die vlak van 'n besigheidsterm tot spesifieke gebruikerverslae waarin dit gebruik word, sowel as tot die vlak van fisiese databasisobjekte moontlik maak.
Dit word moontlik gemaak deur die gebruik van woordelystermidentifiseerders in die gedetailleerde beskrywing van registerverslae en die beskrywing van fisiese databasisobjekte.
Tans is meer as 4000 XNUMX terme in die Woordelys gedefinieer en ooreengekom. Die gebruik daarvan vereenvoudig en versnel die verwerking van inkomende versoeke vir veranderinge in die maatskappy se inligtingstelsels. As die vereiste aanwyser reeds in enige verslag geïmplementeer is, sal die gebruiker onmiddellik 'n stel klaargemaakte verslae sien waar hierdie aanwyser gebruik word, en sal in staat wees om te besluit oor die effektiewe hergebruik van bestaande funksionaliteit of die minimale wysiging daarvan, sonder om te begin nuwe versoeke vir die ontwikkeling van 'n nuwe verslag.
Module vir die beskrywing van tegniese transformasies en DataLineage
Wat is hierdie modules, vra jy? Dit is nie genoeg om bloot die Verslagregister en Woordelys te implementeer nie; dit is ook nodig om alle besigheidsterme op die fisiese databasismodel te grond. Sodoende kon ons die proses voltooi om die datalewensiklus van bronstelsels tot BI-visualisering deur alle lae van die datapakhuis te vorm. Met ander woorde, bou 'n DataLineage.
Ons het 'n koppelvlak ontwikkel wat gebaseer is op die formaat wat voorheen in die maatskappy gebruik is om die reëls en logika van datatransformasie te beskryf. Dieselfde inligting word deur die koppelvlak ingevoer as voorheen, maar die definisie van die term identifiseerder uit die besigheidswoordelys het 'n voorvereiste geword. Dit is hoe ons 'n verband tussen die besigheid en fisiese lae bou.
Wie het dit nodig? Wat was fout met die ou formaat waarmee jy etlike jare gewerk het? Hoeveel het die arbeidskoste vir die opwekking van vereistes toegeneem? Ons moes sulke vrae hanteer tydens die implementering van die instrument. Die antwoorde hier is redelik eenvoudig - ons het dit almal nodig, ons maatskappy se datakantoor en ons gebruikers.
Die werknemers moes inderdaad aanpas; dit het aanvanklik gelei tot 'n effense toename in arbeidskoste vir die voorbereiding van dokumentasie, maar ons het hierdie kwessie uitgesorteer. Oefening, identifisering en optimalisering van probleemareas het hul werk gedoen. Ons het die belangrikste ding bereik - ons het die kwaliteit van die ontwikkelde vereistes verbeter. Verpligte velde, verenigde naslaanboeke, invoermaskers, ingeboude tjeks - dit alles het dit moontlik gemaak om die kwaliteit van transformasiebeskrywings aansienlik te verbeter. Ons het wegbeweeg van die praktyk om skrifte as ontwikkelingsvereistes te oorhandig en kennis gedeel wat slegs vir die ontwikkelingspan beskikbaar was. Die gegenereerde metadata-databasis verminder aansienlik die tyd wat nodig is om regressie-analise uit te voer en bied die vermoë om vinnig die impak van veranderinge op enige laag van die IT-landskap te evalueer (vertoonverslae, aggregate, bronne).
Wat het dit te doen met gewone gebruikers van verslae, wat is die voordele vir hulle? Danksy die vermoë om DataLineage te bou, ontvang ons gebruikers, selfs diegene ver van SQL en ander programmeertale, vinnig inligting oor die bronne en voorwerpe op grond waarvan 'n spesifieke verslag gegenereer word.
Datakwaliteitbeheermodule
Alles waaroor ons hierbo gepraat het in terme van die versekering van data-deursigtigheid is nie belangrik sonder om te verstaan dat die data wat ons aan gebruikers gee, korrek is nie. Een van die belangrike modules van ons Databestuurskonsep is die datakwaliteitbeheermodule.
Op die huidige stadium is dit 'n katalogus van tjeks vir geselekteerde entiteite. Die onmiddellike doelwit vir produkontwikkeling is om die lys tjeks uit te brei en met die verslagdoeningsregister te integreer.
Wat sal dit gee en aan wie? Die eindgebruiker van die register sal toegang hê tot inligting oor die beplande en werklike datums van verslaggereedheid, die resultate van voltooide kontroles met dinamika, en inligting oor die bronne wat in die verslag gelaai is.
Vir ons is die datakwaliteitmodule wat in ons werkprosesse geïntegreer is:
- Vinnige vorming van kliëntverwagtinge.
- Neem besluite oor verdere gebruik van data.
- Die verkryging van 'n voorlopige stel probleempunte in die aanvanklike stadiums van werk vir die ontwikkeling van gereelde kwaliteitskontroles.
Dit is natuurlik die eerste stappe in die bou van 'n volwaardige databestuursproses. Maar ons is vol vertroue dat ons slegs deur doelgerig hierdie werk te doen, aktief databestuurnutsmiddels in die werkproses in te voer, ons kliënte van inligtinginhoud, 'n hoë vlak van vertroue in die data, deursigtigheid in hul ontvangs sal voorsien en die spoed van bekendstelling sal verhoog. nuwe funksionaliteit.
DataOffice-span
Bron: will.com