Hei Habr!
Data on yrityksen arvokkain omaisuus. Melkein jokainen digitaalinen yritys ilmoittaa tämän. Tästä on vaikea kiistellä: yhtä suurta IT-konferenssia ei pidetä ilman, että keskustellaan lähestymistavoista tietojen hallintaan, tallentamiseen ja käsittelyyn.
Data tulee meille ulkopuolelta, sitä syntyy myös yrityksen sisällä, ja jos puhumme tietoliikenneyrityksen tiedoista, niin sisäisille työntekijöille tämä on tietovarasto asiakkaasta, hänen kiinnostuksen kohteistaan, tavoistaan ja sijainnistaan. Asianmukaisella profiloinnilla ja segmentoinnilla mainostarjoukset ovat tehokkaimpia. Käytännössä kaikki ei kuitenkaan ole niin ruusuista. Yritysten tallentamat tiedot voivat olla toivottoman vanhentuneita, tarpeettomia, toistuvia tai niiden olemassaolo on tuntematon kenellekään paitsi kapealle käyttäjäpiirille. ¯_(ツ)_/¯
Sanalla sanoen, dataa on hallittava tehokkaasti – vasta silloin siitä tulee voimavara, joka tuo yritykselle todellista hyötyä ja voittoa. Valitettavasti tiedonhallintaongelmien ratkaiseminen vaatii monien monimutkaisten asioiden voittamista. Ne johtuvat pääasiassa sekä historiallisesta perinnöstä järjestelmien "eläintarhojen" muodossa että yhtenäisten prosessien ja lähestymistapojen puutteesta niiden hallintaan. Mutta mitä tarkoittaa olla "dataohjattu"?
Juuri tästä aiomme puhua leikkauksen alla, samoin kuin siitä, kuinka avoimen lähdekoodin pino auttoi meitä.
Strategisen tiedonhallinnan käsite Data Governance (DG) on jo varsin tunnettu Venäjän markkinoilla, ja sen toteuttamisen tuloksena liiketoiminnan saavuttamat tavoitteet ovat selkeät ja selkeästi ilmaistut. Yrityksemme ei ollut poikkeus ja otti tehtäväkseen ottaa käyttöön tiedonhallinnan käsitteen.
Joten mistä aloitimme? Aluksi määritimme itsellemme tärkeimmät tavoitteet:
- Pidä tietomme saatavilla.
- Varmista tietojen elinkaaren läpinäkyvyys.
- Tarjoa yrityksen käyttäjille johdonmukaisia ja johdonmukaisia tietoja.
- Anna yrityksen käyttäjille vahvistettuja tietoja.
Nykyään ohjelmistomarkkinoilla on tusina Data Governance -luokan työkaluja.
Mutta ratkaisujen yksityiskohtaisen analyysin ja tutkimuksen jälkeen tallensimme useita kriittisiä kommentteja itsellemme:
- Useimmat valmistajat tarjoavat kattavan valikoiman ratkaisuja, jotka ovat meille tarpeettomia ja kopioivat olemassa olevia toimintoja. Lisäksi kallis resurssien kannalta, integrointi nykyiseen IT-ympäristöön.
- Toiminnot ja käyttöliittymä on suunniteltu tekniikan asiantuntijoille, ei yritysten loppukäyttäjille.
- Tuotteiden alhainen selviytymisaste ja onnistuneiden toteutusten puute Venäjän markkinoilla.
- Korkeat ohjelmistokustannukset ja lisätuki.
Edellä esitetyt kriteerit ja suositukset koskien ohjelmistojen tuontikorvausta venäläisille yrityksille saivat meidät siirtymään kohti omaa kehitystä avoimen lähdekoodin pinolla. Valitsemamme alustana oli Django, ilmainen ja avoimen lähdekoodin kehys, joka on kirjoitettu Pythonilla. Ja siksi olemme tunnistaneet keskeiset moduulit, jotka edistävät edellä mainittujen tavoitteiden saavuttamista:
- Raporttien rekisteri.
- Liiketoiminnan sanasto.
- Moduuli teknisten muutosten kuvaamiseen.
- Moduuli, joka kuvaa tiedon elinkaaren lähteestä BI-työkaluun.
- Tietojen laadunvalvontamoduuli.
Raporttien rekisteri
Suuryritysten sisäisten tutkimusten tulosten mukaan dataon liittyviä ongelmia ratkaistaessa työntekijät käyttävät 40-80 % ajastaan niiden etsimiseen. Siksi asetimme itsellemme tehtävän tehdä avointa tietoa olemassa olevista raporteista, jotka olivat aiemmin vain asiakkaiden saatavilla. Näin lyhennämme uusien raporttien luomiseen kuluvaa aikaa ja varmistamme tietojen demokratisoitumisen.
Raportointirekisteristä on muodostunut yhtenäinen raportointiikkuna sisäisille käyttäjille eri alueilta, osastoilta ja toimialoilta. Se kokoaa tietoa tietopalveluista, jotka on luotu yrityksen useisiin yritystietovarastoihin, ja niitä on monia Rostelecomissa.
Mutta rekisteri ei ole vain kuiva luettelo kehitetyistä raporteista. Jokaisesta raportista annamme tarvittavat tiedot, jotta käyttäjä voi tutustua siihen:
- lyhyt kuvaus raportista;
- tietojen saatavuuden syvyys;
- asiakassegmentti;
- visualisointityökalu;
- yrityksen varaston nimi;
- liiketoiminnan toiminnalliset vaatimukset;
- linkki raporttiin;
- linkki käyttöoikeushakemukseen;
- täytäntöönpanon tila.
Raportteja varten on saatavilla käyttötason analytiikka, ja raportit sijoittuvat luettelon kärkeen lokianalyysin perusteella yksittäisten käyttäjien lukumäärän perusteella. Ja se ei ole siinä. Yleisten ominaisuuksien lisäksi olemme toimittaneet myös yksityiskohtaisen kuvauksen raporttien attribuuttien koostumuksesta esimerkkeineen arvoista ja laskentamenetelmistä. Tällainen yksityiskohtaisuus antaa käyttäjälle välittömästi vastauksen, onko raportti hänelle hyödyllinen vai ei.
Tämän moduulin kehittäminen oli tärkeä askel tietojen demokratisoinnissa ja lyhensi merkittävästi tarvittavan tiedon löytämiseen kuluvaa aikaa. Hakuajan lyhentämisen lisäksi tukitiimille tehtyjen konsultaatiopyyntöjen määrä on myös vähentynyt. On mahdotonta olla huomioimatta toista hyödyllistä tulosta, jonka saimme kehittämällä yhtenäisen raporttirekisterin - estäen päällekkäisten raporttien muodostumisen eri rakenneyksiköille.
Liiketoiminnan sanasto
Tiedätte kaikki, että jopa saman yrityksen sisällä yritykset puhuvat eri kieliä. Kyllä, he käyttävät samoja termejä, mutta ne tarkoittavat täysin eri asioita. Yrityssanasto on suunniteltu ratkaisemaan tämä ongelma.
Meille yrityssanasto ei ole vain hakuteos, jossa on kuvaus termeistä ja laskentamenetelmistä. Tämä on täysimittainen ympäristö terminologian kehittämiseen, sopimiseen ja hyväksymiseen sekä termien ja muun yrityksen tietovarallisuuden välisten suhteiden rakentamiseen. Ennen kuin termi siirtyy yrityssanastoon, sen on käytävä läpi kaikki hyväksymisvaiheet yritysasiakkaiden ja tiedonlaatukeskuksen kanssa. Vasta tämän jälkeen se tulee käyttöön.
Kuten edellä kirjoitin, tämän työkalun ainutlaatuisuus on se, että se mahdollistaa yhteydet liiketermitasolta tiettyihin käyttäjäraportteihin, joissa sitä käytetään, sekä fyysisten tietokantaobjektien tasolle.
Tämä on mahdollista käyttämällä sanastotermitunnisteita rekisteriraporttien yksityiskohtaisessa kuvauksessa ja fyysisten tietokantaobjektien kuvauksessa.
Tällä hetkellä sanastossa on määritelty ja sovittu yli 4000 XNUMX termiä. Sen käyttö yksinkertaistaa ja nopeuttaa saapuvien muutospyyntöjen käsittelyä yrityksen tietojärjestelmiin. Jos vaadittu indikaattori on jo otettu käyttöön missä tahansa raportissa, käyttäjä näkee välittömästi valmiita raportteja, joissa tätä indikaattoria käytetään, ja hän voi päättää olemassa olevan toiminnon tehokkaasta uudelleenkäytöstä tai sen vähäisestä muuttamisesta aloittamatta uusia pyyntöjä uuden raportin laatimiseksi.
Moduuli teknisten muutosten ja DataLineagen kuvaamiseen
Mitä nämä moduulit ovat, kysyt? Ei riitä, että raporttirekisteri ja sanasto otetaan käyttöön, vaan kaikki liiketoimintatermit on myös maadoitettava fyysiseen tietokantamalliin. Näin ollen pystyimme viimeistelemään tietojen elinkaariprosessin lähdejärjestelmistä BI-visualisointiin tietovaraston kaikkien kerrosten läpi. Toisin sanoen rakentaa DataLineage.
Kehitimme yhtiössä aiemmin käytettyyn muotoon perustuvan rajapinnan tietojen muuntamisen sääntöjen ja logiikan kuvaamiseen. Käyttöliittymän kautta syötetään samat tiedot kuin ennenkin, mutta edellytykseksi on tullut termin tunniste määrittely yrityssanastosta. Näin rakennamme yhteyden liiketoiminnan ja fyysisen kerroksen välille.
Kuka sitä tarvitsee? Mitä vikaa oli vanhassa formaatissa, jonka parissa työskentelitte useita vuosia? Kuinka paljon tarpeiden synnyttämisen työvoimakustannukset ovat nousseet? Jouduimme käsittelemään tällaisia kysymyksiä työkalun käyttöönoton aikana. Vastaukset ovat melko yksinkertaisia - me kaikki tarvitsemme tätä, yrityksemme datatoimisto ja käyttäjämme.
Työntekijöiden pitikin sopeutua, mikä johti aluksi hieman työvoimakustannusten nousuun dokumentaation laatimiseen, mutta saimme asian selvitettyä. Harjoittelu, ongelma-alueiden tunnistaminen ja optimointi ovat tehneet tehtävänsä. Olemme saavuttaneet pääasia - olemme parantaneet kehitettyjen vaatimusten laatua. Pakolliset kentät, yhtenäiset hakuteokset, syöttömaskit, sisäänrakennetut tarkistukset - kaikki tämä mahdollisti muunnoskuvausten laadun parantamisen merkittävästi. Luovuimme käytännöstä luovuttaa komentosarjoja kehitysvaatimuksina ja jaoimme tietoa, joka oli vain kehitystiimin saatavilla. Luotu metatietokanta lyhentää merkittävästi regressioanalyysin suorittamiseen tarvittavaa aikaa ja tarjoaa mahdollisuuden arvioida nopeasti muutosten vaikutukset mihin tahansa IT-ympäristön kerrokseen (esittelyraportit, aggregaatit, lähteet).
Mitä tekemistä tällä on tavallisten raporttien käyttäjien kanssa, mitä hyötyä siitä on heille? DataLineagen rakentamiskyvyn ansiosta käyttäjämme, myös kaukana SQL:stä ja muista ohjelmointikielistä, saavat nopeasti tietoa lähteistä ja objekteista, joiden perusteella tietty raportti luodaan.
Tietojen laadunvalvontamoduuli
Kaikki, mistä puhuimme edellä tietojen läpinäkyvyyden varmistamisessa, ei ole tärkeää ilman, että ymmärrämme, että käyttäjille antamamme tiedot ovat oikeita. Yksi Data Governance -konseptimme tärkeimmistä moduuleista on tietojen laadunvalvontamoduuli.
Tässä vaiheessa tämä on luettelo valittujen entiteettien shekeistä. Tuotekehityksen välittömänä tavoitteena on laajentaa tarkistuslistaa ja integroida raportointirekisteriin.
Mitä se antaa ja kenelle? Rekisterin loppukäyttäjällä on käytettävissään tiedot raporttivalmiuden suunnitelluista ja toteutuneista päivämääristä, suoritettujen dynamiikkatarkastusten tuloksista sekä tiedot raporttiin ladatuista lähteistä.
Meille työprosesseihimme integroitu tiedonlaatumoduuli on:
- Asiakkaiden odotusten nopea muodostuminen.
- Päätösten tekeminen tietojen jatkokäytöstä.
- Alustavien ongelmakohtien hankkiminen työn alkuvaiheessa säännöllisen laadunvalvonnan kehittämiseksi.
Nämä ovat tietysti ensimmäiset askeleet täysimittaisen tiedonhallintaprosessin rakentamisessa. Mutta olemme varmoja, että vain tekemällä tätä työtä määrätietoisesti, ottamalla aktiivisesti käyttöön Data Governance -työkaluja työprosessiin, tarjoamme asiakkaillemme tietosisältöä, korkeaa luottamusta tietoihin, läpinäkyvyyttä niiden vastaanottamisessa ja nopeuttamme käynnistystä. uutta toiminnallisuutta.
DataOffice-tiimi
Lähde: will.com