Tere Habr!
Andmed on ettevõtte kõige väärtuslikum vara. Peaaegu iga digifookusega ettevõte deklareerib seda. Sellele on raske vastu vaielda: mitte ühtegi suurt IT-konverentsi ei toimu ilma andmete haldamise, säilitamise ja töötlemise lähenemisviiside arutamiseta.
Andmed tulevad meile väljastpoolt, need tekivad ka ettevõtte sees ja kui rääkida telekomifirma andmetest, siis sisemiste töötajate jaoks on see info ladu kliendi, tema huvide, harjumuste ja asukoha kohta. Õige profiili koostamise ja segmenteerimisega on reklaamipakkumised kõige tõhusamad. Praktikas pole aga kõik nii roosiline. Andmed, mida ettevõtted säilitavad, võivad olla lootusetult vananenud, üleliigsed, korduvad või nende olemasolu pole kellelegi teada peale kitsa kasutajaskonna. ¯_(ツ)_/¯
Ühesõnaga andmeid tuleb tõhusalt hallata – alles siis saab neist vara, mis toob ärile reaalset kasu ja kasumit. Kahjuks nõuab andmehaldusprobleemide lahendamine üsna paljude keerukuste ületamist. Need on peamiselt tingitud nii ajaloolisest pärandist süsteemide “loomaaedade” näol kui ka ühtsete protsesside ja lähenemisviiside puudumisest nende haldamisel. Aga mida tähendab olla "andmepõhine"?
See on täpselt see, millest me lõike all räägime, samuti sellest, kuidas avatud lähtekoodiga virn meid aitas.
Strateegilise andmehalduse kontseptsioon Data Governance (DG) on Venemaa turul juba üsna tuntud ning selle elluviimise tulemusena saavutatud eesmärgid on selged ja selgelt deklareeritud. Meie ettevõte ei olnud erand ja seadis endale ülesandeks juurutada andmehalduse kontseptsioon.
Kust me siis alustasime? Alustuseks seadsime endale peamised eesmärgid:
- Hoidke meie andmed kättesaadavad.
- Tagada andmete elutsükli läbipaistvus.
- Pakkuge ettevõtte kasutajatele ühtseid ja järjepidevaid andmeid.
- Pakkuge ettevõtte kasutajatele kinnitatud andmeid.
Tänaseks on tarkvaraturul kümmekond Data Governance klassi tööriista.
Kuid pärast lahenduste üksikasjalikku analüüsi ja uurimist salvestasime enda jaoks mitmeid kriitilisi kommentaare:
- Enamik tootjaid pakub terviklikku lahenduste komplekti, mis on meie jaoks üleliigne ja dubleerib olemasolevat funktsionaalsust. Lisaks kulukas ressursside poolest, integratsioon praeguse IT maastikuga.
- Funktsionaalsus ja liides on mõeldud tehnoloogidele, mitte ärilistele lõppkasutajatele.
- Toodete madal ellujäämismäär ja edukate juurutuste puudumine Venemaa turul.
- Tarkvara ja täiendava toe kõrge hind.
Eespool välja öeldud kriteeriumid ja soovitused seoses tarkvara impordi asendamisega Venemaa ettevõtetele veensid meid liikuma avatud lähtekoodiga virna oma arenduse suunas. Platvormiks valisime Django, Pythonis kirjutatud tasuta ja avatud lähtekoodiga raamistik. Seega oleme tuvastanud peamised moodulid, mis aitavad kaasa ülaltoodud eesmärkide saavutamisele:
- Aruannete register.
- Ärisõnastik.
- Tehniliste transformatsioonide kirjeldamise moodul.
- Moodul andmete elutsükli kirjeldamiseks allikast BI-tööriistani.
- Andmekvaliteedi kontrolli moodul.
Aruannete register
Suurettevõtete siseuuringute tulemuste kohaselt kulutavad töötajad andmetega seotud probleemide lahendamisel 40-80% ajast nende otsimisele. Seetõttu seadsime endale ülesandeks muuta avatud teave olemasolevate aruannete kohta, mis olid varem kättesaadavad ainult klientidele. Seega vähendame uute aruannete koostamise aega ja tagame andmete demokratiseerimise.
Aruandlusregistrist on saanud ühtne aruandlusaken erinevate piirkondade, osakondade ja osakondade sisekasutajatele. See koondab teavet ettevõtte mitmetes ettevõtete hoidlates loodud teabeteenuste kohta ja neid on Rostelecomis palju.
Kuid register ei ole ainult väljatöötatud aruannete kuiv nimekiri. Iga aruande kohta anname kasutajale vajaliku teabe sellega tutvumiseks:
- aruande lühikirjeldus;
- andmete kättesaadavuse sügavus;
- kliendisegment;
- visualiseerimistööriist;
- ettevõtte lao nimi;
- äritegevuse funktsionaalsed nõuded;
- link aruandele;
- link juurdepääsutaotlusele;
- rakendamise staatus.
Aruannete jaoks on saadaval kasutustaseme analüüs ja aruanded järjestatakse loendi ülaosas logianalüütika põhjal, mis põhineb unikaalsete kasutajate arvul. Ja see pole see. Lisaks üldistele omadustele oleme esitanud ka aruannete atribuutide koostise üksikasjaliku kirjelduse koos väärtuste ja arvutusmeetodite näidetega. Selline detailsus annab kasutajale kohe vastuse, kas aruanne on talle kasulik või mitte.
Selle mooduli väljatöötamine oli oluline samm andmete demokratiseerimisel ja vähendas oluliselt vajaliku teabe leidmiseks kuluvat aega. Lisaks otsinguaja lühendamisele on vähenenud ka tugimeeskonna poole pöördumiste arv konsultatsiooni andmiseks. Ei saa märkimata jätta veel üht kasulikku tulemust, mille saavutasime ühtse aruannete registri väljatöötamisega – erinevate struktuuriüksuste dubleerivate aruannete väljatöötamise ärahoidmist.
Ärisõnastik
Te kõik teate, et isegi samas ettevõttes räägivad ettevõtted eri keeli. Jah, nad kasutavad samu termineid, kuid tähendavad täiesti erinevaid asju. Selle probleemi lahendamiseks on loodud ärisõnastik.
Meie jaoks ei ole ärisõnastik pelgalt teatmik, kus on terminite kirjeldus ja arvutusmetoodika. See on täisväärtuslik keskkond terminoloogia arendamiseks, kokkuleppimiseks ja heakskiitmiseks, terminite ja muu ettevõtte infovara vaheliste suhete loomiseks. Enne ärisõnastikusse sisenemist peab termin läbima kõik äriklientide ja andmekvaliteedikeskusega kinnitamise etapid. Alles pärast seda muutub see kasutamiseks kättesaadavaks.
Nagu ma eespool kirjutasin, on selle tööriista unikaalsus see, et see võimaldab luua ühendusi äritermini tasemelt konkreetsete kasutajaaruannetega, milles seda kasutatakse, samuti füüsiliste andmebaasiobjektide tasemele.
See on võimalik tänu sõnastikku kasutatavate terminiidentifikaatorite kasutamisele registriaruannete üksikasjalikus kirjelduses ja füüsiliste andmebaasiobjektide kirjeldamisel.
Praegu on sõnastikus määratletud ja kokku lepitud üle 4000 termini. Selle kasutamine lihtsustab ja kiirendab ettevõtte infosüsteemides saabuvate muudatustaotluste menetlemist. Kui nõutav indikaator on mõnes aruandes juba juurutatud, näeb kasutaja koheselt valmis aruannete komplekti, kus seda indikaatorit kasutatakse, ja saab ilma algatamata otsustada olemasoleva funktsionaalsuse tõhusa taaskasutamise või selle minimaalse muutmise üle. uued taotlused uue aruande väljatöötamiseks.
Tehniliste transformatsioonide ja DataLineage kirjeldamise moodul
Mis need moodulid on, küsite? Aruannete registri ja sõnastiku rakendamisest ei piisa, vaid ka kõik äriterminid tuleb maandada füüsilise andmebaasi mudelile. Nii saime lõpule viia andmete elutsükli moodustamise protsessi lähtesüsteemidest BI visualiseerimiseni läbi andmelao kõigi kihtide. Teisisõnu looge DataLineage.
Töötasime välja liidese, mis põhineb ettevõttes varem kasutusel olnud formaadil andmete teisendamise reeglite ja loogika kirjeldamiseks. Liidese kaudu sisestatakse sama info, mis seni, kuid eelduseks on saanud ärisõnastikust mõiste identifikaator defineerimine. Nii loome ühenduse ärilise ja füüsilise kihi vahel.
Kellele seda vaja on? Mis oli viga vanal formaadil, millega töötasite mitu aastat? Kui palju on suurenenud tööjõukulud nõuete genereerimiseks? Selliste küsimustega pidime tegelema tööriista rakendamisel. Vastused on siin üsna lihtsad – seda vajame me kõik, nii meie ettevõtte andmebüroo kui ka kasutajad.
Tõepoolest, töötajad pidid kohanema, algul tõi see kaasa mõningase dokumentatsiooni koostamise tööjõukulude tõusu, kuid saime selle probleemi korda. Harjutamine, probleemsete kohtade tuvastamine ja optimeerimine on teinud oma töö. Oleme saavutanud peamise – oleme parandanud väljatöötatud nõuete kvaliteeti. Kohustuslikud väljad, ühtsed teatmeteosed, sisestusmaskid, sisseehitatud kontrollid - kõik see võimaldas oluliselt parandada teisenduskirjelduste kvaliteeti. Loobusime skriptide kui arendusnõuete üleandmise praktikast ja jagasime teadmisi, mis olid kättesaadavad ainult arendusmeeskonnale. Loodud metaandmete andmebaas vähendab oluliselt regressioonanalüüsi läbiviimiseks kuluvat aega ja annab võimaluse kiiresti hinnata muudatuste mõju IT maastiku mis tahes kihile (esitlusraportid, agregaadid, allikad).
Mis on sellel pistmist tavaliste aruannete kasutajatega, millised on nende jaoks eelised? Tänu DataLineage'i loomise võimalusele saavad meie kasutajad, isegi need, kes on kaugel SQL-ist ja teistest programmeerimiskeeltest, kiiresti teavet allikate ja objektide kohta, mille põhjal konkreetne aruanne koostatakse.
Andmekvaliteedi kontrolli moodul
Kõik, millest me eespool rääkisime andmete läbipaistvuse tagamise osas, ei ole oluline, mõistmata, et kasutajatele edastatavad andmed on õiged. Üks meie andmehalduse kontseptsiooni olulisi mooduleid on andmekvaliteedi kontrolli moodul.
Praegusel etapil on see valitud üksuste kontrollide kataloog. Tootearenduse vahetu eesmärk on laiendada kontrollide loendit ja integreerida aruandlusregistriga.
Mida see annab ja kellele? Registri lõppkasutaja saab ligipääsu teabele aruande valmimise planeeritud ja tegelike kuupäevade, läbitud dünaamikaga kontrollide tulemuste ning aruandesse laaditud allikate kohta.
Meie jaoks on meie tööprotsessidesse integreeritud andmekvaliteedi moodul:
- Kliendi ootuste kiire kujundamine.
- Otsuste tegemine andmete edasise kasutamise kohta.
- Esialgse probleempunktide kogumi saamine töö algfaasis regulaarsete kvaliteedikontrollide väljatöötamiseks.
Loomulikult on need esimesed sammud täisväärtusliku andmehaldusprotsessi ülesehitamisel. Kuid oleme kindlad, et ainult seda tööd sihikindlalt tehes, andmehaldustööriistu aktiivselt tööprotsessi juurutades tagame oma klientidele infosisu, kõrge usaldusväärsuse andmete vastu, nende vastuvõtmise läbipaistvuse ja kiirendame käivitamise kiirust. uus funktsionaalsus.
DataOffice'i meeskond
Allikas: www.habr.com