Andmete haldamine omal käel

Tere, Habr!

Andmed on ettevõtte kõige väärtuslikum vara. Sellest väidab peaaegu iga digitaalse suunaga ettevõte. Sellega on raske vaielda: andmete juhtimise, säilitamise ja töötlemise lähenemisviiside arutelu on praegu iga suure IT-konverentsi lahutamatu osa.

Andmed jõuavad meieni nii väljastpoolt kui ka tekivad ettevõtte sees. Kui rääkida telekommunikatsiooniandmetest, siis on need sisetöötajatele allikas teavet kliendi, tema huvide, harjumuste ja asukoha kohta. Korraliku profileerimise ja segmenteerimisega on reklaamipakkumised kõige tõhusamad. Kuid praktikas ei ole kõik nii roosiline. Need andmed, mida ettevõtted säilitavad, võivad olla lootusetult vanad, ülearused, korduvad või nende olemasolust teab vaid kitsas kasutajate ring.

¯_(ツ)_/¯

Just sellest me allpool räägime, samuti sellest, kuidas avatud lähtekoodiga tehnoloogiad meid toetavad.

Andmete strateegilise juhtimise kontseptsioon Data Governance (DG) on Venemaa turul juba hästi tuntud, ja selle rakendamisest saadud eesmärgid on ettevõtetele selged ja täpselt deklareeritud. Meie ettevõte ei ole erand ja oleme seadnud endale eesmärgi andmete juhtimise kontseptsiooni rakendamiseks.

Nii et kust me alustasime? Esiteks koostasime oma peamised eesmärgid:

1. Tagada meie andmete kättesaadavus.
2. Tagada andmete elutsükli läbipaistvus.
3. Anda ettevõtte kasutajatele kooskõlastatud ja järjepidevaid andmeid.
4. Anda ettevõtte kasutajatele kontrollitud andmeid.

Praegu on turul saadaval mitmeid Data Governance klassi tööriistu.

Kuid põhjaliku analüüsi ja lahenduste uurimise järel oleme tuvastanud mitu kriitilist tähelepanekut:

• Enamik tootjatest pakub laia valikut lahendusi, mis meie jaoks on liigsed ja kordavad juba olemasolevat funktsionaalsust. Lisaks on nende integreerimine praegusesse IT-maastikku ressursimahukas.
• Funktsionaalsus ja kasutajaliides on suunatud tehnoloogidele, mitte lõppkasutajatele.
• Toodete madal käibesuurus ja edukate rakenduste puudumine Venemaa turul.
• Tarkvara kõrge hind ja sellele järgnev tugi.

Ülaltoodud kriteeriumid ja soovitused tarkvara impordikohtlemise osas Venemaa ettevõtetele veensid meid liikuma oma arenduseni avatud lähtekoodiga tehnoloogia baasil. Platvormiks valisime Django – tasuta ja avatud raamistik, mis on kirjutatud Pythonis. Nii valisime endale võtmemoodulid, mis toetavad eespool nimetatud eesmärke:

1. Aruandekogu.
2. Äriglossaar.
3. Tehniliste transformatsioonide kirjeldamise moodul.
4. Andmete elutsükli kirjeldamise moodul allikast BI-tööriistani.
5. Andmekvaliteedi kontrollimise moodul.

Aruannete register

Suurte ettevõtete sisemiste uuringute põhjal kulub andmetega seotud ülesannete lahendamisel töötajatel 40–80% ajast nende otsimisele. Seetõttu oleme seadnud eesmärgiks avada teavet olemasolevate aruannete kohta, mis varem olid kättesaadavad ainult tellijatele. Nii vähendame uute aruannete koostamise aega ja edendame andmete demokratiseerimist.

Aruannete register on muutunud üheks aruandluse aknaks erinevate piirkondade, osakondade ja allüksuste sisemistele kasutajatele. See konsolideerib teavet infoteenustest, mis on loodud paljudes ettevõtte andmehoidlates; neid on Rostelecomis palju.

Kuid register ei ole lihtsalt kuiv loetelu koostatud aruannetest. Iga aruande kohta pakume teavet, mida kasutaja vajab, et temaga iseseisvalt tutvuda:

• aruande lühikirjeldus;
• andmete kättesaadavuse sügavus;
• tellija segment;
• visualiseerimise tööriist;
• korporatiivse hoidla nimetus;
• ärifunktsionaalsed nõuded;
• link aruandele;
• link juurdepääsutaotlusele;
• rakendamise staatus.

Aruannete põhjal on saadaval kasutusanalüüs ning aruanded jõuavad tippu unikaalsete kasutajate arvu põhjal analüütika logides. Ja see pole kõik. Peale üldiste omaduste oleme välja töötanud ka detailse kirjelduse aruannete atribuutide sisust koos näidisarvutuste ja metoodikaga. Selline detailitus annab kasutajale kohe vastuse, kas raport on talle kasulik või mitte.

Selle mooduli väljatöötamine on olnud oluline samm andmete demokraatiseerimise suunas ning on oluliselt vähendanud vajaliku teabe otsimise aega. Otsimise aja vähenemise kõrval on samuti vähenenud päringute arv tugimeeskonna poole konsultatsioonide saamiseks. Ei saa unustada ka üht kasulikku tulemust, mille oleme saavutanud ühtse aruandlusregisteri väljatöötamisega – hinnata dubleerivate aruannete loomist erinevate struktuuriüksuste jaoks.

Ärileksikon

Kogu teate, et isegi ühe ja sama ettevõtte sees räägib äri erinevates keeltes. Jah, kasutatakse samu termineid, kuid nende all mõistetakse täiesti erinevaid asju. Selle probleemi lahendamiseks on vajalik äriglossaar.

Meie jaoks ei ole äriglossaar lihtsalt terminite ja arvutusmetoodika kirjeldamise kataloog. See on täielik arenduskeskkond, kus toimub terminoloogia koostamine, kooskõlastamine ja kinnitamine, samuti terminite omavaheliste seoste loomine teiste ettevõtte informatsioonikapitalide vahel. Enne, kui termin jõuab äriglossaari, peab see läbima kõik kooskõlastamisetapid äri tellijate ja andmekvaliteedi keskuse juures. Alles pärast seda on see kasutamiseks saadaval.

Nagu ma juba eelnevalt mainisin, on selle tööriista ainulaadsus selles, et see võimaldab luua seoseid ärisõna tasemelt kuni konkreetsete kasutajaraportiteni, kus see on rakendatud, ning füüsiliste andmebaasi objektide tasemeni.

See sai võimalikuks tänu glossari terminite identifikaatorite kasutamisele detailsetes kirjeldustes registrist ja füüsiliste andmebaasi objektide kirjeldustes.

Praegu on glossaariumis määratletud ja kooskõlastatud juba üle 4000 termini. Selle kasutamine lihtsustab ja kiirendab ettevõtte infosüsteemidesse esitatud muudatusettepanekute töötlemist. Kui nõutud näitaja on juba mõnes raportis olemas, näeb kasutaja koheselt komplekti valmis raporteid, kus see näitaja on kasutatud, ja suudab otsustada olemasoleva funktsionaalsuse tõhusaks uuesti kasutamiseks või selle minimaalseteks täiendusteks, mitte käivitades uusi taotlusi uue raporti arendamiseks.

Tehniliste transformatsioonide ja DataLineage'i kirjeldusmoodul

Küsite, mis moodulid need on? Lihtsalt aruande registri ja glossaari rakendamine ei piisa, tuleb veel kõik äriterminid füüsilisele andmebaasimudelile kohandada. Nii suudame lõpetada andmete elutsükli vormimise protsessi allikate süsteemidest kuni BI-visualiseerimiseni läbi kõik andmehoidla kihid. Teisisõnu — ehitada DataLineage.

Oleme töötanud välja liidese, mis põhineb ettevõttes varasemalt kasutataval andmete töötlemise reeglite ja loogika kirjelduseformaadil. Liidese kaudu sisestatakse kõik see sama teave, mis varem, kuid nüüd on kohustuslik määrata terminite identifikaator äriglosaarist. Nii saavutame sideme äri- ja füüsiliste kihtide vahel.

Kellele see on vajalik? Mis ei sobinud vanas formaadis, millega oleme töötanud mitu aastat? Kuidas on suurenenud nõuete vormimise töömaht? Nende küsimustega pidime tegelema tööriista rakendamise käigus. Siin on vastused piisavalt lihtsad – see on vajalik meile kõigile, meie ettevõtte andmsteenusele ning meie kasutajatele.

Tõepoolest, töötajad pidid kohanduma, alguses tõi see kaasa väikseid tõuse dokumentatsiooni ettevalmistamise tõhususes, kuid selle probleemiga saime hakkama. Praktika, probleemkohtade tuvastamine ja optimeerimine tegid oma töö. Me saavutasime peamise eesmärgi — parandasime koostatud nõuete kvaliteeti. Kohustuslikud täitmiseks mõeldud väljad, ühtlustatud viidikud, sisendi maskid, sisseehitatud kontrollid – kõik see võimaldas mitmekordselt parandada transformatsioonide kirjelduste kvaliteeti. Me loobusime praktikast edastada skripte arendusnõuetena, jagasime teadmisi, mis olid enne kergesti kättesaadavad ainult arendusmeeskonnale. Moodustatud metainformatsiooni baas vähendab oluliselt regressiooni analüüsi läbiviimise aega, tagab võimaluse kiiresti hinnata muudatuste mõju mis tahes IT-maastiku kihil (aruanded, aggregeerijad, allikad).

Ja milles see tavalisest kasutajast kahes raportis kasu toob? DataLineage'i võimaluse abil saavad meie kasutajad, isegi need, kes ei ole SQL-i ega muude programmeerimiskeeltega tuttavad, kiiresti teavet allikate ja objektide kohta, mille põhjal koostatakse vastav raport.

Andmekvaliteedi kontrolli moodul

Kõik, millest eespool rääkisime andmete läbipaistvuse tagamise osas, pole oluline, kui me ei mõista, et andmed, mida me kasutajatele edastame, on õiged. Üks meie Data Governance'i kontseptsiooni olulisi mooduleid on andmekvaliteedi kontrolli moodul.

Praegusel etapil on see kataloog kontrollidest valikutest. Toote arendamise lähim eesmärk on kontrollide nimekirja laiendamine ja aruanne registriga integreerimine.
Mida see annab ja kellele? Registri lõppkasutajatele on saadaval teave plaanitud ja tegelike aruande valmimise kuupäevade, läbiviidud kontrollide tulemuste ja allikate kohta, mis on aruandesse laaditud.

Meie jaoks on töösse integreeritud andmekvaliteedi moodul:

• Kliendi ootuste kiire kujundamine.
• Otsusandmine edasise andmete kasutamise kohta.
• Esialgsete probleemikohaga seotud ettepanekute kogumine töö algusfaasis regulaarsete kvaliteedikontrollide jaoks.

Tõepoolest, need on esimesed sammud täieliku andmehaldusprotsessi ülesehitamisel. Kuid me oleme kindlad, et ainult sihipäraselt tegeldes selle tööga ja aktiivselt rakendades DataGovernance'i tööprotsessi, suudame meie klientidele pakkuda teabele baseeruvat, kõrge usaldusväärsuse tasemega andmeid, nende saamise läbipaistvust ning kiirendada uue funktsionaalsuse juurutamist.

DataOffice meeskond

Allikas: habr.com