Aupa Habr!
Datuak enpresa baten aktiborik baliotsuena dira. Ia enpresa digital guztiek hori aldarrikatzen dute. Zaila da hori argudiatzea: ez da informatikako konferentzia handi bakar bat ere egiten datuak kudeatzeko, gordetzeko eta prozesatzeko planteamenduak eztabaidatu gabe.
Datuak kanpotik etortzen zaizkigu, enpresa barruan ere sortzen dira, eta telekomunikazio-enpresa baten datuei buruz hitz egiten badugu, barruko langileentzat hau bezeroari, bere interesei, ohiturei eta kokapenari buruzko informazio biltegi bat da. Profil eta segmentazio egokiarekin, publizitate eskaintzak dira eraginkorrenak. Hala ere, praktikan, dena ez da hain arrosa. Enpresek gordetzen dituzten datuak itxaropenik gabe zaharkituak, erredundanteak, errepikakorrak izan daitezke edo haien existentzia inor ezezaguna da erabiltzaile zirkulu estu bat izan ezik. Β―_(γ)_/Β―
Hitz batean, datuak modu eraginkorrean kudeatu behar dira; orduan bakarrik negozioari benetako onurak eta etekinak ekartzen dizkion aktibo bihurtuko dira. Zoritxarrez, datuak kudeatzeko arazoak konpontzeko konplexutasun asko gainditzea eskatzen du. Batez ere, bai sistemen "zoo" formako ondare historikoari eta bai haien kudeaketarako prozesu eta planteamendu bateratu faltari zor zaizkio. Baina zer esan nahi du "datuak gidatuta" egoteak?
Horixe da, hain zuzen ere, mozketaren azpian hitz egingo duguna, baita opensource pilak nola lagundu zigun ere.
Datuen kudeaketa estrategikoaren kontzeptua Datuen Gobernantza (DG) nahiko ezaguna da dagoeneko Errusiako merkatuan, eta enpresek bere ezarpenaren ondorioz lortutako helburuak argi eta argi adierazten dira. Gure enpresa ez zen salbuespena izan eta bere buruari ezarri zion datuen kudeaketaren kontzeptua aurkeztea.
Orduan, nondik hasi ginen? Hasteko, helburu nagusiak finkatu genituen:
- Mantendu gure datuak eskuragarri.
- Datuen bizi-zikloaren gardentasuna bermatzea.
- Eman enpresa erabiltzaileei datu koherenteak eta koherenteak.
- Eman enpresa erabiltzaileei egiaztatutako datuak.
Gaur egun, dozena bat Datu Gobernantza klaseko tresna daude softwarearen merkatuan.
Baina irtenbideak zehatz-mehatz aztertu eta aztertu ondoren, iruzkin kritiko batzuk grabatu genituen guretzat:
- Fabrikatzaile gehienek soluzio multzo integrala eskaintzen dute, guretzat erredundantea dena eta lehendik dauden funtzionalitateak bikoizten dituena. Gainera, baliabide aldetik garestia, egungo IT panoraman integratzea.
- Funtzionalitatea eta interfazea teknologoentzat diseinatuta daude, ez negozioaren azken erabiltzaileentzat.
- Produktuen biziraupen-tasa baxua eta inplementazio arrakastatsurik eza Errusiako merkatuan.
- Softwarearen kostu handia eta laguntza gehiago.
Errusiako enpresentzako softwarearen inportazioen ordezkapenari buruz goian adierazitako irizpide eta gomendioek konbentzitu gintuzten kode irekiko pila batean gure garapenera bideratzeko. Aukeratu genuen plataforma Django izan zen, Python-en idatzitako kode irekiko esparru librea. Eta horrela, goian adierazitako helburuetara lagunduko duten funtsezko moduluak identifikatu ditugu:
- Txostenen erregistroa.
- Enpresaren glosarioa.
- Eraldaketa teknikoak deskribatzeko modulua.
- Iturburutik BI tresnara datuen bizi-zikloa deskribatzeko modulua.
- Datuen kalitatea kontrolatzeko modulua.
Txostenen erregistroa
Enpresa handietan egindako barne-azterketen emaitzen arabera, datuekin lotutako arazoak konpontzerakoan, langileek denboraren %40-80 ematen dute haien bila. Hori dela eta, lehendik bezeroentzat bakarrik zeuden txostenei buruzko informazio irekia egiteko zeregina jarri dugu gure buruari. Horrela, txosten berriak sortzeko denbora murrizten dugu eta datuen demokratizazioa bermatzen dugu.
Txostenen erregistroa hainbat eskualde, sail eta dibisiotako barne erabiltzaileentzako txostenen leiho bakar bihurtu da. Enpresaren hainbat gordailu korporatibotan sortutako informazio-zerbitzuei buruzko informazioa finkatzen du, eta horietako asko daude Rostelecomen.
Baina erregistroa ez da soilik garatutako txostenen zerrenda lehor bat. Txosten bakoitzerako, erabiltzaileak ezagutu dezan beharrezko informazioa ematen dugu:
- txostenaren deskribapen laburra;
- datuen erabilgarritasunaren sakontasuna;
- bezeroen segmentua;
- bistaratzeko tresna;
- biltegiratze korporatiboaren izena;
- negozioaren eskakizun funtzionalak;
- txostenaren esteka;
- sartzeko aplikaziorako esteka;
- ezarpen-egoera.
Erabilera-mailako analisiak eskuragarri daude txostenetarako, eta txostenak zerrendaren goialdean kokatzen dira erregistro-analisietan oinarrituta, erabiltzaile bakarraren kopuruaren arabera. Eta ez da hori. Ezaugarri orokorrez gain, txostenen atributuen konposizioaren deskribapen zehatza ere eman dugu balio eta kalkulu metodoen adibideekin. Xehetasun horrek berehala ematen dio erantzuna erabiltzaileari txostena erabilgarria den ala ez.
Modulu honen garapena datuen demokratizazioan urrats garrantzitsua izan zen eta beharrezko informazioa bilatzeko denbora nabarmen murriztu zuen. Bilaketa-denbora murrizteaz gain, laguntza-taldeari kontsultak emateko eskaera-kopurua ere murriztu da. Ezinezkoa da txostenen erregistro bateratu bat garatuz lortu dugun beste emaitza baliagarri bat ez ohartzea, egitura-unitate desberdinetarako txosten bikoiztuak garatzea eragotziz.
Enpresaren glosarioa
Denok dakizue enpresa berean ere enpresek hizkuntza desberdinak hitz egiten dituztela. Bai, termino berdinak erabiltzen dituzte, baina gauza guztiz desberdinak esan nahi dute. Arazo hau konpontzeko negozio-glosario bat diseinatu da.
Guretzat, negozio-glosarioa ez da terminoen deskribapena eta kalkulu-metodologia dituen erreferentzia-liburu bat. Terminologia garatzeko, adosteko eta onartzeko, terminoen eta konpainiaren beste informazio-aktibo batzuen arteko harremanak eraikitzeko ingurune oso bat da. Negozioaren glosarioan sartu aurretik, termino batek onarpen-fase guztiak igaro behar ditu negozio-bezeroekin eta datuen kalitate-zentroarekin. Horren ondoren bakarrik erabilgarri egongo da erabiltzeko.
Goian idatzi dudan bezala, tresna honen berezitasuna da negozio-termino baten mailatik erabiltzen den erabiltzaile-txosten zehatzetara konexioak ahalbidetzen dituela, baita datu-base fisikoko objektuen mailara ere.
Hori posible da glosarioko terminoen identifikatzaileak erabiliz erregistroko txostenen deskribapen zehatzean eta datu-base fisikoko objektuen deskribapenean.
Gaur egun, 4000 termino baino gehiago definitu eta adostu dira Glosarioan. Haren erabilerak enpresaren informazio-sistemetan aldaketak egiteko jasotzen diren eskaerak tramitatzea errazten eta bizkortzen du. Beharrezko adierazlea dagoeneko inplementatuta badago edozein txostenetan, erabiltzaileak berehala ikusiko du prest egindako txostenen multzoa non adierazle hori erabiltzen den, eta lehendik dagoen funtzionalitateen berrerabilpen eraginkorra edo gutxieneko aldaketari buruz erabaki ahal izango du, hasi gabe. txosten berri bat garatzeko eskaera berriak.
Eraldaketa teknikoak eta DataLineage deskribatzeko modulua
Zer dira modulu horiek, galdetzen duzu? Ez da nahikoa Txosten Erregistroa eta Glosarioa ezartzea besterik ez; beharrezkoa da negozio-termino guztiak datu-base fisikoaren ereduan oinarritzea ere. Horrela, datuen bizi-zikloa osatzeko prozesua iturburu-sistemetatik BI bistaratzeraino osatu ahal izan dugu datu biltegiko geruza guztietan zehar. Beste era batera esanda, DataLineage bat eraiki.
Datuen eraldaketaren arauak eta logika deskribatzeko enpresan aurretik erabilitako formatuan oinarritutako interfaze bat garatu dugu. Lehengo interfazearen bidez informazio bera sartzen da, baina negozioaren glosarioko identifikatzaile terminoaren definizioa ezinbesteko baldintza bihurtu da. Horrela eraikitzen dugu negozioaren eta geruza fisikoaren arteko konexioa.
Nork behar du? Zer gaizki zegoen hainbat urtez lan egin zenuen formatu zaharrarekin? Zenbat igo dira eskakizunak sortzeko lan-kostuak? Erremintaren ezarpenean horrelako galderei aurre egin behar izan diegu. Hemen erantzunak nahiko sinpleak dira: guztiok behar dugu hau, gure enpresaren datu bulegoa eta gure erabiltzaileak.
Izan ere, langileek moldatu behar izan zuten; hasieran, horrek dokumentazioa prestatzeko lan-kostuak apur bat igotzea ekarri zuen, baina arazo hori konpondu genuen. Arazo-eremuak landu, identifikatu eta optimizatu egin dute beren lana. Gauza nagusia lortu dugu: garatutako eskakizunen kalitatea hobetu dugu. Derrigorrezko eremuak, erreferentzia-liburu bateratuak, sarrera-maskarak, kontrol integratuak - horrek guztiak eraldaketa deskribapenen kalitatea nabarmen hobetu zuen. Scriptak garapen-baldintza gisa lagatzeko praktikatik aldendu ginen eta garapen-taldearentzat bakarrik zegoen ezagutza partekatua. Sortutako metadatuen datu-baseak nabarmen murrizten du erregresio-analisia egiteko behar den denbora eta aldaketen eragina azkar ebaluatzeko gaitasuna eskaintzen du IT panoramako edozein geruzetan (erakusleihoen txostenak, agregatuak, iturriak).
Zer zerikusi du horrek txostenen erabiltzaile arruntekin, zein abantaila ditu haientzat? DataLineage eraikitzeko gaitasunari esker, gure erabiltzaileek, baita SQL eta beste programazio lengoaia batzuetatik urrun daudenek ere, txosten jakin bat sortzen duten iturriei eta objektuei buruzko informazioa azkar jasotzen dute.
Datuen Kalitate Kontrolerako Modulua
Datuen gardentasuna bermatzeko goian aipatu dugun guztia ez da garrantzitsua erabiltzaileei ematen dizkiegun datuak zuzenak direla ulertu gabe. Gure Datuen Gobernantza kontzeptuaren modulu garrantzitsuenetako bat datuen kalitatea kontrolatzeko modulua da.
Oraingo fasean, hautatutako entitateentzako txekeen katalogoa da hau. Produktuen garapenaren berehalako helburua egiaztapenen zerrenda zabaltzea eta txostenen erregistroan integratzea da.
Zer emango dio eta nori? Erregistroaren azken erabiltzaileak txostena prestatzeko aurreikusitako eta benetako daten, dinamikarekin egindako egiaztapenen emaitzei eta txostenean kargatutako iturriei buruzko informazioa eskuratzeko aukera izango du.
Guretzat, gure lan prozesuetan integratutako datuen kalitatearen modulua hau da:
- Bezeroen itxaropenak azkar sortzea.
- Datuak gehiago erabiltzeko erabakiak hartzea.
- Lanaren hasierako faseetan arazo-puntuen aurretiazko multzoa lortzea, ohiko kalitate-kontrolak garatzeko.
Jakina, hauek dira datuen kudeaketa prozesu oso bat eraikitzeko lehen urratsak. Baina ziur gaude lan hau nahita eginez soilik, Datuen Gobernantza tresnak lan-prozesuan aktiboki sartuz, gure bezeroei informazio-edukia, datuen konfiantza maila altua, haien jasotzean gardentasuna eta abiarazteko abiadura handituko dugula. funtzionaltasun berria.
DataOffice taldea
Iturria: www.habr.com