Hey Habr!
Ny data dia fananana sarobidy indrindra amin'ny orinasa. Saika ny orinasa rehetra manana fifantohana nomerika no manambara izany. Sarotra ny miady hevitra amin'izany: tsy misy fihaonambe IT lehibe iray atao raha tsy miresaka momba ny fomba fitantanana, fitahirizana ary fanodinana angon-drakitra.
Ny angon-drakitra dia tonga amintsika avy any ivelany, novokarina ao anatin'ny orinasa ihany koa, ary raha miresaka momba ny angon-drakitra avy amin'ny orinasam-pifandraisan-davitra isika, dia ho an'ny mpiasa anatiny izany dia trano fitehirizam-baovao momba ny mpanjifa, ny tombontsoany, ny fahazarany ary ny toerana misy azy. Miaraka amin'ny fanaovana profiling sy fizarana araka ny tokony ho izy, ny tolotra doka dia mahomby indrindra. Na izany aza, amin'ny fampiharana, tsy ny zava-drehetra dia rosy. Ny angon-drakitra izay tahirizin'ny orinasa dia mety efa lany andro, miverimberina, na tsy fantatry ny olona ny fisiany afa-tsy faribolana tery mpampiasa. ¯_(ツ)_/¯
Raha lazaina amin'ny teny iray dia tsy maintsy tantanina tsara ny angon-drakitra - amin'izay fotoana izay dia ho lasa fananana mitondra tombontsoa sy tombony ho an'ny orinasa. Indrisy anefa, ny famahana ny olan'ny fitantanana angon-drakitra dia mitaky fahasahiranana be dia be. Izy ireo dia noho ny lova ara-tantara amin'ny endrika "zoos" amin'ny rafitra sy ny tsy fisian'ny dingana sy fomba fiasa iraisana amin'ny fitantanana azy ireo. Inona anefa no dikan'ny hoe "mitondra data"?
Izany indrindra no horesahina eo ambanin'ny fanapahana, ary koa ny fomba nanampian'ny stack opensource antsika.
Ny foto-kevitra momba ny fitantanana data stratejika Data Governance (DG) dia efa fantatra tsara amin'ny tsena Rosiana, ary mazava sy mazava ny tanjona tratrarin'ny orinasa vokatry ny fampiharana azy. Tsy naningana ny orinasanay ary nametraka ny tenany ho tompon'andraikitra amin'ny fampidirana ny foto-kevitry ny fitantanana angon-drakitra.
Dia taiza no nanombohantsika? Hanombohana dia nanangana tanjona lehibe ho an'ny tenanay izahay:
- Ataovy azo idirana ny angonay.
- Miantoka ny mangarahara ny tsingerin'ny data.
- Omeo angon-drakitra tsy miovaova sy tsy miovaova ny mpampiasa orinasa.
- Omeo angon-drakitra voamarina ny mpampiasa orinasa.
Androany, misy fitaovana kilasy Data Governance am-polony eo amin'ny tsenan'ny rindrambaiko.
Saingy taorian'ny famakafakana amin'ny antsipiriany sy ny fandalinana ny vahaolana, dia nandrakitra fanehoan-kevitra mitsikera maromaro ho anay izahay:
- Ny ankamaroan'ny mpanamboatra dia manolotra vahaolana feno, izay ho antsika dia mihoa-pampana ary mamerina ny fiasa efa misy. Fanampin'izay, lafo amin'ny resaka loharanon-karena, fampidirana amin'ny tontolon'ny IT ankehitriny.
- Ny fiasa sy ny interface dia natao ho an'ny teknolojista fa tsy mpampiasa farany amin'ny orinasa.
- Taham-pahavelomana ambany ny vokatra ary tsy fahampian'ny fampiharana mahomby amin'ny tsena Rosiana.
- Vidin'ny rindrambaiko sy fanohanana fanampiny.
Ny fepetra sy ny tolo-kevitra voalaza etsy ambony momba ny fanoloana rindrambaiko ho an'ny orinasa Rosiana dia nandresy lahatra anay hiroso amin'ny fivoaranay manokana amin'ny stack opensource. Ny sehatra nofidianay dia Django, rafitra loharano malalaka sy malalaka nosoratana tamin'ny Python. Ary noho izany dia fantatray ireo môdôla fototra izay hanampy amin'ny tanjona voalaza etsy ambony:
- Rejistra ny tatitra.
- Business Glossary.
- Module hamaritana ny fiovana ara-teknika.
- Module hamaritana ny tsingerin'ny fiainan'ny angona avy amin'ny loharano mankany amin'ny fitaovana BI.
- Module fanaraha-maso kalitao data.
Rejistra ny tatitra
Araka ny vokatry ny fanadihadiana anatiny ao amin'ny orinasa lehibe, rehefa mamaha ny olana mifandraika amin'ny angon-drakitra, ny mpiasa dia mandany 40-80% amin'ny fotoanany hikaroka azy ireo. Noho izany, nametraka ny tenanay izahay hanao vaovao misokatra momba ny tatitra efa misy izay tsy azon'ny mpanjifa ihany teo aloha. Noho izany, mampihena ny fotoana hamokarana tatitra vaovao izahay ary miantoka ny demokrasia ny angon-drakitra.
Ny rejisitra momba ny tatitra dia lasa varavarankely mitatitra tokana ho an'ireo mpampiasa anatiny avy amin'ny faritra, sampana ary sampana samihafa. Izy io dia manambatra ny fampahalalana momba ny serivisy fampahalalana noforonina tao amin'ny trano fitehirizana orinasa maromaro an'ny orinasa, ary maro amin'izy ireo no ao amin'ny Rostelecom.
Saingy ny rejisitra dia tsy lisitra maina amin'ny tatitra mandroso. Ho an'ny tatitra tsirairay dia manome ny fampahalalana ilaina ho an'ny mpampiasa hahalalana azy:
- famaritana fohy ny tatitra;
- halalin'ny fahazoana angona;
- fizarana mpanjifa;
- fitaovana fijerena maso;
- anaran'ny fitahirizana orinasa;
- fepetra takian'ny asa;
- rohy mankany amin'ny tatitra;
- rohy mankany amin'ny fangatahana fidirana;
- sata fampiharana.
Azo alaina ho an'ny tatitra ny famakafakana ny haavon'ny fampiasana, ary ny tatitra dia laharan'ny laharana ambony amin'ny lisitra mifototra amin'ny famakafakana log mifototra amin'ny isan'ny mpampiasa tsy manam-paharoa. Ary tsy izany. Ho fanampin'ny toetra ankapobeny, dia nanome famaritana amin'ny antsipiriany momba ny toetran'ny tatitra ihany koa izahay miaraka amin'ny ohatra momba ny soatoavina sy ny fomba kajy. Ny antsipiriany toy izany dia manome valiny avy hatrany ho an'ny mpampiasa raha mahasoa azy ny tatitra na tsia.
Ny fivoaran'ity môdely ity dia dingana iray lehibe amin'ny demokrasia ny angon-drakitra ary nampihena be ny fotoana hitadiavana ny vaovao ilaina. Ankoatra ny fampihenana ny fotoana fitadiavana dia nihena ihany koa ny fangatahana ho an'ny ekipa mpanohana mba hanome torohevitra. Tsy azo atao ny tsy hanamarika vokatra mahasoa hafa azonay tamin'ny alàlan'ny famolavolana rejisitry ny tatitra iraisana - fisorohana ny fivoaran'ny tatitra dika mitovy ho an'ny vondrona ara-drafitra samihafa.
Business Glossary
Fantatrareo rehetra fa na dia ao anatin'ny orinasa iray aza dia miteny fiteny samihafa ny orinasa. Eny, mitovy ny teny ampiasain'izy ireo, saingy hafa tanteraka ny dikany. Ny glossary momba ny orinasa dia natao hamahana ity olana ity.
Ho anay, ny glossary momba ny raharaham-barotra dia tsy boky reference fotsiny misy famaritana ny teny sy ny fomba kajy. Ity dia tontolo feno ho an'ny famolavolana, fanekena ary fankatoavana ny teny, fananganana fifandraisana eo amin'ny fepetra sy ny fananana fampahalalana hafa an'ny orinasa. Alohan'ny hidirana amin'ny lisitry ny fandraharahana dia tsy maintsy mandalo amin'ny dingana rehetra amin'ny fankatoavana miaraka amin'ny mpanjifa mpandraharaha sy ny foibe momba ny kalitaon'ny data ny fe-potoana iray. Aorian'io vao azo ampiasaina.
Araka ny nosoratako etsy ambony, ny maha-tokana an'ity fitaovana ity dia mamela ny fifandraisana avy amin'ny haavon'ny teny fandraharahana mankany amin'ny tatitry ny mpampiasa manokana izay ampiasana azy, ary koa amin'ny haavon'ny zavatra angona ara-batana.
Izany dia azo atao amin'ny alalan'ny fampiasana ny glossary teny identifiers amin'ny antsipiriany momba ny rejistra tatitra sy ny famaritana zavatra ara-batana database.
Amin'izao fotoana izao dia mihoatra ny 4000 ny teny nofaritana sy nifanarahana tao amin'ny Glossary. Ny fampiasana azy dia manamora sy manafaingana ny fikarakarana ireo fangatahana ho avy amin'ny fanovana ny rafitry ny fampahalalam-baovaon'ny orinasa. Raha toa ka efa ampiharina amin'ny tatitra rehetra ny tondro ilaina, dia ho hitan'ny mpampiasa avy hatrany ny andiana tatitra efa vita izay ampiasaina io famantarana io, ary afaka manapa-kevitra ny amin'ny fampiasana mahomby ny fiasa efa misy na ny fanovana kely indrindra, tsy misy fanombohana. fangatahana vaovao amin'ny famolavolana tatitra vaovao.
Module hamaritana ny fiovana ara-teknika sy DataLineage
Inona ireo modules ireo, hoy ianao? Tsy ampy ny mampihatra fotsiny ny Rejistra momba ny tatitra sy ny Glossary; ilaina ihany koa ny mametraka ny fepetra rehetra momba ny raharaham-barotra amin'ny maodely angona ara-batana. Noho izany, afaka namita ny dingana amin'ny famolavolana ny tsingerin'ny fiainan'ny angon-drakitra izahay avy amin'ny rafitra loharano mankany amin'ny fahitana BI amin'ny alàlan'ny sarin'ny trano fanatobiana data. Amin'ny teny hafa, manangana DataLineage.
Namolavola interface mifototra amin'ny endrika nampiasaina teo aloha tao amin'ny orinasa izahay mba hamaritana ny fitsipika sy ny lojikan'ny fiovan'ny data. Ny fampahalalana mitovy dia ampidirina amin'ny alàlan'ny interface toy ny teo aloha, fa ny famaritana ny teny identifier avy amin'ny lisitry ny orinasa dia lasa fepetra takiana. Izany no fomba hananganana fifandraisana eo amin'ny orinasa sy ny sosona ara-batana.
Iza no mila izany? Inona no tsy nety tamin'ilay endrika taloha niasanao nandritra ny taona maro? Ohatrinona ny vidin'ny asa amin'ny famokarana fepetra takiana? Tsy maintsy niatrika fanontaniana toy izany izahay nandritra ny fampiharana ilay fitaovana. Tsotra ny valiny eto - mila izany isika rehetra, ny biraon'ny angon-drakitra sy ny mpampiasa anay.
Eny tokoa, tsy maintsy nampifanaraka ny mpiasa, tamin'ny voalohany, izany dia nitarika ho amin'ny fiakarana kely amin'ny vidin'ny asa amin'ny fanomanana ny antontan-taratasy, saingy nandamina ity olana ity izahay. Ny fanazaran-tena, ny famantarana ary ny fanatsarana ny faritra misy olana dia nahavita ny asany. Nahavita ny zava-dehibe izahay - nanatsara ny kalitaon'ny fepetra novolavolaina izahay. Ny saha tsy maintsy atao, ny boky fanondroana mitambatra, ny saron-tava fidirana, ny fisavana naorina - izany rehetra izany dia nahafahana nanatsara ny kalitaon'ny famaritana fanovana. Niala tamin'ny fanazaran-tena amin'ny fanolorana sora-baventy ho fitakian'ny fampandrosoana sy fifampizaràna fahalalana izay azon'ny ekipan'ny fampandrosoana ihany izahay. Ny angon-drakitra metadata noforonina dia mampihena be ny fotoana ilaina hanaovana famakafakana ny fiverenana ary manome fahafahana hanombantombana haingana ny fiantraikan'ny fiovana eo amin'ny sarin'ny tontolon'ny IT (tatitra fampirantiana, fitambarana, loharano).
Inona no ifandraisan'izany amin'ny mpampiasa tsotra ny tatitra, inona no tombony ho azy ireo? Noho ny fahaizana manangana DataLineage, ireo mpampiasa anay, eny fa na dia ireo lavitra ny SQL sy ny fiteny fandaharana hafa aza, dia mahazo vaovao haingana momba ireo loharano sy zavatra mifototra amin'ny famoahana tatitra manokana.
Data Quality Control Module
Ny zavatra rehetra noresahintsika tetsy ambony momba ny fiantohana ny mangarahara angona dia tsy zava-dehibe raha tsy takatra fa marina ny angona omenay ny mpampiasa. Ny iray amin'ireo maodely manan-danja amin'ny foto-kevitry ny Fitantanana ny Data dia ny maody fanaraha-maso ny kalitaon'ny data.
Amin'izao dingana izao, katalaogin'ny fanamarinana ho an'ny sampana voafantina ity. Ny tanjona eo no ho eo amin'ny fampivoarana ny vokatra dia ny fanitarana ny lisitry ny fanamarinana sy ny fampidirana amin'ny rejisitra momba ny tatitra.
Inona no homeny ary ho an'iza? Ny mpampiasa farany amin'ny rejisitra dia hanana fahafahana miditra amin'ny fampahalalana momba ny daty nomanina sy tena izy amin'ny fahavononana tatitra, ny valin'ny fisavana vita miaraka amin'ny dinamika, ary ny fampahalalana momba ireo loharano nampidirina tao amin'ny tatitra.
Ho anay, ny maody momba ny kalitaon'ny angona tafiditra ao anatin'ny fizotry ny asa dia:
- Fananganana haingana ny zavatra andrasan'ny mpanjifa.
- Fanapahan-kevitra momba ny fampiasana bebe kokoa ny angona.
- Fahazoana andiana olana voalohany amin'ny dingana voalohany amin'ny asa ho an'ny fampandrosoana ny fanaraha-maso ny kalitao tsy tapaka.
Mazava ho azy fa ireo no dingana voalohany amin'ny fananganana dingana fitantanana data feno. Saingy matoky izahay fa amin'ny alàlan'ny fanaovana an-tsitrapo an'ity asa ity, ny fampidirana am-pahavitrihana ny fitaovan'ny Fitantanana ny Data ao anatin'ny fizotran'ny asa, dia hanome ny mpanjifanay votoaty vaovao, fahatokisana avo lenta amin'ny angon-drakitra, mangarahara amin'ny fandraisany ary hampitombo ny hafainganam-pandehan'ny fandefasana. fiasa vaovao.
Ekipa DataOffice
Source: www.habr.com