Ħej Habr!
Id-dejta hija l-aktar assi siewi ta' kumpanija. Kważi kull kumpanija b'fokus diġitali tiddikjara dan. Huwa diffiċli li targumenta ma 'dan: ma ssir l-ebda konferenza ewlenija tal-IT mingħajr ma jiġu diskussi approċċi għall-ġestjoni, il-ħażna u l-ipproċessar tad-dejta.
Id-dejta tiġi għandna minn barra, hija ġġenerata wkoll fi ħdan il-kumpanija, u jekk nitkellmu dwar id-dejta minn kumpanija tat-telekomunikazzjoni, allura għall-impjegati interni dan huwa maħżen ta 'informazzjoni dwar il-klijent, l-interessi, id-drawwiet u l-post tiegħu. Bi profil u segmentazzjoni xierqa, l-offerti ta 'reklamar huma l-aktar effettivi. Madankollu, fil-prattika, mhux kollox huwa daqshekk ward. Id-dejta li l-kumpaniji jaħżnu tista’ tkun bla tama skaduta, żejda, ripetittiva, jew l-eżistenza tagħha mhix magħrufa għal ħadd ħlief ċirku dejjaq ta’ utenti. ¯_(ツ)_/¯
Fi ftit kliem, id-dejta trid tiġi ġestita b’mod effettiv – allura biss issir assi li ġġib benefiċċji reali u profitt għan-negozju. Sfortunatament, is-soluzzjoni tal-kwistjonijiet tal-ġestjoni tad-dejta teħtieġ li jingħelbu ħafna kumplessitajiet. Dawn huma prinċipalment minħabba kemm il-wirt storiku fil-forma ta '"żoos" ta' sistemi kif ukoll in-nuqqas ta 'proċessi unifikati u approċċi għall-ġestjoni tagħhom. Imma xi jfisser li tkun "data driven"?
Dan huwa eżattament dak li se nitkellmu dwaru taħt il-qatgħa, kif ukoll kif għenna l-munzell opensource.
Il-kunċett ta 'ġestjoni strateġika tad-data Data Governance (DG) diġà huwa pjuttost magħruf sew fis-suq Russu, u l-għanijiet miksuba min-negozju bħala riżultat tal-implimentazzjoni tagħha huma ċari u ddikjarati b'mod ċar. Il-kumpanija tagħna ma kinitx eċċezzjoni u stabbiliet lilha nnifisha l-kompitu li tintroduċi l-kunċett tal-ġestjoni tad-dejta.
Allura minn fejn bdejna? Biex nibdew, ffurmajna miri ewlenin għalina nfusna:
- Żomm id-dejta tagħna aċċessibbli.
- Tiżgura t-trasparenza taċ-ċiklu tal-ħajja tad-dejta.
- Ipprovdi lill-utenti tal-kumpanija b'dejta konsistenti u konsistenti.
- Ipprovdi lill-utenti tal-kumpanija b'dejta verifikata.
Illum, hemm tużżana għodda tal-klassi tal-Governanza tad-Data fis-suq tas-softwer.
Iżda wara analiżi dettaljata u studju tas-soluzzjonijiet, irreġistrajna għadd ta’ kummenti kritiċi għalina nfusna:
- Il-biċċa l-kbira tal-manifatturi joffru sett komprensiv ta 'soluzzjonijiet, li għalina huwa żejjed u jidduplika l-funzjonalità eżistenti. Barra minn hekk, għaljin f'termini ta 'riżorsi, integrazzjoni fil-pajsaġġ attwali tal-IT.
- Il-funzjonalità u l-interface huma ddisinjati għat-teknoloġisti, mhux għall-utenti finali tan-negozju.
- Rata ta 'sopravivenza baxxa ta' prodotti u nuqqas ta 'implimentazzjonijiet ta' suċċess fis-suq Russu.
- Spiża għolja ta 'softwer u appoġġ ulterjuri.
Il-kriterji u r-rakkomandazzjonijiet espressi hawn fuq dwar is-sostituzzjoni ta 'importazzjoni ta' softwer għall-kumpaniji Russi kkonvinċuna nimxu lejn l-iżvilupp tagħna stess fuq munzell opensource. Il-pjattaforma li għażilna kienet Django, qafas b'xejn u open source miktub f'Python. U għalhekk identifikajna moduli ewlenin li se jikkontribwixxu għall-għanijiet imsemmija hawn fuq:
- Reġistru tar-rapporti.
- Glossarju tan-negozju.
- Modulu għad-deskrizzjoni tat-trasformazzjonijiet tekniċi.
- Modulu għad-deskrizzjoni taċ-ċiklu tal-ħajja tad-dejta mis-sors għall-għodda tal-BI.
- Modulu ta 'kontroll tal-kwalità tad-dejta.
Reġistru tar-rapporti
Skont ir-riżultati ta 'studji interni f'kumpaniji kbar, meta jsolvu problemi relatati mad-dejta, l-impjegati jqattgħu 40-80% tal-ħin tagħhom ifittxuhom. Għalhekk, waqqafna lilna nfusna l-kompitu li nagħmlu informazzjoni miftuħa dwar rapporti eżistenti li qabel kienu disponibbli biss għall-klijenti. Għalhekk, innaqqsu ż-żmien għall-ġenerazzjoni ta' rapporti ġodda u niżguraw id-demokratizzazzjoni tad-dejta.
Ir-reġistru tar-rappurtar sar tieqa waħda tar-rappurtar għal utenti interni minn diversi reġjuni, dipartimenti u diviżjonijiet. Tikkonsolida informazzjoni dwar servizzi ta 'informazzjoni maħluqa f'diversi repożitorji korporattivi tal-kumpanija, u hemm ħafna minnhom f'Rostelecom.
Iżda r-reġistru mhuwiex biss lista xotta ta 'rapporti żviluppati. Għal kull rapport, aħna nipprovdu l-informazzjoni meħtieġa biex l-utent jiffamiljarizza ruħu miegħu:
- deskrizzjoni qasira tar-rapport;
- il-fond tad-disponibbiltà tad-dejta;
- segment tal-klijenti;
- għodda ta' viżwalizzazzjoni;
- isem tal-ħażna korporattiva;
- rekwiżiti funzjonali tan-negozju;
- link għar-rapport;
- link għall-applikazzjoni għall-aċċess;
- status ta' implimentazzjoni.
Analitiċi tal-livell tal-użu huma disponibbli għar-rapporti, u r-rapporti huma kklassifikati fil-quċċata tal-lista bbażati fuq analitiċi tal-log ibbażati fuq in-numru ta 'utenti uniċi. U dak mhux hekk. Minbarra l-karatteristiċi ġenerali, ipprovdejna wkoll deskrizzjoni dettaljata tal-kompożizzjoni tal-attributi tar-rapporti b'eżempji ta 'valuri u metodi ta' kalkolu. Tali dettalji immedjatament jagħti lill-utent tweġiba jekk ir-rapport huwiex utli għalih jew le.
L-iżvilupp ta' dan il-modulu kien pass importanti fid-demokratizzazzjoni tad-dejta u naqqas b'mod sinifikanti ż-żmien li jieħu biex tinstab l-informazzjoni meħtieġa. Minbarra li tnaqqas il-ħin tat-tfittxija, naqas ukoll in-numru ta’ talbiet lit-tim ta’ appoġġ biex jipprovdu konsultazzjonijiet. Huwa impossibbli li ma ninnotawx riżultat utli ieħor li ksibna billi niżviluppaw reġistru unifikat ta 'rapporti - il-prevenzjoni tal-iżvilupp ta' rapporti duplikati għal unitajiet strutturali differenti.
Glossarju tan-negozju
Ilkoll taf li anke fi ħdan l-istess kumpanija, in-negozji jitkellmu lingwi differenti. Iva, jużaw l-istess termini, iżda jfissru affarijiet kompletament differenti. Glossarju tan-negozju huwa mfassal biex isolvi din il-problema.
Għalina, glossarju tan-negozju mhuwiex biss ktieb ta’ referenza b’deskrizzjoni ta’ termini u metodoloġija ta’ kalkolu. Dan huwa ambjent sħiħ għall-iżvilupp, il-ftehim u l-approvazzjoni tat-terminoloġija, il-bini ta 'relazzjonijiet bejn it-termini u assi oħra ta' informazzjoni tal-kumpanija. Qabel ma jidħol fil-glossarju tan-negozju, terminu għandu jgħaddi mill-istadji kollha tal-approvazzjoni mal-klijenti tan-negozju u ċ-ċentru tal-kwalità tad-dejta. Wara dan biss isir disponibbli għall-użu.
Kif ktibt hawn fuq, l-uniċità ta 'din l-għodda hija li tippermetti konnessjonijiet mil-livell ta' terminu ta 'negozju għal rapporti ta' utenti speċifiċi li fihom tintuża, kif ukoll għal-livell ta 'oġġetti tad-database fiżiċi.
Dan isir possibbli permezz tal-użu ta' identifikaturi tat-termini tal-glossarju fid-deskrizzjoni dettaljata tar-rapporti tar-reġistru u d-deskrizzjoni tal-oġġetti tad-database fiżiċi.
Bħalissa, aktar minn 4000 terminu ġew definiti u miftiehma fil-Glossarju. L-użu tiegħu jissimplifika u jħaffef l-ipproċessar tat-talbiet deħlin għal bidliet fis-sistemi tal-informazzjoni tal-kumpanija. Jekk l-indikatur meħtieġ huwa diġà implimentat fi kwalunkwe rapport, allura l-utent immedjatament jara sett ta 'rapporti lesti fejn jintuża dan l-indikatur, u jkun jista' jiddeċiedi dwar l-użu mill-ġdid effettiv tal-funzjonalità eżistenti jew il-modifika minima tagħha, mingħajr ma jibda. talbiet ġodda għall-iżvilupp ta’ rapport ġdid.
Modulu għad-deskrizzjoni tat-trasformazzjonijiet tekniċi u DataLineage....
X'inhuma dawn il-moduli, tistaqsi? Mhuwiex biżżejjed li sempliċiment timplimenta r-Reġistru tar-Rapporti u l-Glossarju; huwa wkoll meħtieġ li t-termini kollha tan-negozju jiġu bbażati fuq il-mudell tad-database fiżika. Għalhekk, stajna nlestu l-proċess li niffurmaw iċ-ċiklu tal-ħajja tad-dejta mis-sistemi tas-sors għall-viżwalizzazzjoni tal-BI permezz tas-saffi kollha tal-maħżen tad-dejta. Fi kliem ieħor, ibni DataLineage.
Aħna żviluppajna interface ibbażat fuq il-format użat qabel fil-kumpanija biex tiddeskrivi r-regoli u l-loġika tat-trasformazzjoni tad-dejta. L-istess informazzjoni tiddaħħal permezz tal-interface bħal qabel, iżda d-definizzjoni tat-terminu identifikatur mill-glossarju tan-negozju saret prerekwiżit. Dan huwa kif nibnu konnessjoni bejn in-negozju u s-saffi fiżiċi.
Min għandu bżonnha? X'kien ħażin fil-format l-antik li ħdimt miegħu għal diversi snin? Kemm żdiedu l-ispejjeż tax-xogħol għall-ġenerazzjoni tar-rekwiżiti? Kellna nittrattaw mistoqsijiet bħal dawn waqt l-implimentazzjoni tal-għodda. It-tweġibiet hawnhekk huma pjuttost sempliċi - ilkoll għandna bżonn dan, l-uffiċċju tad-dejta tal-kumpanija tagħna u l-utenti tagħna.
Tabilħaqq, l-impjegati kellhom jadattaw; għall-ewwel, dan wassal għal żieda żgħira fl-ispejjeż tax-xogħol għall-preparazzjoni tad-dokumentazzjoni, iżda solvejna din il-kwistjoni. Il-prattika, l-identifikazzjoni u l-ottimizzazzjoni tal-oqsma problematiċi għamlu xogħolhom. Ksibna l-ħaġa prinċipali - tjiebna l-kwalità tar-rekwiżiti żviluppati. Oqsma obbligatorji, kotba ta 'referenza unifikati, maskri ta' input, kontrolli integrati - dan kollu għamilha possibbli li tittejjeb b'mod sinifikanti l-kwalità tad-deskrizzjonijiet tat-trasformazzjoni. Tbiegħdejna mill-prattika li ngħaddu skripts fil-forma ta 'rekwiżiti ta' żvilupp u għarfien kondiviż li kien disponibbli biss għat-tim tal-iżvilupp. Id-database tal-metadejta ġġenerata tnaqqas b'mod sinifikanti l-ħin meħtieġ biex titwettaq analiżi tar-rigressjoni u tipprovdi l-abbiltà li jiġi vvalutat malajr l-impatt tal-bidliet fuq kwalunkwe saff tal-pajsaġġ tal-IT (rapporti tal-vetrina, aggregati, sorsi).
X'għandu x'jaqsam dan ma 'utenti ordinarji tar-rapporti, x'inhuma l-vantaġġi għalihom? Grazzi għall-kapaċità li jibnu DataLineage, l-utenti tagħna, anke dawk 'il bogħod mill-SQL u lingwi ta' programmar oħra, malajr jirċievu informazzjoni dwar is-sorsi u l-oġġetti li fuq il-bażi tagħhom jiġi ġġenerat rapport partikolari.
Modulu tal-Kontroll tal-Kwalità tad-Data
Dak kollu li tkellimna dwaru hawn fuq f'termini li niżguraw it-trasparenza tad-dejta mhuwiex importanti mingħajr ma nifhmu li d-dejta li nagħtu lill-utenti hija korretta. Wieħed mill-moduli importanti tal-kunċett tagħna ta 'Governanza tad-Data huwa l-modulu ta' kontroll tal-kwalità tad-dejta.
Fl-istadju attwali, dan huwa katalgu ta' kontrolli għal entitajiet magħżula. L-għan immedjat għall-iżvilupp tal-prodott huwa li tespandi l-lista ta 'kontrolli u tintegra mar-reġistru tar-rappurtar.
X'se tagħti u lil min? L-utent aħħari tar-reġistru se jkollu aċċess għal informazzjoni dwar id-dati ppjanati u attwali tat-tħejjija tar-rapport, ir-riżultati ta’ kontrolli kompluti b’dinamika, u informazzjoni dwar is-sorsi mgħobbija fir-rapport.
Għalina, il-modulu tal-kwalità tad-dejta integrat fil-proċessi tax-xogħol tagħna huwa:
- Formazzjoni fil-pront tal-aspettattivi tal-klijenti.
- Teħid ta' deċiżjonijiet dwar użu ulterjuri tad-data.
- Il-ksib ta 'sett preliminari ta' punti problema fl-istadji inizjali tax-xogħol għall-iżvilupp ta 'kontrolli ta' kwalità regolari.
Naturalment, dawn huma l-ewwel passi fil-bini ta 'proċess sħiħ ta' ġestjoni tad-dejta. Iżda aħna kunfidenti li biss billi nagħmlu dan ix-xogħol apposta, nintroduċu b'mod attiv għodod ta 'Governanza tad-Data fil-proċess tax-xogħol, aħna nipprovdu lill-klijenti tagħna b'kontenut ta' informazzjoni, livell għoli ta 'fiduċja fid-data, trasparenza fl-irċevuta tagħhom u nżidu l-veloċità tat-tnedija. funzjonalità ġdida.
Tim tad-DataOffice
Sors: www.habr.com