Pagdumala sa Data sa sulod sa balay

Hoy Habr!

Ang datos mao ang labing bililhon nga asset sa usa ka kompanya. Halos matag kompanya nga adunay digital focus nagpahayag niini. Lisud nga makiglalis niini: walay bisan usa ka mayor nga komperensya sa IT nga gihimo nga wala maghisgot sa mga pamaagi sa pagdumala, pagtipig ug pagproseso sa datos.

Ang datos moabut kanato gikan sa gawas, kini usab namugna sulod sa kompaniya, ug kon kita maghisgot mahitungod sa datos gikan sa usa ka kompanya sa telecom, nan alang sa mga internal nga empleyado kini usa ka tipiganan sa impormasyon mahitungod sa kliyente, sa iyang mga interes, mga batasan, ug lokasyon. Uban sa husto nga profiling ug pagbahin, ang mga tanyag sa advertising labing epektibo. Bisan pa, sa pagpraktis, dili tanan nga labi ka rosy. Ang mga datos nga gitipigan sa mga kompanya mahimo’g wala’y paglaum nga karaan na, sobra, nagbalik-balik, o ang paglungtad niini wala mahibal-an ni bisan kinsa gawas sa usa ka pig-ot nga lingin sa mga tiggamit. ¯_(ツ)_/¯

Sa usa ka pulong, ang datos kinahanglan nga epektibo nga madumala - unya kini mahimong usa ka asset nga nagdala sa tinuod nga mga benepisyo ug ganansya sa negosyo. Ikasubo, ang pagsulbad sa mga isyu sa pagdumala sa datos nanginahanglan pagbuntog sa daghang mga pagkakomplikado. Nag-una kini tungod sa kabilin sa kasaysayan sa porma sa mga "zoo" sa mga sistema ug ang kakulang sa hiniusa nga proseso ug pamaagi sa ilang pagdumala. Apan unsa ang gipasabut nga "gimaneho sa datos"?

Mao gyud kini ang atong hisgutan ubos sa pagputol, ingon man kung giunsa ang opensource stack nakatabang kanato.

Ang konsepto sa estratehikong pagdumala sa datos sa Data Governance (DG) nahibal-an na sa merkado sa Russia, ug ang mga tumong nga nakab-ot sa negosyo isip resulta sa pagpatuman niini klaro ug tin-aw nga gipahayag. Ang among kompanya wala’y eksepsiyon ug nagtakda sa kaugalingon nga tahas sa pagpaila sa konsepto sa pagdumala sa datos.

Busa diin kita nagsugod? Sa pagsugod, naghimo kami og mahinungdanong mga tumong alang sa among kaugalingon:

1. Hupti nga accessible ang among data.
2. Siguruha ang transparency sa lifecycle sa datos.
3. Hatagi ang mga tiggamit sa kompanya og makanunayon, makanunayon nga datos.
4. Hatagi ang mga tiggamit sa kompanya og napamatud-an nga datos.

Karon, adunay usa ka dosena nga mga gamit sa klase sa Data Governance sa merkado sa software.

Apan pagkahuman sa usa ka detalyado nga pag-analisar ug pagtuon sa mga solusyon, among natala ang daghang mga kritikal nga komento alang sa among kaugalingon:

• Kadaghanan sa mga tiggama nagtanyag usa ka komprehensibo nga hugpong sa mga solusyon, nga alang kanamo sobra ug nagdoble sa naa na nga pagpaandar. Dugang pa, mahal sa mga termino sa mga kahinguhaan, paghiusa sa karon nga talan-awon sa IT.
• Ang pag-andar ug interface gidisenyo alang sa mga technologist, dili mga tiggamit sa negosyo.
• Ubos nga survival rate sa mga produkto ug kakulang sa malampuson nga pagpatuman sa merkado sa Russia.
• Taas nga gasto sa software ug dugang nga suporta.

Ang mga pamatasan ug mga rekomendasyon nga gipahayag sa ibabaw bahin sa import substitution sa software alang sa mga kompanya sa Russia nakapakombinsir kanamo nga molihok padulong sa among kaugalingon nga pag-uswag sa usa ka opensource stack. Ang plataporma nga among gipili mao ang Django, usa ka libre ug open source framework nga gisulat sa Python. Ug sa ingon nahibal-an namon ang hinungdanon nga mga module nga makatampo sa mga katuyoan nga gipahayag sa ibabaw:

1. Pagrehistro sa mga taho.
2. Glosaryo sa negosyo.
3. Module alang sa paghulagway sa teknikal nga pagbag-o.
4. Module alang sa paghulagway sa siklo sa kinabuhi sa datos gikan sa gigikanan hangtod sa himan sa BI.
5. Module sa pagkontrol sa kalidad sa datos.

Pagrehistro sa mga taho

Sumala sa mga resulta sa internal nga mga pagtuon sa dagkong mga kompaniya, sa pagsulbad sa mga problema nga may kalabutan sa datos, ang mga empleyado mogugol sa 40-80% sa ilang panahon sa pagpangita kanila. Busa, gibutang namo ang among kaugalingon sa tahas sa paghimo og bukas nga impormasyon mahitungod sa kasamtangan nga mga taho nga kaniadto anaa lamang sa mga kustomer. Sa ingon, gipakunhod namo ang oras sa paghimo og bag-ong mga taho ug gisiguro ang demokratisasyon sa datos.

Ang rehistro sa pagreport nahimong usa ka bintana sa pagreport alang sa mga internal nga tiggamit gikan sa lainlaing mga rehiyon, departamento, ug mga dibisyon. Gikonsolida niini ang kasayuran sa mga serbisyo sa impormasyon nga gihimo sa daghang mga repositoryo sa korporasyon sa kompanya, ug adunay daghan niini sa Rostelecom.

Apan ang rehistro dili lamang usa ka uga nga lista sa mga naugmad nga mga taho. Alang sa matag report, naghatag kami sa impormasyon nga gikinahanglan aron mapamilyar sa user ang ilang kaugalingon niini:

• mubo nga paghulagway sa report;
• giladmon sa pagkaanaa sa datos;
• bahin sa kustomer;
• himan sa pagtan-aw;
• ngalan sa corporate storage;
• mga kinahanglanon sa negosyo;
• link sa report;
• link sa aplikasyon alang sa pag-access;
• kahimtang sa pagpatuman.

Ang analytics sa lebel sa paggamit magamit alang sa mga taho, ug ang mga taho giranggo sa taas sa lista base sa log analytics base sa gidaghanon sa mga talagsaon nga tiggamit. Ug dili kana. Gawas pa sa mga kinatibuk-ang mga kinaiya, naghatag usab kami usa ka detalyado nga paghulagway sa komposisyon sa hiyas sa mga taho nga adunay mga pananglitan sa mga kantidad ug mga pamaagi sa pagkalkula. Ang maong pagdetalye diha-diha dayon naghatag sa user og tubag kon ang taho mapuslanon alang kaniya o dili.

Ang pagpalambo niini nga modyul usa ka importante nga lakang sa demokratisasyon sa datos ug dako nga pagkunhod sa oras nga gikinahanglan aron makit-an ang gikinahanglan nga impormasyon. Gawas pa sa pagkunhod sa oras sa pagpangita, ang gidaghanon sa mga hangyo sa grupo sa suporta aron mahatagan ang mga konsultasyon mikunhod usab. Imposible nga dili mahibal-an ang lain nga mapuslanon nga sangputanan nga among nakab-ot pinaagi sa paghimo sa usa ka hiniusa nga rehistro sa mga taho - pagpugong sa pag-uswag sa mga doble nga mga taho alang sa lainlaing mga yunit sa istruktura.

Glosaryo sa negosyo

Kamong tanan nahibal-an nga bisan sa sulod sa parehas nga kompanya, ang mga negosyo nagsulti sa lainlaing mga pinulongan. Oo, gigamit nila ang parehas nga mga termino, apan lahi ang ilang gipasabut nga mga butang. Ang usa ka glossary sa negosyo gidisenyo aron masulbad kini nga problema.

Alang kanamo, ang usa ka glossary sa negosyo dili lamang usa ka reperensiya nga libro nga adunay paghulagway sa mga termino ug pamaagi sa pagkalkula. Kini usa ka hingpit nga palibot alang sa pagpalambo, pag-uyon ug pag-apruba sa terminolohiya, pagtukod og mga relasyon tali sa mga termino ug uban pang mga kabtangan sa impormasyon sa kompanya. Sa dili pa mosulod sa glossary sa negosyo, ang usa ka termino kinahanglang moagi sa tanang yugto sa pag-apruba sa mga kustomer sa negosyo ug sa sentro sa kalidad sa datos. Pagkahuman lamang niini nga magamit kini.

Sama sa akong gisulat sa ibabaw, ang pagkatalagsaon niini nga himan mao nga kini nagtugot sa mga koneksyon gikan sa lebel sa usa ka termino sa negosyo ngadto sa piho nga mga taho sa tiggamit diin kini gigamit, ingon man sa lebel sa pisikal nga mga butang sa database.

Kini nahimong posible pinaagi sa paggamit sa glossary termino identifiers sa detalyado nga paghulagway sa registry mga taho ug ang paghulagway sa pisikal nga database nga mga butang.

Sa pagkakaron, labaw pa sa 4000 ka termino ang gihubit ug gikasabotan sa Glossary. Ang paggamit niini nagpasimple ug nagpadali sa pagproseso sa umaabot nga mga hangyo alang sa mga pagbag-o sa mga sistema sa impormasyon sa kompanya. Kung ang gikinahanglan nga timailhan gipatuman na sa bisan unsang report, nan ang user makakita dayon sa usa ka hugpong sa mga andam nga mga taho diin kini nga timailhan gigamit, ug makahimo sa pagdesisyon sa epektibo nga paggamit pag-usab sa kasamtangan nga pagpaandar o ang gamay nga kausaban niini, nga walay pagsugod bag-ong mga hangyo alang sa pagpalambo sa usa ka bag-ong report.

Module alang sa paghulagway sa teknikal nga pagbag-o ug DataLineage

Unsa kini nga mga module, mangutana ka? Dili igo nga ipatuman lang ang Report Register ug Glossary; kinahanglan usab nga ibutang ang tanan nga termino sa negosyo sa modelo sa pisikal nga database. Sa ingon, nakompleto namon ang proseso sa pagporma sa siklo sa kinabuhi sa datos gikan sa mga sistema sa gigikanan hangtod sa visualization sa BI pinaagi sa tanan nga mga layer sa bodega sa datos. Sa laing pagkasulti, paghimo og DataLineage.

Naghimo kami usa ka interface nga gibase sa format nga gigamit kaniadto sa kompanya alang sa paghulagway sa mga lagda ug lohika sa pagbag-o sa datos. Ang parehas nga kasayuran gisulod pinaagi sa interface sama kaniadto, apan ang kahulugan sa termino nga identifier gikan sa glossary sa negosyo nahimo nga kinahanglanon. Ingon niini kung giunsa namon paghimo ang usa ka koneksyon tali sa negosyo ug pisikal nga mga layer.

Kinsa ang nagkinahanglan niini? Unsa ang sayup sa daan nga format nga imong gitrabahoan sa daghang tuig? Unsa ka dako ang pagtaas sa mga gasto sa pagtrabaho alang sa paghimo sa mga kinahanglanon? Kinahanglan namon nga atubangon ang ingon nga mga pangutana sa panahon sa pagpatuman sa himan. Ang mga tubag dinhi yano ra - kinahanglan naton tanan, opisina sa datos sa among kompanya ug among mga tiggamit.

Sa tinuud, ang mga empleyado kinahanglan nga mopahiangay; sa sinugdan, kini misangpot sa usa ka gamay nga pagtaas sa gasto sa pagtrabaho alang sa pag-andam sa dokumentasyon, apan among gihusay kini nga isyu. Ang pagpraktis, pag-ila ug pag-optimize sa mga lugar nga adunay problema nahimo na ang ilang trabaho. Nakab-ot namon ang panguna nga butang - gipauswag namon ang kalidad sa naugmad nga mga kinahanglanon. Mandatory nga mga natad, hiniusa nga mga libro sa pakisayran, input mask, built-in nga mga tseke - kining tanan nagpaposible nga mapauswag ang kalidad sa mga paghulagway sa pagbag-o. Mibalhin kami gikan sa praktis sa pagtugyan sa mga script isip mga kinahanglanon sa pagpalambo ug gipaambit nga kahibalo nga anaa lamang sa development team. Ang namugna nga metadata database sa kamahinungdanon nagpamenos sa panahon nga gikinahanglan sa pagpahigayon sa regression analysis ug naghatag sa abilidad sa dali nga pag-assess sa epekto sa mga kausaban sa bisan unsang layer sa IT landscape (showcase reports, aggregates, sources).

Unsa may kalabotan niini sa mga ordinaryong tiggamit sa mga taho, unsa ang mga bentaha alang kanila? Salamat sa abilidad sa pagtukod sa DataLineage, ang among mga tiggamit, bisan kadtong layo sa SQL ug uban pang mga programming language, dali nga nakadawat og impormasyon bahin sa mga tinubdan ug mga butang nga gibase sa usa ka partikular nga report nga namugna.

Data Quality Control Module

Ang tanan nga among gihisgutan sa ibabaw sa mga termino sa pagsiguro sa transparency sa datos dili importante nga walay pagsabut nga ang datos nga among gihatag sa mga tiggamit husto. Usa sa importante nga modules sa atong Data Governance nga konsepto mao ang data quality control module.

Sa kasamtangan nga yugto, kini usa ka katalogo sa mga tseke alang sa pinili nga mga entidad. Ang hinanali nga tumong alang sa pagpalambo sa produkto mao ang pagpalapad sa listahan sa mga tseke ug paghiusa sa rehistro sa pagreport.
Unsa ang ihatag niini ug kang kinsa? Ang katapusan nga tiggamit sa rehistro adunay access sa impormasyon mahitungod sa giplano ug aktuwal nga mga petsa sa pagkaandam sa report, ang mga resulta sa nahuman nga mga tseke uban sa dynamics, ug impormasyon sa mga tinubdan load ngadto sa report.

Alang kanamo, ang module sa kalidad sa datos nga gisagol sa among mga proseso sa trabaho mao ang:

• Ang dali nga pagporma sa mga gilauman sa kustomer.
• Paghimog mga desisyon sa dugang nga paggamit sa datos.
• Pagkuha usa ka pasiuna nga hugpong sa mga punto sa problema sa mga inisyal nga yugto sa trabaho alang sa pagpauswag sa regular nga mga kontrol sa kalidad.

Siyempre, kini ang unang mga lakang sa pagtukod sa usa ka hingpit nga proseso sa pagdumala sa datos. Apan masaligon kami nga pinaagi lamang sa tinuyo nga pagbuhat niini nga trabaho, aktibong pagpaila sa mga himan sa Pagdumala sa Data ngadto sa proseso sa trabaho, hatagan namo ang among mga kliyente og sulod nga impormasyon, taas nga lebel sa pagsalig sa datos, transparency sa ilang resibo ug dugangan ang katulin sa paglansad. bag-ong gamit.

Team sa DataOffice

Source: www.habr.com