Ndewo, Habr!
Data bụ akụ ụlọ ọrụ kacha baa uru. Ihe fọrọ nke nta ka ọ bụrụ ụlọ ọrụ ọ bụla nwere nleba anya dijitalụ na-ekwupụta nke a. O siri ike ịrụ ụka na nke a: ọ bụghị otu nnukwu ogbako IT a na-enwe na-enweghị mkparịta ụka n'ụzọ maka ijikwa, ịchekwa na nhazi data.
Data na-abịakwute anyị site n'èzí, a na-emepụtakwa ya n'ime ụlọ ọrụ ahụ, ma ọ bụrụ na anyị na-ekwu banyere data sitere na ụlọ ọrụ telecom, mgbe ahụ maka ndị na-arụ ọrụ n'ime ụlọ a bụ ụlọ nkwakọba ihe ọmụma banyere onye ahịa, mmasị ya, àgwà ya na ọnọdụ ya. Site na profaịlụ na nkewa kwesịrị ekwesị, onyinye mgbasa ozi na-arụ ọrụ nke ọma. Otú ọ dị, na omume, ọ bụghị ihe niile bụ rosy. Data ụlọ ọrụ na-echekwa nwere ike ịbụ ihe ochie na-enweghị olile anya, nke anaghị arụ ọrụ, na-emegharịghachi, ma ọ bụ ịdị adị ya amataghị onye ọ bụla ma e wezụga ndị ọrụ dị warara. ¯_(ツ) _/ ¯
N'okwu, a ghaghị ijikwa data nke ọma - naanị mgbe ahụ ọ ga-abụ ihe onwunwe nke na-eweta ezigbo uru na uru na azụmahịa. N'ụzọ dị mwute, idozi nsogbu njikwa data chọrọ imeri ọtụtụ mgbagwoju anya. Ha na-abụkarị n'ihi ma ihe nketa akụkọ ihe mere eme n'ụdị "anụ ọhịa" nke usoro na enweghị usoro dị n'otu na ụzọ ha si achị. Ma gịnị ka ọ pụtara ịbụ "data chụpụrụ"?
Nke a bụ kpọmkwem ihe anyị ga-ekwu maka ya n'okpuru ịkpụ, yana otu nchịkọta opensource si nyere anyị aka.
Echiche nke strategic data management Data Governance (DG) amaralarị nke ọma na ahịa Russia, na ebumnuche ndị azụmaahịa nwetara n'ihi mmejuputa ya doro anya ma kwupụta nke ọma. Ụlọ ọrụ anyị abụghị otu ma debe onwe ya ọrụ nke iwebata echiche nke njikwa data.
Ya mere, olee ebe anyị malitere? Iji malite, anyị hibere onwe anyị ihe mgbaru ọsọ:
- Debe data anyị ka enwere ike ịnweta.
- Gbaa mbọ hụ na nghọta nke okirikiri ndụ data.
- Nye ndị ọrụ ụlọ ọrụ data na-agbanwe agbanwe, na-agbanwe agbanwe.
- Nye ndị ọrụ ụlọ ọrụ data enwetara.
Taa, enwere ngwaọrụ klas iri na abụọ Data Governance na ahịa ngwanrọ.
Mana mgbe nyochachara na nyocha nke azịza ya, anyị dekọtara ọtụtụ okwu dị oke egwu maka onwe anyị:
- Ọtụtụ ndị na-emepụta ihe na-enye usoro ngwọta zuru oke, nke anyị na-ejikarị eme ihe ma na-emegharị ọrụ dị adị. Na mgbakwunye, dị oke ọnụ n'ihe gbasara akụrụngwa, ntinye n'ime mpaghara IT dị ugbu a.
- Emebere ọrụ na interface maka ndị na-ahụ maka teknụzụ, ọ bụghị ndị ọrụ njedebe azụmahịa.
- Ọnụnọ ndụ dị ala nke ngwaahịa na enweghị mmejuputa nke ọma na ahịa Russia.
- Ọnụ ego dị elu nke ngwanrọ na nkwado ọzọ.
Usoro na ndụmọdụ ndị akọwapụtara n'elu gbasara mbubata ngwanrọ maka ụlọ ọrụ Rọshịa mere ka anyị kwenye ịkwaga n'ihu mmepe nke anyị na ngwugwu opensource. Ikpo okwu anyị họọrọ bụ Django, ihe n'efu na nke mepere emepe edere na Python. Ya mere, anyị achọpụtala modul ndị bụ isi ga-enye aka na ebumnuche ndị ekwuru n'elu:
- Ndebanye aha nke akụkọ.
- Nkọwa okwu azụmahịa.
- Modul maka ịkọwa mgbanwe teknụzụ.
- Modul maka ịkọwa usoro ndụ data site na isi mmalite gaa na ngwa BI.
- modul njikwa ogo data.
Ndebanye aha nke akụkọ
Dị ka nsonaazụ nke ọmụmụ ihe dị n'ime na nnukwu ụlọ ọrụ, mgbe ha na-edozi nsogbu ndị metụtara data, ndị ọrụ na-etinye 40-80% nke oge ha na-achọ ha. Ya mere, anyị na-etinye onwe anyị ọrụ nke ime ka oghe ozi banyere akụkọ ndị dị adị na mbụ naanị ndị ahịa. Ya mere, anyị na-ebelata oge maka ịmepụta akụkọ ọhụrụ ma hụ na a na-emeziwanye data nke onye kwuo uche ya.
Ndebanye aha mkpesa abụrụla otu windo mkpesa maka ndị ọrụ ime si mpaghara, ngalaba na nkewa dị iche iche. Ọ na-ejikọta ozi na ọrụ ozi emepụtara n'ọtụtụ ụlọ ọrụ ụlọ ọrụ nke ụlọ ọrụ ahụ, ma enwere ọtụtụ n'ime ha na Rostelecom.
Mana ndekọ ahụ abụghị naanị ndepụta akọrọ nke akụkọ mepere emepe. Maka akụkọ ọ bụla, anyị na-enye ozi dị mkpa ka onye ọrụ mara onwe ya na ya:
- nkọwa nkenke nke akụkọ;
- omimi nke nnweta data;
- ngalaba ndị ahịa;
- ngwá ọrụ anya;
- aha nke nchekwa ụlọ ọrụ;
- chọrọ azụmahịa arụ ọrụ;
- njikọ na akụkọ;
- njikọ na ngwa maka ịnweta;
- ọnọdụ mmejuputa iwu.
Ntụle ọkwa ojiji dị maka akụkọ, a na-ahọpụtakwa akụkọ n'elu ndepụta ahụ dabere na nyocha ndekọ dabere na ọnụọgụ ndị ọrụ pụrụ iche. Ma nke ahụ abụghị ya. Na mgbakwunye na njirimara izugbe, anyị nyekwara nkọwa zuru ezu nke njirimara njirimara nke akụkọ ahụ na ihe atụ nke ụkpụrụ na ụzọ mgbako. Nkọwa dị otú ahụ na-enye onye ọrụ azịza ozugbo ma akụkọ ahụ ọ bara uru maka ya ma ọ bụ na ọ bụghị.
Mmepe nke modul a bụ nzọụkwụ dị mkpa na nhazi ọchịchị onye kwuo uche nke data ma belata oge ọ na-ewe iji chọta ozi achọrọ. Na mgbakwunye na ibelata oge ọchụchọ, ọnụ ọgụgụ nke arịrịọ ndị otu nkwado iji nye ndụmọdụ ebelatala. Ọ gaghị ekwe omume ịghara ịhụ nsonaazụ ọzọ bara uru nke anyị nwetara site n'ịmepụta ndekọ aha nke akụkọ dị n'otu - igbochi mmepe nke akụkọ oyiri maka ngalaba nhazi dị iche iche.
Nkọwa okwu azụmahịa
Unu maara na ọbụna n'ime otu ụlọ ọrụ, azụmahịa na-asụ asụsụ dị iche iche. Ee, ha na-eji otu okwu, ma ha pụtara kpamkpam dị iche iche ihe. Emebere akwụkwọ ọkọwa okwu azụmahịa iji dozie nsogbu a.
Maka anyị, akwụkwọ ọkọwa okwu azụmahịa abụghị naanị akwụkwọ ntụaka nwere nkọwa nke usoro na usoro mgbako. Nke a bụ ebe zuru oke maka ịmepụta, ikwenye na ịkwado okwu okwu, wulite mmekọrịta n'etiti usoro na ihe ọmụma ndị ọzọ nke ụlọ ọrụ ahụ. Tupu ịbanye n'akwụkwọ ọkọwa okwu azụmahịa, otu okwu ga-agaferịrị usoro nkwenye niile na ndị ahịa azụmaahịa yana ebe mma data. Naanị mgbe nke a gasịrị, ọ ga-adị maka ojiji.
Dị ka m dere n'elu, ihe dị iche iche nke ngwá ọrụ a bụ na ọ na-enye ohere njikọ site na ọkwa nke okwu azụmahịa na akụkọ ndị ọrụ kpọmkwem nke ejiri ya mee ihe, yana ọkwa nke ihe nchekwa data anụ ahụ.
Emere nke a site n'iji njirimara okwu nkọwa na nkọwa zuru ezu nke akụkọ ndekọ na nkọwa nke ihe nchekwa data anụ ahụ.
Ugbu a, a kọwapụtala ma kwenye karịa okwu 4000 na nkọwapụta. Ojiji ya na-eme ka ọ dị mfe ma na-eme ngwa ngwa nhazi nke arịrịọ mbata maka mgbanwe na sistemụ ozi nke ụlọ ọrụ. Ọ bụrụ na emejuputalarị ihe ngosi achọrọ na akụkọ ọ bụla, mgbe ahụ onye ọrụ ga-ahụ ngwa ngwa nke akụkọ emere emebere ebe a na-eji ihe ngosi a, wee nwee ike ikpebi nrụgharị arụmọrụ dị adị ma ọ bụ obere mgbanwe ya, na-enweghị ịmalite. arịrịọ ọhụrụ maka mmepe nke akụkọ ọhụrụ.
Modul maka ịkọwa mgbanwe teknụzụ na DataLineage
Kedu ihe modul ndị a, ị na-ajụ? O zughị naanị imejuputa ndekọ ndekọ aha na nkọwa nkọwa; ọ dịkwa mkpa itinye usoro azụmahịa niile na ụdị nchekwa data anụ ahụ. Ya mere, anyị nwere ike imezu usoro nke ịmepụta usoro ndụ data site na usoro isi mmalite ruo nhụta BI site na ọkwa niile nke ụlọ nkwakọba data. N'ikwu ya n'ụzọ ọzọ, wulite DataLineage.
Anyị mepụtara interface dabere na usoro ejiri na mbụ na ụlọ ọrụ maka ịkọwa iwu na mgbagha nke mgbanwe data. A na-abanye otu ozi ahụ site na interface dị ka ọ dị na mbụ, mana nkọwa nke njirimara okwu sitere na akwụkwọ nkọwa azụmahịa aghọwo ihe dị mkpa. Nke a bụ otu anyị si ewulite njikọ n'etiti azụmahịa na ọkwa anụ ahụ.
Ònye chọrọ ya? Kedu ihe dị njọ na usoro ochie nke ị na-arụ ọrụ ruo ọtụtụ afọ? Ego ole ka ụgwọ ọrụ maka imepụta ihe abawanyela? Anyị aghaghị ịnagide ajụjụ ndị dị otú ahụ n'oge mmejuputa ngwá ọrụ ahụ. Azịza ya ebe a dị nnọọ mfe - anyị niile chọrọ nke a, ụlọ ọrụ data ụlọ ọrụ anyị na ndị ọrụ anyị.
N'ezie, ndị ọrụ ahụ kwesịrị ime mgbanwe; na mbụ, nke a mere ka ọnụ ahịa ọrụ na-abawanye ntakịrị maka ịkwadebe akwụkwọ, ma anyị edoziziri okwu a. Omume, ịchọpụta na ịkwalite ebe nsogbu arụwo ọrụ ha. Anyị enwetala isi ihe - anyị emewo ka mma nke ihe ndị e mepụtara chọrọ. Mpaghara iwu kwadoro, akwụkwọ ntụaka ejikọtara ọnụ, ihe nkpuchi ntinye, ndenye nrụnye arụnyere - ihe a niile mere ka o kwe omume ịkwalite ogo nkọwa mgbanwe. Anyị si na omume nke inyefe scripts dị ka mmepe chọrọ na ihe ọmụma nke dị naanị maka mmepe otu. Ihe nchekwa data metadata emepụtara na-ebelata nke ukwuu oge achọrọ iji duzie nyocha nlọghachi ma na-enye ikike iji ngwa ngwa nyochaa mmetụta mgbanwe na oyi akwa IT ọ bụla (akụkọ ihe ngosi, mkpokọta, isi mmalite).
Kedu ihe jikọrọ nke a na ndị ọrụ nkịtị nke akụkọ, kedu uru ha bara? N'ihi ike iji wuo DataLineage, ndị ọrụ anyị, ọbụlagodi ndị dị anya na SQL na asụsụ mmemme ndị ọzọ, na-enweta ozi ngwa ngwa gbasara isi mmalite na ihe dabere na otu akụkọ sitere na ya.
Modul njikwa ogo data
Ihe niile anyị kwuru banyere ya n'elu iji hụ na nghọta data adịghị mkpa n'aghọtaghị na data anyị na-enye ndị ọrụ ziri ezi. Otu n'ime modul dị mkpa nke echiche ọchịchị data anyị bụ modul njikwa data.
N'ọkwa dị ugbu a, nke a bụ katalọgụ nke ndenye ego maka ụlọ ọrụ ahọpụtara. Ebumnuche ozugbo maka mmepe ngwaahịa bụ ịgbasa ndepụta ndenye ego ma jikọta ya na ndekọ ndekọ.
Kedu ihe ọ ga-enye na onye? Onye ọrụ njedebe nke ndekọ ahụ ga-enwe ike ịnweta ozi gbasara ụbọchị akwadoro na kpọmkwem ụbọchị nke njikere akụkọ, nsonaazụ nke nyocha zuru ezu na ike, yana ozi na isi mmalite ndị a na-etinye n'ime akụkọ ahụ.
Maka anyị, modul ogo data agbakwunyere n'ime usoro ọrụ anyị bụ:
- Ngwa ngwa guzobe nke ndị ahịa na-atụ anya.
- Ime mkpebi maka iji data ọzọ eme ihe.
- Inweta ihe mmalite nke nsogbu nsogbu na ọkwa mbụ nke ọrụ maka mmepe njikwa njikwa mgbe niile.
N'ezie, ndị a bụ nzọụkwụ mbụ n'ịwulite usoro njikwa data zuru oke. Ma anyị nwere obi ike na ọ bụ naanị site n'iji nlezianya na-arụ ọrụ a, na-arụsi ọrụ ike iwebata ngwaọrụ nchịkwa data n'ime usoro ọrụ, anyị ga-enye ndị ahịa anyị ọdịnaya ozi, ntụkwasị obi dị elu na data, nghọta na nnata ha ma mee ka ọsọ nke ịmalite ịmalite. ọhụrụ ọrụ.
Otu DataOffice
isi: www.habr.com