Ná mmalite nke December, m mehiere na-egbu egbu ma mee mgbanwe ná ndụ m dị ka onye mmepụta ma kwaga na otu Data Engineering (DE) n'ime ụlọ ọrụ ahụ. N'isiokwu a, m ga-ekekọrịta ụfọdụ ihe m mere n'ime ọnwa abụọ nke ịrụ ọrụ na otu DE.
Gịnị kpatara Data Engineering?
Njem m na DE malitere n'oge okpomọkụ nke 2019, mgbe anyị ka anyị gaa , n'ebe ahụ ka m nwetara nghọta. Amalitere m inwe mmasị na isiokwu, ọmụmụ algọridim na ọbụna banyere ha , wee chee echiche banyere oke ngwa ma chọpụta ngwa ngwa na ngwa bara uru na ụlọ ọrụ anyị na-ekesa ọdụ data.
Kedu ihe otu anyị na-eme? Anyị, dị ka ụmụ nwoke na ụmụ nwanyị niile nwere ejiji, chọrọ ịbụ ụlọ ọrụ na-anya data. Na ka nke a wee kwe omume, anyị kwesịrị ma ọ dịkarịa ala wuo ebe nchekwa nchekwa a pụrụ ịdabere na ya, nke a pụrụ iji wuo akụkọ ọ bụla nke ụlọ ọrụ ahụ chọrọ. Mana ihe kacha mkpa bụ na data dị na nchekwa a ga-atụkwasịrịrị obi. Ọzọkwa, iji ndị a data, mkpa ka ị na-enwe ike weghachi ala nke usoro n'oge t. Ihe a niile na-agbagwoju anya site n'eziokwu na anyị bi na ụwa ọhụrụ obi ike nke microservices, na echiche a na-egosi na ọrụ ọ bụla na-arụ ọrụ obere ọrụ nke ya, nchekwa data ya bụ azụmahịa nke ya, ọ pụkwara ihichapụ ya ma ọ dịkarịa ala kwa ụbọchị, ma na N'otu oge ahụ anyị ga-enwe ike ịnata ma hazie ọnọdụ ọrụ ahụ.
Ọ bụrụ n’ịchọrọ ịbụ Data Driven, buru ụzọ bụrụ Mmemme chụpụrụ
Ọ bụghị otú ahụ dị mfe. Ihe omume dị iche iche, onye nrụpụta na injinia data na-elekwa ha anya n'ụzọ dị iche. Ikwu banyere ihe omume bụ isiokwu maka edemede dị iche, yabụ agaghị m abanye n'ime ya ebe a. Na mgbakwunye, isiokwu dị otú ahụ enweelarị ụfọdụ Martin Fowler, Agaghị m ewepụ laurels ya, ka ọ bụrụkwa onye ama ama.
N'ozuzu, enwere ọtụtụ ihe ị ga-eche ma ọ bụ ya mere mpaghara a ji mara mma. Ọ na-eme na n'ime ụlọ ọrụ anyị, onye injinia data bụ akụkụ dị ukwuu nke ọrụ karịa naanị onye na-ede pipeline ETL / ELT (ọ bụrụ na ị maghị ihe abbreviations ndị a pụtara, bịarute. . Dị ka mgbasa ozi gburugburu).
Anyị na-emeso ụkpụrụ ụlọ nchekwa, nhazi data, okwu metụtara nchekwa data, yana pipelines n'onwe ha, n'ezie. Anyị kwesịkwara ijide n'aka na, n'otu aka ahụ, ọnụnọ anyị adịghị arọ maka ndị na-emepụta ngwaahịa na ha ga-adọpụ uche dị ka o kwere mee site na ihe anyị chọrọ mgbe ị na-egbutu atụmatụ ọhụrụ n'ime usoro, na n'aka nke ọzọ, anyị. ọ dị mkpa ịnye ha nke ọma ka edobere na data nchekwa maka ndị nyocha na ndị otu BI. Otú ahụ ka anyị si ebi.
Ihe isi ike mgbe ị na-agbanwe site na mmepe
N’ụbọchị mbụ m rụrụ ọrụ, enwere m ọtụtụ ihe isi ike ndị m chọrọ ịkọrọ gị.
1. Ihe mbụ m hụrụ bụ enweghị tuling na ụfọdụ omume. Were, dịka ọmụmaatụ, mkpuchi koodu nwere ule. Anyị nwere ọtụtụ narị usoro nnwale na mmepe. Mgbe ị na-arụ ọrụ na data, ihe niile dị mgbagwoju anya. Ee, anyị nwere ike ịnwale pipeline ETL na data nnwale, mana anyị ga-eji aka mee ya niile wee chọọ azịza maka ikpe ọ bụla akọwapụtara. N'ihi ya, mkpuchi ule dị njọ karị. Ọ dabara nke ọma, enwere nzaghachi nzaghachi ọzọ n'ụdị nleba anya na ndekọ ndekọ, mana nke a na-achọrịrị ka anyị meghachi omume nke ọma kama ime ngwa ngwa, nke na-ewe iwe na enweghị atụ.
2. Ụwa si a DE n'ọnọdụ ọ bụghị mgbe niile ihe o yiri ka ndị nkịtị ngwaahịa Mmepụta (ọfọn, n'ezie na-agụ na-adịghị ka na, na ọ maraworị ihe niile, ma m na-amaghị na ugbu a, m na-screwing. ya elu). Dịka onye nrụpụta, m na-emepụta microservice nke m, tinye data na [database nke nhọrọ gị], chekwaa steeti m n'ebe ahụ, nweta ihe site na ID na ọ dị mma. Ọrụ ahụ dị nwayọ, iwu na-agbagwoju anya, nke ahụ bụ ihe niile. Ha na-arịọ m ka m chọọ steeti m na ọrụ ọzọ, yabụ m ga-atụba ihe omume n'ime ụfọdụ RabbitMQ na ọ bụ ya. Ma ebe a anyị laghachiri ọzọ n'okwu nke ihe omume ndị a kọwara n'elu.
Ihe ọrụ chọrọ maka ọrụ arụ ọrụ adịghị adabara anyị maka data akụkọ ihe mere eme, ya mere, ajụjụ nke ịmegharị ọrụ nkwekọrịta ọrụ na nso nso a na ndị otu mmepe na-amalite. Ị pụghị ichetụ n'echiche awa ole o were anyị iji kwenye: ụdị ihe omume chụpụrụ ọ nọ na ụlọ ọrụ anyị.
3. Ikwesiri iji isi gi chee echiche. Mba, anaghị m apụta na ndị mmepe anaghị eche (ọ bụ ezie na onye m ga-ekwu maka onye ọ bụla), ọ bụ na na mmepụta ngwaahịa ọtụtụ mgbe ị nwere ụdị ihe owuwu, na ị na-ebipụ shuffles dị iche iche site na azụ azụ. N'ezie, nke a chọrọ atụmatụ na echiche, mana nke a bụ ọrụ iyi, ebe isi nsogbu bụ naanị ime ya nke ọma na nke ọma.
Maka anyị, ọ bụghị ihe dị mfe n'ihi na ịnyefe usoro ihe dị iche iche site na monolith na-ekpo ọkụ ma dị mma n'ime ụwa nke ọhịa microservice ọhịa adịghị mfe. Mgbe ọrụ ahụ na-amalite na-agbapụta ihe omume, ịkwesịrị ịtụgharị uche n'echiche maka ijuputa nchekwa ahụ, n'ihi na data ugbu a dị iche. Nke a bụ ebe ịkwesịrị iche echiche nke ọma na nke ọma, ọ bụghịzi dị ka onye nrụpụta, mana dịka onye injinia data. Ọ bụ akụkọ nkịtị mgbe ị na-eji akwụkwọ ndetu na pen ma ọ bụ akara na bọọdụ nọrọ ụbọchị. Ọ na-esiri m ike, anaghị m achọ iche, enwere m mmasị na mmepụta.
4. Ikekwe ihe kacha mkpa bụ ozi. Gịnị ka anyị na-eme ma ọ bụrụ na anyị enweghị ihe ọmụma? Onye kwuru stackoverflow? Wepụ onye a n'ime ụlọ. Anyị na-aga na-agụ akwụkwọ, akwụkwọ na isiokwu, na e nwekwara obodo na-ahazi forums, nzukọ na ogbako. Akwụkwọ dị oke mma, mana ọ dị nwute, ọ nwere ike ezughị oke. Anyị na-eji Cosmos DB n'ọtụtụ ọrụ. Daalụ ịgụ akwụkwọ maka ngwaahịa a. Akwụkwọ bụ naanị nzọpụta; Ọ dabara nke ọma, ha dị adị na enwere ike ịchọta ha, ha nwere ọtụtụ ihe ọmụma dị mkpa na ị ga-agụ ọtụtụ ihe na mgbe niile. Mana nsogbu dị n'obodo.
Ugbu a, o siri ike ịchọta opekata mpe otu ọgbakọ ma ọ bụ nzukọ zuru oke na mpaghara anyị. Ee e, n'ezie, e nwere ọtụtụ izute na okwu Data, ma na-esote okwu a na-emekarị iju abbreviations dị ka ML ma ọ bụ AI. Ya mere, nke a abụghị maka anyị, anyị na-ekwu maka otu esi ewu ụlọ nchekwa, ọ bụghịkwa ka anyị ga-esi jiri neurons mee onwe anyị. Ndị hipsters a ewerela ihe niile. N’ihi ya, anyị enweghị obodo. Site n'ụzọ, ọ bụrụ na ị bụ onye injinia data ma mara ezigbo obodo, biko dee na nkwupụta.
Mkpebi na ọkwa nke nzukọ
Kedu ihe anyị na-ejedebe? Ahụmahụ mbụ m na-agwa m na mmetụta na akpụkpọ ụkwụ nke onye injinia data ga-aba uru maka onye mmepụta ọ bụla. Ọ na-enye anyị ohere ile ihe dị iche iche anya ma ghara iju anyị anya mgbe anya anyị na-agbapụta ọbara mgbe anyị na-ahụ ka ndị mmepe si emeso data ha. Yabụ, ọ bụrụ na enwere DE na ụlọ ọrụ gị, naanị ịgwa ụmụ okorobịa a okwu, ị ga-amụta ọtụtụ ihe ọhụrụ (banyere onwe gị).
Na n'ikpeazụ, ọkwa. Ebe ọ bụ na ọ na-esiri ike ịchọta nzukọ na isiokwu anyị n'ụbọchị, anyị kpebiri ime nke anyị. Gịnị mere anyị ji dị njọ? Daalụ, anyị nwere ihe ịtụnanya na ndị enyi anyị si , ndị, dị ka anyị, na-eche na ndị injinia data na-napụghị nlebara anya n'ụzọ na-ezighị ezi.
N'iji ohere a, a na m akpọ onye ọ bụla nwere mmasị ịbịa na nnọkọ obodo mbụ anyị nwere aha na-ekwe nkwa "DE ma ọ bụ DIE", nke ga-eme na February 27.02.2020, XNUMX na ụlọ ọrụ Dodo Pizza. Nkọwa na .
Ọ bụrụ na ihe ọ bụla emee, m ga-anọ ebe ahụ, ị nwere ike ịgwa m n'onwe m na m na-ezighị ezi banyere ndị mmepe.
isi: www.habr.com