🥇 Iji obere koodu na nyiwe nyocha

Ezigbo ndị na-agụ akwụkwọ, ụbọchị ọma!

Ọrụ nke iwulite nyiwe IT maka ịnakọta na nyochaa data n'oge na-adịghị anya na-ebilite maka ụlọ ọrụ ọ bụla nke azụmahịa ya dabere na ụdị nnyefe ọrụ nwere ọgụgụ isi ma ọ bụ imepụta ngwaahịa dị mgbagwoju anya. Iwulite nyiwe nyocha bụ ọrụ dị mgbagwoju anya ma na-ewe oge. Agbanyeghị, enwere ike ime ka ọrụ ọ bụla dị mfe. N'isiokwu a, achọrọ m ịkọrọ ahụmahụ m n'iji ngwá ọrụ dị ala na-enyere aka ịmepụta ngwọta nyocha. Enwetara ahụmahụ a n'oge mmejuputa ọtụtụ ọrụ na Big Data Solutions direction nke ụlọ ọrụ Neoflex. Ebe ọ bụ na 2005, Big Data Solutions direction nke Neoflex nọ na-emekọ ihe gbasara iwu ụlọ nkwakọba ihe data na ọdọ mmiri, na-edozi nsogbu nke ịmepụta ọsọ ọsọ nke nhazi ozi na ịrụ ọrụ na usoro maka njikwa data data.

Ọ dịghị onye ga-enwe ike izere nchịkọta nke ọma nke data adịghị ike na/ma ọ bụ nke a haziri nke ọma. Ikekwe ọ bụrụgodị na anyị na-ekwu maka obere azụmahịa. A sị ka e kwuwe, mgbe ị na-azụ ahịa azụmahịa, onye ọchụnta ego na-ekwe nkwa ga-eche nsogbu nke ịmepụta mmemme iguzosi ike n'ihe ihu, ọ ga-achọ nyochaa ịdị irè nke isi ahịa, na-eche banyere mgbasa ozi ezubere iche, ọ ga-ejukwa ya anya site na ọchịchọ maka ngwaahịa ndị na-eso ya. . Na mkpokọta mbụ, enwere ike idozi nsogbu ahụ "na ikpere". Mana ka azụmahịa ahụ na-etolite, ịbịa n'elu ikpo okwu nyocha ka bụ ihe a na-apụghị izere ezere.

Agbanyeghị, n'ọnọdụ dị aṅaa ka ọrụ nyocha data nwere ike ịmalite n'ime nsogbu klas "Rocket Science"? Ikekwe n'oge anyị na-ekwu maka nnukwu data buru ibu.
Iji mee ka Sayensị Rọket dị mfe, ị nwere ike iri ibe enyí n'otu akụkụ.

Ka ngwa gị / ọrụ / ọrụ microservice gị nwere akọ na nke kwụụrụ onwe ya, ọ ga-adịrị gị mfe, ndị ọrụ ibe gị na azụmahịa niile ịgbari enyí ahụ.

Ihe fọrọ nke nta ka ọ bụrụ ndị ahịa anyị niile bịara na postulate a, na-ewughachi ala ahụ dabere na omume injinia nke otu DevOps.

Ma ọbụlagodi na nri "iche, elephantine", anyị nwere ohere dị mma nke "oversaturation" nke ala IT. N'oge a, ọ bara uru ịkwụsị, iku ume na ile anya n'akụkụ obere koodu injinia ikpo okwu.

Ọtụtụ ndị mmepe na-atụ ụjọ nke njedebe nwụrụ anwụ na ọrụ ha mgbe ha na-apụ site na ide koodu ozugbo gaa na “ịdọrọ” akụ n'ime oghere UI nke sistemụ dị ala. Ma ọbịbịa nke ngwá ọrụ igwe emeghị ka ndị injinia na-apụ n'anya, ma wetara ọrụ ha n'ọkwa ọhụrụ!

Ka anyị chọpụta ihe kpatara ya.

Nyocha data na mpaghara lọjistik, ụlọ ọrụ telecom, nyocha mgbasa ozi, ngalaba ego na-ejikọta ya na ajụjụ ndị a mgbe niile:

Ọsọ nke nyocha akpaghị aka;
Ikike ime nnwale na-enweghị emetụta isi iyi mmepụta data;
Ịtụkwasị obi nke data akwadoro;
Gbanwee nsochi na nsụgharị;
Ngosipụta data, usoro ọmụmụ data, CDC;
Ngwa ngwa nnyefe nke atụmatụ ọhụrụ na gburugburu mmepụta ihe;
Na nke a ma ama: ọnụ ahịa mmepe na nkwado.

Ya bụ, ndị injinia nwere ọnụ ọgụgụ buru ibu nke ọrụ dị elu, nke enwere ike ịrụcha ya na arụmọrụ zuru oke naanị site na ikpochapụ nsụhọ ha nke ọrụ mmepe dị ala.

Ihe ndị a chọrọ maka ndị mmepe ịkwaga n'ọkwa ọhụrụ bụ mgbanwe na nhazi nke azụmahịa. Uru nke onye nrụpụta na-agbanwekwa: enwere ụkọ dị ukwuu nke ndị mmepe nwere ike itinye onwe ha na echiche nke azụmahịa na-akpaghị aka.

Ka anyị were asụsụ mmemme dị ala na nke dị elu see ntụnyere. Mgbanwe site na asụsụ ndị dị ala gaa n'ọkwa dị elu bụ mgbanwe site na ide "ntụziaka kpọmkwem n'asụsụ nke ngwaike" gaa na "ntụziaka n'asụsụ ndị mmadụ". Ya bụ, na-agbakwunye ụfọdụ oyi akwa nke abstraction. N'okwu a, ntụgharị gaa na nyiwe koodu dị ala site na asụsụ mmemme dị elu bụ mgbanwe site na "ntụziaka n'asụsụ ndị mmadụ" gaa na "ntụziaka n'asụsụ azụmahịa." Ọ bụrụ na e nwere ndị mmepe na-ewute eziokwu a, mgbe ahụ, ha na-ewute ha, ikekwe, kemgbe a mụrụ Java Script, nke na-eji ọrụ nhazi nhazi. Na ọrụ ndị a, n'ezie, nwere ngwanrọ mmejuputa iwu n'okpuru mkpuchi site na ụzọ ndị ọzọ nke otu mmemme dị elu.

Ya mere, obere koodu bụ naanị ọdịdị nke ọkwa ọzọ nke abstraction.

Ahụmịhe etinyere na iji obere koodu

Isiokwu nke obere koodu dị nnọọ sara mbara, ma ugbu a, m ga-achọ ikwu banyere bara uru ngwa nke "obere-koodu echiche" na-eji ihe atụ nke otu n'ime anyị ọrụ.

Ngalaba Ngwọta Big Data nke Neoflex pụrụ iche na ngalaba ego nke azụmahịa, na-ewu ụlọ nkwakọba ihe data na ọdọ mmiri yana na-akpakwa akụkọ dị iche iche. N'ime niche a, iji obere koodu abụrụla ọkọlọtọ. N'etiti ngwaọrụ ndị ọzọ dị ala, anyị nwere ike ịkọ ngwaọrụ maka ịhazi usoro ETL: Informatica Power Center, IBM Datastage, Pentaho Data Integration. Ma ọ bụ Oracle Apex, nke na-arụ ọrụ dị ka gburugburu maka mmepe ngwa ngwa nke interfaces maka ịnweta na dezie data. Otú ọ dị, iji ngwá ọrụ mmepe dị ala adịghị agụnye ịmepụta ngwa ndị ezubere iche nke ukwuu na nchịkọta teknụzụ azụmahịa na-adabere na onye na-ere ahịa.

Iji nyiwe koodu dị ala, ị nwekwara ike ịhazi nhazi nke iyi data, mepụta nyiwe sayensị data ma ọ bụ, dịka ọmụmaatụ, modul maka ịlele ogo data.

Otu n'ime ihe atụ etinyere n'ọrụ nke ahụmịhe n'iji ngwaọrụ mmepe dị ala bụ mmekorita n'etiti Neoflex na Mediascope, otu n'ime ndị isi na ahịa nyocha mgbasa ozi Russia. Otu n'ime ebumnuche azụmahịa nke ụlọ ọrụ a bụ imepụta data na ndabere nke ndị mgbasa ozi, nyiwe ịntanetị, ọwa TV, ụlọ ọrụ redio, ụlọ ọrụ mgbasa ozi na ụdị na-eme mkpebi gbasara ịzụrụ mgbasa ozi na ịhazi nkwukọrịta ahịa ha.

Nchọpụta mgbasa ozi bụ mpaghara azụmahịa nke teknụzụ juru. Ịghọta usoro vidiyo, ịnakọta data sitere na ngwaọrụ ndị na-enyocha nlele, ịlele ọrụ na akụrụngwa weebụ - ihe a niile na-egosi na ụlọ ọrụ ahụ nwere nnukwu ndị ọrụ IT na nnukwu ahụmahụ na ịmepụta ngwọta nyocha. Mana mmụba dị ukwuu na ọnụọgụ ozi, ọnụọgụ na ụdị isi mmalite ya na-amanye ụlọ ọrụ data IT ka ọ na-aga n'ihu mgbe niile. Ihe ngwọta kachasị mfe maka ịmegharị usoro nyocha Mediascope na-arụ ọrụ ugbu a nwere ike ịbụ ịbawanye ndị ọrụ IT. Ma ihe ngwọta dị irè karị bụ ime ka usoro mmepe ahụ dịkwuo ngwa. Otu n'ime nzọụkwụ na-eduga na ntụziaka a nwere ike ịbụ iji usoro ikpo okwu dị ala.

N'oge ọrụ ahụ malitere, ụlọ ọrụ ahụ enweelarị ngwọta ngwaahịa na-arụ ọrụ. Otú ọ dị, mmejuputa atumatu nke ngwọta na MSSQL enweghị ike imezu ihe a tụrụ anya maka ịrụ ọrụ scaling ka ọ na-ejigide ọnụ ahịa mmepe a na-anabata.

Ọrụ dị n'ihu anyị nwere nnukwu nnukwu ọchịchọ - Neoflex na Mediascope kwesịrị ịmepụta usoro mmepụta ihe n'ime ihe na-erughị otu afọ, dabere na ntọhapụ nke MVP n'ime nkeji mbụ nke ụbọchị mmalite.

Ahọpụtara nchịkọta teknụzụ Hadoop dị ka ntọala maka iwulite ikpo okwu data ọhụrụ dabere na mgbako koodu dị ala. HDFS aghọwo ọkọlọtọ maka nchekwa data site na iji faịlụ parquet. Iji nweta data dị n'elu ikpo okwu, a na-eji Hive mee ihe, bụ nke a na-egosipụta n'ihu ụlọ ahịa niile dị n'ụdị tebụl dị n'èzí. Ejiri Kafka na Apache NiFi mejupụta data n'ime nchekwa ahụ.

A na-eji ngwá ọrụ Lowe-code dị na echiche a kwalite ọrụ kachasị arụ ọrụ n'ịrụ usoro nyocha - ọrụ nchịkọta data.

Ngwá ọrụ Datagram dị obere ka ahọpụtara dị ka isi usoro maka nkewa data. Neoflex Datagram bụ ngwá ọrụ maka ịmepụta mgbanwe na usoro data.
Iji ngwá ọrụ a, ị nwere ike ime n'ejighị aka dee koodu Scala. A na-emepụta koodu Scala na-akpaghị aka site na iji usoro ihe owuwu Model Driven Architecture.

Uru doro anya nke usoro a bụ ime ka usoro mmepe ahụ dịkwuo ngwa. Agbanyeghị, na mgbakwunye na ọsọ ọsọ, enwerekwa uru ndị a:

Ilele ọdịnaya na nhazi nke isi mmalite / ndị nnata;
Ịchọta mmalite nke ihe na-asọpụta data na mpaghara nke ọ bụla (usoro ọmụmụ);
Mgbu nke mgbanwe na nleba anya nke nsonaazụ etiti;
Nyochaa koodu isi mmalite na ịhazi ya tupu e gbuo ya;
Nkwado na-akpaghị aka nke mgbanwe;
Budata data akpaaka 1 n'ime 1.

Ihe mgbochi ịbanye na ngwọta koodu dị ala maka ịmepụta mgbanwe dị ala: onye mmepụta kwesịrị ịma SQL ma nwee ahụmahụ na-arụ ọrụ na ngwaọrụ ETL. Ọ bara uru ịkọwa na ndị na-emepụta mgbanwe mgbanwe koodu abụghị ngwaọrụ ETL n'ụzọ sara mbara nke okwu ahụ. Ngwa ngwa koodu dị ala nwere ike ọ gaghị enwe mpaghara mkpochapụ koodu nke ha. Ya bụ, a ga-egbu koodu emepụtara na gburugburu ebe dị na ụyọkọ ahụ ọbụna tupu ịwụnye ngwọta dị ala. Ma nke a bụ ikekwe mgbakwunye ọzọ maka karma obere koodu. Ebe ọ bụ na, n'otu aka ahụ na otu obere koodu, otu "kpochapụwo" nwere ike ịrụ ọrụ na-arụ ọrụ, dịka ọmụmaatụ, na koodu Scala dị ọcha. Ịweta nkwalite site na otu abụọ ahụ na mmepụta ga-adị mfe na enweghị nkebi.

O nwere ike ịbụ na ọ dị mma ịmara na na mgbakwunye na koodu dị ala, enwekwara ihe ngwọta na-enweghị koodu. Na isi ha, ihe ndị a bụ ihe dị iche iche. Koodu dị ala na-enye onye nrụpụta ohere itinye aka karịa na koodu emepụtara. N'ihe banyere Datagram, ọ ga-ekwe omume ịlele na dezie koodu Scala emepụtara; enweghị koodu nwere ike ọ gaghị enye ohere dị otú ahụ. Ọdịiche a dị oke mkpa ọ bụghị naanị na mgbanwe mgbanwe nke ngwọta, kamakwa n'ihe gbasara nkasi obi na mkpali na ọrụ nke ndị injinia data.

Ngwọta ije

Ka anyị gbalịa chọpụta kpọmkwem ka ngwá ọrụ dị ala na-enyere aka dozie nsogbu nke ịkwalite ọsọ ọsọ nke ịmepụta ọrụ mgbako data. Nke mbụ, ka anyị leba anya na ihe owuwu na-arụ ọrụ nke usoro ahụ. Otu ihe atụ na nke a bụ ụdị mmepụta data maka nchọpụta mgbasa ozi.

Ebe data dị n'ọnọdụ anyị dị nnọọ iche ma dị iche iche:

Mita ndị mmadụ (mita TV) bụ sọftụwia na ngwa ngwa na-agụ omume onye ọrụ sitere na ndị na-aza ihe onyonyo TV - onye, mgbe na ihe ọwa TV a na-ekiri na ezinụlọ na-esonye na ọmụmụ ihe. Ozi ewepụtara bụ iyi nke oge nlele mgbasa ozi jikọtara na ngwugwu mgbasa ozi na ngwaahịa mgbasa ozi. Enwere ike iji njirimara igwe mmadụ, geostratification, mpaghara oge na ozi ndị ọzọ dị mkpa maka nyochaa nlele telivishọn nke otu ngwaahịa mgbasa ozi wee mee ka data dị na ọkwa ntinye n'ime ọdọ data. Enwere ike iji nha ndị a na-eme nyocha ma ọ bụ hazie mgbasa ozi mgbasa ozi, nyochaa ọrụ na mmasị nke ndị na-ege ntị, na ikpokọta netwọk mgbasa ozi;
Ihe omuma a nwere ike site na nlekota oru nlekota oru maka mgbasa ozi telivishọn na ịlele ikiri ihe omuma vidiyo na Intanet;
Ngwá ọrụ na-atụ ihe na gburugburu ebe nrụọrụ weebụ, gụnyere ma saịtị-centric na onye ọrụ-centric mita. Onye na-eweta data maka ọdọ mmiri Data nwere ike ịbụ mgbakwunye ihe nchọgharị mmanya na ngwa mkpanaka nwere VPN arụnyere n'ime ya.
Data nwekwara ike ịpụta site na saịtị ndị na-eme ka nsonaazụ nke njuputa ajụjụ ntanetị na nsonaazụ nke ajụjụ ọnụ ekwentị na nyocha ụlọ ọrụ;
Mgbakwunye ọdọ mmiri data nwere ike ime site na nbudata ozi sitere na ndekọ nke ụlọ ọrụ mmekọ.

Enwere ike ịhazi mmejuputa nke dị ka a na-ebufe site na isi mmalite n'ime usoro izizi nke data raw n'ụzọ dị iche iche. Ọ bụrụ na ejiri koodu dị ala mee ihe maka ebumnuche ndị a, ọ ga-ekwe omume ọgbọ nbudata nke scripts dabere na metadata. N'okwu a, ọ dịghị mkpa ịgbada n'ogo nke isi mmalite na-emepe emepe iji lekwasịrị anya nkewa. Iji mejuputa ntinye akpaaka, anyị kwesịrị ịmepụta njikọ na isi iyi, wee kọwaa na ntinye ntinye ndepụta nke ụlọ ọrụ a ga-ebu. A ga-emepụta usoro ndekọ aha na HDFS na-akpaghị aka ma ga-adaba na nhazi nchekwa data na usoro isi mmalite.

Otú ọ dị, n'ihe gbasara ọrụ a, anyị kpebiri na anyị agaghị eji njirimara a nke ikpo okwu dị ala n'ihi na ụlọ ọrụ Mediascope amalitelarị onwe ya na-arụ ọrụ n'ịmepụta ọrụ yiri nke ahụ site na iji Nifi + Kafka Nchikota.

Ọ bara uru na-egosi ozugbo na ngwaọrụ ndị a adịghị agbanwe agbanwe, kama ọ bụ ihe nkwado. Nifi na Kafka nwere ike ịrụ ọrụ ma ozugbo (Nifi -> Kafka) yana njikọ (Kafka -> Nifi). Maka usoro nyocha mgbasa ozi, ejiri ụdị mbụ nke ngwugwu ahụ mee ihe.

N'ọnọdụ anyị, NayFi chọrọ ịhazi ụdị data dị iche iche sitere na sistemụ isi iyi wee ziga ya na onye na-ere ahịa Kafka. N'okwu a, ezigara ozi na otu isiokwu Kafka site na iji PublishKafka Nifi processors. A na-eme nhazi na nhazi nke pipeline ndị a na ntanetị anya. Ngwá ọrụ Nifi na ojiji nke Nifi + Kafka Nchikota nwekwara ike ịkpọ ụzọ dị ala maka mmepe, nke nwere ihe mgbochi dị ala nke ịbanye na teknụzụ Big Data ma mee ka usoro mmepe ngwa ngwa ngwa ngwa.

Nzọụkwụ ọzọ na mmejuputa oru ngo a bụ iweta data zuru ezu na otu usoro oyi akwa semantic. Ọ bụrụ na ụlọ ọrụ nwere njirimara akụkọ ihe mere eme, a na-eme ngụkọta oge na ọnọdụ nke nkebi a na-ajụ. Ọ bụrụ na ụlọ ọrụ ahụ abụghị akụkọ ihe mere eme, mgbe ahụ ọ ga-ekwe omume ma ọ bụ gbanwee ọdịnaya niile nke ihe ahụ, ma ọ bụ jụ kpamkpam ịmegharị ihe a (n'ihi enweghị mgbanwe). N'oge a, a na-emepụta igodo maka ụlọ ọrụ niile. A na-echekwa igodo ndị ahụ na akwụkwọ ndekọ aha Hbase kwekọrọ na ihe ndị nna ukwu, nke nwere akwụkwọ ozi n'etiti igodo dị na ikpo okwu nyocha yana igodo si na isi mmalite. Mmekọ nke ụlọ ọrụ atọm na-esonye na nkwalite yana nsonaazụ nke mgbako mbido nke data nyocha. Usoro maka mgbako data bụ Spark. Arụkwa ọrụ akọwara maka iweta data na otu semantics dabere na eserese site na ngwa Datagram dị ala.

Nrụpụta ebumnuche chọrọ ohere SQL nweta data maka ndị ọrụ azụmaahịa. A na-eji ekwo Ekwo mee ihe maka nhọrọ a. A na-edebanye aha ihe na Hive na-akpaghị aka mgbe ị na-eme ka nhọrọ "Ndebanye aha Hive Tebụl" na ngwá ọrụ dị ala.

Njikwa mgbako mgbako

Datagram nwere interface maka ịmepụta usoro ịgbasa ọrụ. Enwere ike ịmalite nkewa site na iji usoro Oozie. N'ime ihe nrụpụta iyi, ọ ga-ekwe omume ịmepụta atụmatụ maka ngbanwe data n'otu oge, usoro, ma ọ bụ mmezu dabere. Enwere nkwado maka scripts shei na mmemme java. Ọ dịkwa ike iji sava Apache Livy. A na-eji Apache Livy mee ngwa ozugbo site na gburugburu mmepe.

Ọ bụrụ na ụlọ ọrụ ahụ enweelarị onye nhazi usoro nke ya, ọ ga-ekwe omume iji REST API tinye mappings n'ime usoro dị adị. Dịka ọmụmaatụ, anyị nwere ahụmihe na-aga nke ọma nke itinye eserese na Scala n'ime ndị egwu egwu e dere na PLSQL na Kotlin. API REST nke ngwá ọrụ dị ala na-agụnye arụmọrụ dị ka ịmepụta afọ a ga-arụ ọrụ na-adabere na nhazi nkewa, na-akpọ nkewa, na-akpọ usoro nke mappings, na, n'ezie, na-agafe paramita na URL iji mee nkewa.

Tinyere Oozie, ọ ga-ekwe omume ịhazi usoro mgbako site na iji Airflow. Ikekwe, agaghị m ebi ogologo oge na ntụnyere dị n'etiti Oozie na Airflow, ma ga-ekwu nanị na n'ihe gbasara ọrụ na ọrụ nyocha mgbasa ozi, nhọrọ ahụ dabara na Airflow. Esemokwu bụ isi n'oge a bụ obodo na-arụsi ọrụ ike na-emepụta ngwaahịa a yana interface + API mepere emepe.

Ikuku ikuku dịkwa mma n'ihi na ọ na-eji Python ọ hụrụ n'anya kọwaa usoro ngụkọ. Na n'ozuzu, enweghị ọtụtụ oghere njikwa usoro njikwa ọrụ. Ịmalite na nyochaa mmezu nke usoro (gụnyere eserese Gantt) na-agbakwụnye naanị ihe na karma Airflow.

Ọkpụkpọ faịlụ nhazi maka ịmalite nkewa ihe ngwọta dị ala aghọọla ihe na-enyefe ọkụ. Nke a mere n'ihi ihe abụọ. Nke mbụ, spark-submit na-enye gị ohere ịme faịlụ jar ozugbo site na njikwa. Nke abụọ, ọ nwere ike ịnwe ozi niile dị mkpa iji hazie usoro ọrụ (nke na-eme ka ọ dị mfe ide edemede na-emepụta Dag).
Ihe na-emekarị nke usoro ọrụ ikuku ikuku n'ọnọdụ anyị bụ SparkSubmitOperator.

SparkSubmitOperator na-enye gị ohere ịme ite - maapụ datagram ngwugwu nwere oke ntinye ewepụtara maka ha.

Ọ dị mma ịkọwa na ọrụ Airflow ọ bụla na-agba ọsọ na eriri dị iche na ọ maghị ihe ọ bụla gbasara ọrụ ndị ọzọ. Ya mere, a na-eme mmekọrịta n'etiti ọrụ site na iji ndị na-ahụ maka njikwa, dị ka DummyOperator ma ọ bụ BranchPythonOperator.

Ejikọtara ọnụ, iji Datagram ihe ngwọta dị ala na-ejikọta ya na nhazi nke faịlụ nhazi (ịmepụta Dag) mere ka ọganihu dị ịrịba ama na ime ka usoro nke ịmepụta data ntinye data.

Mgbakọ ngosi

Ikekwe nke kacha nwee ọgụgụ isi n'imepụta data nyocha bụ nzọụkwụ nke ịmepụta ihe ngosi. N'ihe gbasara otu n'ime nchịkọta data nke ụlọ ọrụ nyocha na-agba ọsọ, n'oge a, a na-ebelata data ahụ na mgbasa ozi ntụaka, na-eburu n'uche mmezi maka mpaghara oge ma jikọta ya na netwọk mgbasa ozi. Ọ ga-ekwe omume ịhazigharị maka netwọk mgbasa ozi mpaghara (akụkọ mpaghara na mgbasa ozi). Tinyere ihe ndị ọzọ, nzọụkwụ a na-akụda oge na-aga n'ihu na-ekiri ngwaahịa mgbasa ozi dabere na nyocha nke oge nlele. Ngwa ngwa, ụkpụrụ ikiri bụ "dị arọ" dabere na ozi gbasara mkpa ha (ngụkọta ihe mgbazi).

Nzọụkwụ dị iche n'ịkwado ihe ngosi bụ nkwado data. Ngosipụta algọridim gụnyere iji ọtụtụ ụdị sayensị mgbakọ na mwepụ. Otú ọ dị, iji usoro ikpo okwu dị ala na-enye gị ohere imebi algọridim dị mgbagwoju anya n'ime ọnụ ọgụgụ nke eserese dị iche iche a na-ahụ anya. Nke ọ bụla n'ime nkewa ahụ na-arụ ọrụ dị warara. N'ihi ya, nbibi nke etiti, ịdebanye aha na ịhụ anya nke usoro nkwadebe data ga-ekwe omume.

Ekpebiri imebi algọridim nkwado n'ime ọkwa ndị a:

Iwuli regressions nke TV netwọk ikiri dabere na mpaghara na-ekiri niile netwọk na mpaghara maka 60 ụbọchị.
Ngụkọta ihe fọdụrụ nke ụmụ akwụkwọ (mgbanwe nke ụkpụrụ n'ezie sitere na ndị amụma regression na-ebu amụma) maka isi ihe nkwụghachi azụ yana maka ụbọchị gbakọrọ.
Nhọrọ nke mpaghara-netwọk ụzọ anomalous, ebe nguzozi nke ụmụ akwụkwọ nke ụbọchị mmezi karịrị ụkpụrụ (kpọpụtara site na ntọala ọrụ).
Mweghachi nke ihe fọdụrụ nke ụmụ akwụkwọ agbaziri maka mpaghara anomalous-TV netwọk ụzọ abụọ maka onye ọ bụla na-aza ajụjụ nke na-ele netwọk na mpaghara, na-ekpebi onyinye nke onye zara ajụjụ a (ọnụego mgbanwe nke ụmụ akwụkwọ fọdụrụnụ) mgbe ewezuga ikiri nke onye zara ajụjụ a na nlele. .
Chọọ ndị chọrọ ntuli aka bụ ndị mwepu ha na-eweta nguzozi agụmagụ nke ụbọchị ịkwụ ụgwọ azụ na nke nkịtị.

Ihe atụ dị n'elu na-akwado echiche ahụ na onye injinia data enweelarị ihe dị ukwuu n'uche ya ... Ma, ọ bụrụ na nke a bụ n'ezie "engineer" ma ọ bụghị "coder," mgbe ahụ egwu nke mmebi ọrụ ọkachamara mgbe ọ na-eji ngwá ọrụ dị ala. ga-emecha laghachi azụ.

Kedu ihe ọzọ obere koodu nwere ike ime?

Oke ngwa nke ngwa koodu dị ala maka batch na nhazi data na-enweghị mkpa iji aka dee koodu na Scala anaghị akwụsị ebe ahụ.

Ojiji nke obere koodu na mmepe nke datalake aghọworị ọkọlọtọ maka anyị. Anyị nwere ike ịsị na ngwọta dabere na nchịkọta Hadoop na-agbaso ụzọ mmepe nke DWHs kpochapụwo dabere na RDBMS. Ngwa koodu dị ala na nchịkọta Hadoop nwere ike dozie ma ọrụ nhazi data yana ọrụ nke iwulite ihu BI ikpeazụ. Ọzọkwa, ekwesịrị ịmara na BI nwere ike ịpụta ọ bụghị naanị nnọchite data, kamakwa ndị ọrụ azụmaahịa na-edezi ha. Anyị na-ejikarị arụ ọrụ a mgbe anyị na-ewu usoro nyocha maka ngalaba ego.

Tinyere ihe ndị ọzọ, iji obere koodu na, karịsịa, Datagram, ọ ga-ekwe omume dozie nsogbu nke nsuso mmalite nke data iyi ihe na atomity gbadara n'otu n'otu ubi (usoro ọmụmụ). Iji mee nke a, ngwá ọrụ dị ala na-arụ ọrụ interface na Apache Atlas na Cloudera Navigator. N'ụzọ bụ isi, onye nrụpụta kwesịrị ịdebanye aha otu ihe n'ime akwụkwọ ọkọwa okwu Atlas wee rụtụ aka n'ihe ndị edebanyere aha mgbe ha na-arụ eserese. Usoro maka nyochaa mmalite data ma ọ bụ nyochaa ihe ndabere ihe na-echekwa oge dị ukwuu mgbe ọ dị mkpa iji mee ka ọ dịkwuo mma na algọridim mgbako. Dịka ọmụmaatụ, mgbe ị na-akwado nkwupụta ego, njirimara a na-enye gị ohere ịlanarị oge mgbanwe ndị omebe iwu. A sị ka e kwuwe, ka anyị na-aghọtakwu ịdabere n'etiti ụdị n'ime ihe ndị dị na oyi akwa zuru ezu, obere anyị ga-ezute ntụpọ "na mberede" ma belata ọnụ ọgụgụ nke reworks.

Ogo data & obere koodu

Ọrụ ọzọ nke ngwa koodu dị ala mebere na ọrụ Mediascope bụ ọrụ klas Ogo Data. Akụkụ nke mmejuputa pipeline nkwenye data maka ọrụ ụlọ ọrụ nyocha bụ enweghị mmetụta na arụmọrụ na ọsọ nke isi nchịkọta data. Iji nwee ike ịhazi usoro nkwenye data nọọrọ onwe ya, a na-eji Apache Airflow ama ama. Ka usoro mmepụta data ọ bụla dị njikere, a malitere akụkụ dị iche nke pipeline DQ n'otu n'otu.

A na-ewere ya dị ka omume dị mma iji nyochaa ogo nke data site na oge mmalite ya na ikpo okwu nyocha. N'inwe ozi gbasara metadata, anyị nwere ike ịlele nnabata na ọnọdụ ndị bụ isi site na mgbe ozi ahụ banyere oyi akwa - ọ bụghị efu, mgbochi, igodo mba ọzọ. A na-emejuputa atumatu a dabere na eserese eserese nke ezinaụlọ dị na data emepụtapụtara na-akpaghị aka. Ọgbọ koodu na nke a daberekwa na metadata ụdị. Na ọrụ Mediascope, e jiri metadata nke ngwaahịa Enterprise Architect rụọ interface ahụ.

Site na ijikọ ngwa koodu dị ala na Enterprise Architect, ewepụtara nlele ndị a na-akpaghị aka:

Nyochaa maka ọnụnọ nke ụkpụrụ "efu" n'ọhịa na "abụghị efu" modifier;
Nyochaa ọnụnọ nke oyiri nke igodo isi;
Nyochaa igodo mba ọzọ nke ụlọ ọrụ;
Na-enyocha ihe pụrụ iche nke eriri dabere na otu mpaghara.

Maka nyocha dị mgbagwoju anya nke nnweta data na ntụkwasị obi, ejiri Scala Expression mepụta eserese eserese, nke na-ewere dị ka ntinye koodu nlele Spark SQL nke mpụga nke ndị nyocha na Zeppelin kwadebere.

N'ezie, a ga-eji nwayọọ nwayọọ nweta mkpụrụ ego akpaaka. N'ime usoro nke ọrụ akọwara, usoro ndị a bu ụzọ were ụzọ:

DQ etinyere na akwụkwọ ndetu Zeppelin;
DQ wuru na nkewa;
DQ n'ụdị nnukwu eserese eserese dị iche iche nwere usoro nlele niile maka ụlọ ọrụ dị iche;
Maapụ DQ zuru ụwa ọnụ nke na-anabata ozi gbasara metadata na nlele azụmaahịa dị ka ntinye.

Ikekwe isi uru nke ịmepụta ọrụ nlele parameterized bụ mbelata na oge ọ na-ewe iji nyefee ọrụ na gburugburu mmepụta ihe. Nlebanya mma ọhụrụ nwere ike ịgafe usoro izizi nke ịnye koodu na-apụtaghị ìhè site na mmepe na gburugburu nnwale:

A na-emepụta nlele metadata niile na-akpaghị aka mgbe emezigharịrị ihe nlereanya na EA;
Enwere ike ịme nlele nnweta data (ịchọpụta ọnụnọ nke data ọ bụla n'otu oge) dabere na ndekọ nke na-echekwa oge a na-atụ anya ka ọ pụta ìhè nke mpempe data na-esote n'ọnọdụ ihe;
Ndị nyocha na-emepụta nlele nkwado data azụmahịa na akwụkwọ ndetu Zeppelin. Site n'ebe ahụ, a na-ezigara ha ozugbo na tebụl ntọlite modul DQ na gburugburu mmepụta.

Enweghị ihe egwu dị na mbupu edemede ozugbo na mmepụta. Ọbụlagodi na njehie syntax, kacha nke na-eyi anyị egwu bụ ịghara ịme otu nlele, n'ihi na mgbako mgbako data na ntinye mmalite nlele dị mma na-ekewapụ onwe ha.

N'ezie, ọrụ DQ na-arụ ọrụ na-adịgide adịgide na gburugburu ebe a na-emepụta ma dị njikere ịmalite ọrụ ya ozugbo mpempe data na-esote ga-apụta.

Kama nkwubi okwu

Uru nke iji koodu dị ala doro anya. Ndị nrụpụta adịghị mkpa ịzụlite ngwa site na ọkọ. Na programmer tọhapụrụ na ndị ọzọ ọrụ na-arụpụta ngwa ngwa. Ọsọ, n'aka nke ya, na-ewepụta oge ọzọ maka idozi nsogbu kachasị mma. Ya mere, na nke a, ị nwere ike ịtụkwasị obi na ngwọta dị mma na ngwa ngwa.

N'ezie, obere koodu abụghị panacea, anwansi agaghị eme n'onwe ya:

Ụlọ ọrụ ndị dị ala na-aga n'ihu na "na-esiwanye ike", na enweghị ụkpụrụ ụlọ ọrụ mmepụta ihe edo edo;
Ọtụtụ ngwọta koodu dị ala abụghị n'efu, na ịzụrụ ha kwesịrị ịbụ nzọụkwụ dị nro, nke kwesịrị iji obi ike zuru oke na uru ego nke iji ha mee ihe;
Ọtụtụ ngwọta koodu dị ala anaghị arụ ọrụ mgbe niile na GIT/SVN. Ma ọ bụ na ha adịghị mfe iji ma ọ bụrụ na ezoro ezo koodu emepụtara;
Mgbe ị na-agbasawanye ihe owuwu ahụ, ọ nwere ike ịdị mkpa iji nụchaa ngwọta koodu dị ala - nke, n'aka nke ya, na-akpalite mmetụta nke "mgbakwunye na ịdabere" na ndị na-eweta ihe ngwọta dị ala.
Ọkwa nchekwa zuru oke ga-ekwe omume, mana ọ na-arụsi ọrụ ike ma sie ike itinye n'ọrụ n'ime igwe sistemụ obere koodu. Ekwesịrị ịhọrọ nyiwe koodu dị ala ọ bụghị naanị na ụkpụrụ nke ịchọ uru site na iji ha. Mgbe ị na-ahọrọ, ọ bara uru ịjụ ajụjụ gbasara ịdị adị nke ọrụ maka njikwa ohere na ndị nnọchiteanya / mmụba nke data njirimara ruo n'ọkwa nke mpaghara IT dum nke nzukọ ahụ.

Otú ọ dị, ọ bụrụ na ị maara adịghị ike niile nke usoro a họọrọ, na uru sitere na iji ya, ka o sina dị, dị n'ọtụtụ kachasị, wee gaa n'ihu na obere koodu n'atụghị egwu. Ọzọkwa, mgbanwe na ya bụ ihe a na-apụghị izere ezere - dịka evolushọn ọ bụla bụ ihe a na-apụghị izere ezere.

Ọ bụrụ na otu onye nrụpụta n'elu ikpo okwu dị ala na-arụ ọrụ ya ngwa ngwa karịa ndị mmepe abụọ na-enweghị koodu dị ala, mgbe ahụ nke a na-enye ụlọ ọrụ ahụ isi mmalite n'akụkụ niile. Ọnụ ụzọ maka ịbanye na ngwọta koodu dị ala dị ala karịa na teknụzụ "omenala", nke a na-enwe mmetụta dị mma n'okwu banyere ụkọ ndị ọrụ. Mgbe ị na-eji ngwá ọrụ dị ala, ọ ga-ekwe omume ime ka mmekọrịta dị n'etiti otu ndị na-arụ ọrụ na-eme ngwa ngwa ma mee mkpebi ngwa ngwa banyere izi ezi nke ụzọ a họọrọ nke nchọpụta sayensị data. Igwe ikpo okwu dị ala nwere ike ịkpali mgbanwe dijitalụ nke otu nzukọ n'ihi na ndị ọkachamara na-abụghị teknụzụ nwere ike ịghọta ihe ngwọta emepụtara (karịsịa ndị ọrụ azụmaahịa).

Ọ bụrụ na ị nwere oge ngwụcha, mgbagha azụmaahịa juru eju, enweghị nka nka na nka, yana ịkwesịrị ime ka oge gị dị ngwa n'ahịa, mgbe ahụ obere koodu bụ otu ụzọ iji gboo mkpa gị.

Ọ dịghị agọnahụ mkpa nke ngwá ọrụ mmepe omenala, ma n'ọtụtụ ọnọdụ, iji ngwọta koodu dị ala bụ ụzọ kachasị mma iji mee ka arụmọrụ nke ọrụ ndị a na-edozi.

isi: www.habr.com

Ngwa nke obere koodu na nyiwe nyocha