N'ime ihe dị ka ọnwa isii gara aga, anọ m na-eke usoro iji lụso aghụghọ ọgụ (ọrụ aghụghọ, aghụghọ, wdg) na-enweghị akụrụngwa mbụ maka nke a. Echiche nke taa nke anyị chọtara ma tinye n'ọrụ na sistemụ anyị na-enyere anyị aka ịchọpụta na nyochaa ọtụtụ ọrụ aghụghọ. N'isiokwu a, ọ ga-amasị m ikwu banyere ụkpụrụ ndị anyị na-agbaso na ihe anyị mere iji nweta ọnọdụ nke usoro anyị ugbu a, na-abanyeghị na akụkụ teknụzụ.
Ụkpụrụ nke usoro anyị
Mgbe ị nụrụ okwu dị ka "akpaaka" na "aghụghọ," ị nwere ike ịmalite iche echiche maka mmụta igwe, Apache Spark, Hadoop, Python, Airflow, na teknụzụ ndị ọzọ sitere na gburugburu Apache Foundation na ubi Data Science. Echere m na e nwere otu akụkụ nke iji ngwaọrụ ndị a na-anaghị ekwukarị: ha chọrọ ụfọdụ ihe achọrọ na sistemụ ụlọ ọrụ gị tupu ịmalite iji ha. Na nkenke, ịchọrọ ikpo okwu data ụlọ ọrụ nke gụnyere ọdọ data na ụlọ nkwakọba ihe. Ma gịnị ma ọ bụrụ na ịnweghị ikpo okwu dị otú ahụ ma ka chọrọ ịzụlite omume a? Ụkpụrụ ndị a nke m na-ekerịta n'okpuru enyerela anyị aka iru ebe anyị nwere ike ilekwasị anya na imeziwanye echiche anyị karịa ịchọta nke na-arụ ọrụ. Agbanyeghị, nke a abụghị ala dị larịị. A ka nwere ọtụtụ ihe dị na atụmatụ site na teknụzụ na echiche ngwaahịa.
Ụkpụrụ 1: Uru Azụmahịa Mbụ
Anyị na-etinye "ọnụahịa azụmahịa" na ụzọ mbụ nke mbọ anyị niile. N'ozuzu, usoro nyocha ọ bụla na-akpaghị aka bụ nke otu usoro mgbagwoju anya nke nwere ọkwa dị elu nke akpaaka na mgbagwoju anya. Ịmepụta ngwọta zuru oke ga-ewe oge dị ukwuu ma ọ bụrụ na ị na-emepụta ya site na ọkọ. Anyị kpebiri itinye uru azụmaahịa mbụ na teknụzụ zuru oke nke abụọ. Na ndụ n'ezie, nke a pụtara na anyị anaghị anabata teknụzụ dị elu dị ka ozizi. Anyị na-ahọrọ teknụzụ na-arụ ọrụ kacha mma maka anyị ugbu a. Ka oge na-aga, ọ nwere ike ịdị ka anyị ga-emerịrị ụfọdụ modulu. Nke a bụ nkwekọrịta anyị nabatara.
Ụkpụrụ 2: Ọgụgụ isi abawanyela
M nzọ ọtụtụ ndị na-adịghị etinye aka miri emi n'imepee igwe mmụta ngwọta nwere ike na-eche na dochie mmadụ bụ ihe mgbaru ọsọ. N'ezie, ngwọta mmụta igwe adịghị mma na naanị na mpaghara ụfọdụ ka enwere ike dochie anya. Anyị jụrụ echiche a site na mmalite n'ihi ọtụtụ ihe kpatara: data na-ezighi ezi na ọrụ aghụghọ yana enweghị ike ịnye ndepụta njirimara zuru oke maka ụdị mmụta igwe. N'ụzọ dị iche, anyị họọrọ nhọrọ ọgụgụ isi emelitere. Nke a bụ echiche ọzọ nke ọgụgụ isi nke na-elekwasị anya na ọrụ nkwado nke AI, na-emesi eziokwu ahụ ike na nkà na ụzụ na-eche echiche bụ iji kwalite ọgụgụ isi mmadụ kama dochie ya. [1]
Nyere nke a, ịmepụta usoro mmụta igwe zuru oke site na mmalite ga-achọ nnukwu mgbalị, nke ga-egbu oge ịmepụta uru maka azụmahịa anyị. Anyị kpebiri wuo usoro nwere akụkụ mmụta igwe na-eto eto ugboro ugboro n'okpuru nduzi nke ndị ọkachamara ngalaba anyị. Akụkụ siri ike nke ịmepụta usoro dị otú ahụ bụ na ọ ga-enye ndị nyocha anyị okwu ikpe ọ bụghị naanị na ọ bụ ọrụ aghụghọ ma ọ bụ na ọ bụghị. N'ozuzu, ihe ọ bụla anomaly na ahịa omume bụ a na-enyo enyo na ndị ọkachamara kwesịrị inyocha na zaghachi n'ụzọ ụfọdụ. Naanị akụkụ ole na ole n'ime okwu ikpe ndị a nwere ike ịkewa n'ezie dị ka aghụghọ.
Ụkpụrụ 3: Platform nyocha bara ọgaranya
Akụkụ kacha sie ike na sistemụ anyị bụ nkwenye nke njedebe na njedebe nke usoro ọrụ sistemụ. Ndị nyocha na ndị mmepe kwesịrị ịnweta usoro data akụkọ ihe mere eme ngwa ngwa yana metrik niile ejiri mee nyocha. Na mgbakwunye, ikpo okwu data kwesịrị inye ụzọ dị mfe iji mejupụta usoro metrik dị adị na nke ọhụrụ. Usoro anyị na-emepụta, na ndị a abụghị naanị usoro ngwanrọ, kwesịrị ikwe ka anyị nwee ike ịtụgharị oge gara aga ngwa ngwa, tinye metrics ọhụrụ ma gbanwee amụma data. Anyị nwere ike nweta nke a site n'ịchịkọta data niile nke usoro mmepụta anyị na-ewepụta. N'okwu a, data ahụ ga-eji nwayọọ nwayọọ ghọọ nsogbu. Ọ ga-adị anyị mkpa ịchekwa data na-eto eto nke anyị anaghị eji wee chebe ya. N'ọnọdụ dị otú ahụ, data ga-aghọwanye ihe na-adịghị mkpa ka oge na-aga, ma ka na-achọ mgbalị anyị iji jikwaa ya. Maka anyị, nchekwa data enweghị isi, yabụ anyị kpebiri iwere ụzọ dị iche. Anyị kpebiri ịhazi ụlọ ahịa data ozugbo gburugburu ụlọ ọrụ ebumnuche anyị chọrọ ikewa, wee chekwaa naanị data nke na-enye anyị ohere ịlele oge kacha ọhụrụ na mkpa. Ihe ịma aka na mbọ a bụ na usoro anyị dị iche iche, yana ọtụtụ ụlọ ahịa data na modul sọftụwia chọrọ nhazi nke ọma iji rụọ ọrụ n'usoro.
Chepụta echiche nke usoro anyị
Anyị nwere akụkụ anọ bụ isi na sistemụ anyị: sistemu ingestion, computational, BI analysis and tracking system. Ha na-eje ozi a kapịrị ọnụ, ebumnuche ndị dịpụrụ adịpụ, anyị na-edobekwa ha iche site n'ịgbaso usoro nhazi akọwapụtara.
Nhazi dabere na nkwekọrịta
Nke mbụ, anyị kwenyere na akụrụngwa kwesịrị ịdabere naanị na ụfọdụ usoro data (nkwekọrịta) na-agafe n'etiti ha. Nke a na-eme ka ọ dị mfe ijikọta n'etiti ha ma ghara itinye otu ihe mejupụtara (na usoro) nke components. Dịka ọmụmaatụ, n'ọnọdụ ụfọdụ, nke a na-enye anyị ohere ijikọ usoro oriri ozugbo na usoro nsochi anya. N'ọnọdụ dị otú a, a ga-eme nke a dịka nkwekọrịta njikere ekwenyero. Nke a pụtara na a ga-ejikọta akụkụ abụọ ahụ site na iji nkwekọrịta nke akụkụ ọ bụla ọzọ nwere ike iji. Anyị agaghị agbakwunye nkwekọrịta ọzọ iji gbakwunye ọkwa na usoro nsochi site na usoro ntinye. Ụzọ a chọrọ iji ọnụ ọgụgụ kacha nta nke nkwekọrịta ekpebiela ma mee ka usoro na nkwukọrịta dị mfe. N'ikpeazụ, anyị na-eme usoro a na-akpọ "Contract First Design" ma tinye ya na nkwekọrịta mgbasa ozi. [2]
Gụgharia ebe niile
Ịchekwa na ijikwa steeti n'ime usoro ga-ebute nsogbu na mmejuputa ya. N'ozuzu, steeti kwesịrị ịnweta site na mpaghara ọ bụla, ọ kwesịrị ịdị na-agbanwe agbanwe ma na-enye uru kachasị ugbu a n'ofe ihe niile, na ọ ga-abụ nke a pụrụ ịdabere na ya na ụkpụrụ ziri ezi. Na mgbakwunye, ịnwe oku na nchekwa na-adịgide adịgide iji weghachite steeti kachasị ọhụrụ ga-abawanye ọnụ ọgụgụ ọrụ I/O yana mgbagwoju anya nke algọridim ejiri na pipeline anyị dị adị. N'ihi nke a, anyị kpebiri iwepụ nchekwa steeti, ọ bụrụ na ọ ga-ekwe omume, kpamkpam na sistemụ anyị. Usoro a chọrọ ka etinye data niile dị mkpa na ngọngọ data ebufere (ozi). Dịka ọmụmaatụ, ọ bụrụ na anyị kwesịrị ịgbakọ ọnụ ọgụgụ nke ụfọdụ nlele (ọnụọgụ ọrụ ma ọ bụ ikpe nwere ụfọdụ njirimara), anyị na-agbakọ ya na ebe nchekwa ma mepụta iyi nke ụkpụrụ dị otú ahụ. Modul dabere ga-eji nkebi na batching kewaa iyi ahụ n'ime ụlọ ọrụ ma rụọ ọrụ na ụkpụrụ kachasị ọhụrụ. Usoro a wepụrụ mkpa ịnweta nchekwa diski na-adịgide adịgide maka data dị otú ahụ. Usoro anyị na-eji Kafka dị ka onye na-ere ahịa ozi yana enwere ike iji ya dị ka nchekwa data na KSQL. [3] Ma iji ya mee ihe gaara ekekọta ngwọta anyị na Kafka, anyị kpebiri na anyị agaghị eji ya. Ụzọ anyị họọrọ na-enye anyị ohere iji dochie Kafka na onye na-ere ahịa ozi ọzọ na-enweghị nnukwu mgbanwe n'ime ime na usoro.
Echiche a apụtaghị na anyị anaghị eji nchekwa diski na ọdụ data. Iji nwalee na nyochaa arụmọrụ sistemụ, anyị kwesịrị ịchekwa nnukwu data na diski nke na-anọchite anya metrik na steeti dị iche iche. Ihe dị mkpa ebe a bụ na ezigbo oge algọridim anaghị adabere na data dị otú ahụ. N'ọtụtụ oge, anyị na-eji data echekwara maka nyocha na ntanetị, nbipu na nsochi nke ụfọdụ ikpe yana nsonaazụ nke sistemụ na-arụpụta.
Nsogbu nke sistemu anyị
Enwere ụfọdụ nsogbu ndị anyị edoziworo ruo n'ọkwa ụfọdụ, mana ha chọrọ ngwọta ndị nwere nchebara echiche karị. Ugbu a ọ ga-amasị m ịkpọ ha ebe a n'ihi na isi ihe ọ bụla bara uru akụkọ nke ya.
- Anyị ka kwesịrị ịkọwapụta usoro na atumatu ndị na-akwado nchịkọta data bara uru yana mkpa maka nyocha, nchọpụta na nyocha data akpaaka anyị.
- Ntinye nyocha nke mmadụ na-ebute usoro nke ịtọlite usoro na-akpaghị aka iji melite data kachasị ọhụrụ. Nke a abụghị naanị imelite ihe nlereanya anyị, kamakwa imelite usoro anyị yana imeziwanye nghọta anyị banyere data anyị.
- Ịchọta nguzozi n'etiti ụzọ deterministic nke IF-ELSE na ML. Otu onye kwuru, "ML bụ ngwá ọrụ maka ndị nwere nkụda mmụọ." Nke a pụtara na ị ga-achọ iji ML mgbe ị na-aghọtaghị ka esi ebuli na melite algọridim gị. N'aka nke ọzọ, ụzọ deterministic adịghị ekwe ka nchọpụta nke anomalies na-atụghị anya ya.
- Anyị chọrọ ụzọ dị mfe iji nwalee echiche anyị ma ọ bụ njikọ dị n'etiti metrik dị na data ahụ.
- Usoro ahụ ga-enwerịrị ọkwa dị iche iche nke ezigbo nsonaazụ. Ikpe aghụghọ bụ naanị obere akụkụ nke ikpe niile enwere ike iwere dị mma maka sistemụ ahụ. Dịka ọmụmaatụ, ndị nyocha chọrọ ịnata ikpe niile na-enyo enyo maka nkwenye, na naanị obere akụkụ n'ime ha bụ aghụghọ. Usoro a ga-emerịrị nke ọma na-ewetara ndị nyocha okwu niile, n'agbanyeghị ma ọ bụ aghụghọ n'ezie ma ọ bụ naanị omume enyo.
- Ikpo okwu data kwesịrị inwe ike iweghachite ihe ndekọ data akụkọ ihe mere eme na mgbako ewepụtara na gbakọọ na ofufe.
- Ngwa ngwa na na-akpaghị aka na-ebuga ihe ọ bụla n'ime sistemụ ahụ na opekata mpe gburugburu atọ dị iche iche: mmepụta, nnwale (beta) yana maka ndị mmepe.
- Ma ikpeazụ ma ọ dịghị ihe ọzọ. Anyị kwesịrị iwulite usoro nnwale arụmọrụ bara ụba nke anyị nwere ike nyochaa ụdị anyị. [4]
zoro
isi: www.habr.com