Nke a bụ akụkụ nke abụọ nke usoro isiokwu gbasara usoro nyocha (.).
Taa, enwekwaghị obi abụọ ọ bụla na nlezianya nhazi data na nkọwa nke nsonaazụ nwere ike inyere aka fọrọ nke nta ka ọ bụrụ ụdị azụmahịa ọ bụla. N'akụkụ a, usoro nyocha na-ebuwanye ibu na paramita, na ọnụ ọgụgụ nke ndị na-akpali akpali na ihe omume ndị ọrụ na ngwa na-eto eto.
N'ihi nke a, ụlọ ọrụ na-enye ndị na-enyocha ha ihe ọmụma dị ukwuu iji nyochaa ma ghọọ mkpebi dị mma. Mkpa nke usoro nyocha maka ụlọ ọrụ ekwesịghị ileda anya, na usoro ahụ n'onwe ya ga-abụrịrị ntụkwasị obi ma kwụsie ike.
Ndị nyocha ahịa
Nchịkọta ndị ahịa bụ ọrụ nke ụlọ ọrụ na-ejikọta na webụsaịtị ma ọ bụ ngwa ya site na SDK gọọmentị, na-abanye na koodu nke ya wee họrọ ihe na-akpalite mmemme. Enwere ihe doro anya na ụzọ a: data niile anakọtara nwere ike ghara ịhazi ya dịka ịchọrọ n'ihi njedebe nke ọrụ ọ bụla ị họọrọ. Dịka ọmụmaatụ, n'otu sistemụ ọ gaghị adị mfe ịme MapReduce ọrụ, na nke ọzọ ị gaghị enwe ike ịme ihe nlereanya gị. Mwepu ọzọ ga-abụ ụgwọ ọrụ mgbe niile (na-adọrọ mmasị) maka ọrụ.
Enwere ọtụtụ ngwọta nyocha ndị ahịa na ahịa, ma n'oge na-adịghị anya, ndị nyocha na-eche ihu na ọ dịghị ọrụ zuru ụwa ọnụ nke kwesịrị ekwesị maka ọrụ ọ bụla (ebe ọnụahịa maka ọrụ ndị a niile na-ebili mgbe niile). N'ọnọdụ dị otú ahụ, ụlọ ọrụ na-ekpebikarị ịmepụta usoro nyocha nke ha na ntọala omenala na ikike niile dị mkpa.
Ndị nyocha nkesa
Nchịkọta akụkụ nke sava bụ ọrụ enwere ike ibunye n'ime ụlọ ọrụ na sava nke ya yana (na-abụkarị) na mbọ nke ya. N'ime ihe nlereanya a, a na-echekwa ihe omume onye ọrụ niile na sava dị n'ime, na-enye ndị mmepe ohere ịnwale ọdụ data nchekwa dị iche iche wee họrọ ihe owuwu kachasị mma. Ma ọbụlagodi na ị ka chọrọ iji nyocha ndị ahịa nke atọ maka ụfọdụ ọrụ, ọ ka ga-ekwe omume.
Enwere ike itinye nyocha n'akụkụ nkesa n'ụzọ abụọ. Nke mbụ: họrọ ụfọdụ akụrụngwa mepere emepe, tinye ha na igwe gị wee mepụta mgbagha azụmahịa.
Плюсы
Минусы
Ị nwere ike hazie ihe ọ bụla ịchọrọ
Nke a na-esikarị ike ma na-achọ ndị nrụpụta iche
Nke abụọ: were ọrụ SaaS (Amazon, Google, Azure) kama ibuga ya n'onwe gị. Anyị ga-ekwu maka SaaS n'ụzọ zuru ezu na akụkụ nke atọ.
Плюсы
Минусы
Ọ nwere ike ịdị ọnụ ala karịa na ọkara, mana na nnukwu uto ọ ka ga-adị oke ọnụ
Ọ gaghị ekwe omume ijikwa parampat niile
A na-ebufe nchịkwa kpamkpam n'ubu onye na-ahụ maka ọrụ
A naghị amakarị ihe dị n'ime ọrụ ahụ (nwere ike ọ gaghị adị mkpa)
Otu esi anakọta nyocha ihe nkesa
Ọ bụrụ na anyị chọrọ ịkwaga site na iji nyocha ndị ahịa ma wuo nke anyị, nke mbụ anyị kwesịrị iche echiche site na nhazi nke usoro ọhụrụ ahụ. N'okpuru ebe a, m ga-agwa gị nzọụkwụ site nzọụkwụ ihe ị kwesịrị ịtụle, ihe mere nzọụkwụ ọ bụla ji dị mkpa na ihe ngwaọrụ ị nwere ike iji.
1. Ịnata data
Dị ka ọ dị na nyocha nke ndị ahịa, nke mbụ, ndị nyocha ụlọ ọrụ na-ahọrọ ụdị ihe omume ha chọrọ ịmụ n'ọdịnihu ma na-anakọta ha na ndepụta. Dịka, mmemme ndị a na-eme n'usoro a kapịrị ọnụ, nke a na-akpọ "ụkpụrụ omume."
Na-esote, were ya na ngwa mkpanaka (webụsaịtị) nwere ndị ọrụ mgbe niile (ngwaọrụ) yana ọtụtụ sava. Iji bufee mmemme n'enweghị nsogbu site na ngwaọrụ gaa na nkesa, achọrọ oyi akwa etiti. Dabere na ụkpụrụ ụlọ, enwere ike ịnwe ahịrị mmemme dị iche iche.
Ndi , nke a na-eji dị ka kwụ n'ahịrị maka ịnakọta ihe omume.
Dị ka na 2014, onye kere Apache Kafka kpebiri ịkpọ aha software ahụ Franz Kafka n'ihi na "ọ bụ usoro kachasị maka ide" na n'ihi na ọ hụrụ ọrụ Kafka n'anya. -
N'ihe atụ anyị, e nwere ọtụtụ ndị na-emepụta data na ndị na-azụ ahịa data (ngwaọrụ na sava), na Kafka na-enyere aka jikọọ ha na ibe ha. A ga-akọwa ndị ahịa n'ụzọ zuru ezu na usoro ndị a, ebe ha ga-abụ isi isiokwu. Ugbu a, anyị ga-atụle naanị ndị na-emepụta data (ihe omume).
Kafka na-akọwapụta echiche nke kwụ n'ahịrị na nkebi; ). Na-abanyeghị n'ime nkọwa, ka anyị were ya na a na-ewepụta ngwa mkpanaka maka OS abụọ dị iche iche. Mgbe ahụ ụdị nke ọ bụla na-emepụta iyi mmemme dị iche iche. Ndị na-emepụta ihe na-eziga ihe omume na Kafka, a na-edekọ ha n'ahịrị kwesịrị ekwesị.
(foto )
N'otu oge ahụ, Kafka na-enye gị ohere ịgụ na chunks na hazie iyi nke ihe omume na obere-batches. Kafka bụ ngwá ọrụ dị mma nke na-eme ka mkpa na-eto eto (dịka ọmụmaatụ, site na geolocation nke ihe omume).
Ọtụtụ mgbe, otu shard na-ezuru, mana ihe na-agbagwoju anya mgbe a na-atụgharị (dị ka ọ na-eme mgbe niile). Eleghị anya ọ dịghị onye ga-achọ iji naanị otu shard anụ ahụ na-emepụta, ebe ọ bụ na ihe owuwu ahụ ga-abụrịrị mmejọ. Na mgbakwunye na Kafka, e nwere ihe ngwọta ọzọ a ma ama - RabbitMQ. Anyị ejighị ya na mmepụta dị ka kwụ n'ahịrị maka nchịkọta ihe omume (ọ bụrụ na ị nwere ahụmahụ dị otú ahụ, gwa anyị banyere ya na nkwupụta!). Agbanyeghị, anyị jiri AWS Kinesis.
Tupu ịga n'ihu na nzọụkwụ ọzọ, anyị kwesịrị ịkọwa otu oyi akwa ọzọ nke usoro - raw log storage. Nke a abụghị oyi akwa achọrọ, mana ọ ga-aba uru ma ọ bụrụ na ihe na-aga nke ọma ma na-emegharị queues mmemme na Kafka. Ịchekwa akwụkwọ ndekọ aha anaghị achọ ngwọta dị mgbagwoju anya ma dị oke ọnụ;
2. Na-ahazi iyi omume
Mgbe anyị kwadochara ihe omume niile ma tinye ha n'ahịrị ndị kwesịrị ekwesị, anyị na-aga n'ihu na nhazi nhazi. N'ebe a, m ga-agwa gị gbasara nhọrọ nhazi abụọ a na-ahụkarị.
Nhọrọ nke mbụ bụ ime ka Spark Streaming na sistemụ Apache. Ngwaahịa Apache niile na-ebi na HDFS, sistemụ faịlụ echekwara nwere ụdị faịlụ. Spark Streaming bụ ngwa dị mfe iji na-ejikwa data nkwanye na nha nha nke ọma. Agbanyeghị, ọ nwere ike isi ike idobe ya.
Nhọrọ ọzọ bụ iwulite onye na-ahụ maka mmemme nke gị. Iji mee nke a, ịchọrọ, dịka ọmụmaatụ, dee ngwa Python, wuo ya na Docker wee denye aha na kwụ n'ahịrị Kafka. Mgbe ihe na-akpalite bịarutere ndị na-ahụ maka docker, nhazi ga-amalite. Site na usoro a, ịkwesịrị idobe ngwa na-arụ ọrụ oge niile.
Ka anyị chee na anyị ahọrọla otu n'ime nhọrọ ndị akọwara n'elu wee gaa n'ihu na nhazi n'onwe ya. Ndị nhazi kwesịrị ịmalite site na ịlele izi ezi nke data ahụ, na-ehichapụ ihe mkpofu na ihe omume "gbajiri agbaji". Maka nkwado anyị na-ejikarị . Mgbe nke a gasị, ị nwere ike ịme nkewa data: data sitere na isi mmalite dị iche iche na-ahazi na nhazi ka agbakwunyere na tebụl nkịtị.
3. Ebe nchekwa data
Nzọụkwụ nke atọ bụ ịnọgide na-eme ihe na-emekarị. Mgbe ị na-arụ ọrụ na usoro nyocha dị njikere, anyị ga-enweta ha mgbe mgbe, ya mere ọ dị mkpa ịhọrọ nchekwa data dị mma.
Ọ bụrụ na data dabara nke ọma na atụmatụ edoziri, ị nwere ike họrọ ma ọ bụ ụfọdụ nchekwa data columnar ọzọ. N'ụzọ dị otú a nchịkọta ga-arụ ọrụ ngwa ngwa. Ihe dị ala bụ na a na-edozi atụmatụ ahụ n'ụzọ siri ike, ya mere, ọ gaghị ekwe omume ịgbakwunye ihe na-ezighị ezi na-enweghị mgbanwe (dịka ọmụmaatụ, mgbe ihe omume na-abụghị ọkọlọtọ mere). Mana ị nwere ike ịgụta ọnụ ngwa ngwa.
Maka data enweghị ahaziri, ị nwere ike were NoSQL, dịka ọmụmaatụ, . Ọ na-agba na HDFS, na-emegharị nke ọma, ị nwere ike ibuli ọtụtụ oge, yana ọ na-anabata mmejọ.
Ị nwekwara ike ibuli ihe dị mfe, dịka ọmụmaatụ, . Ọ dị nnọọ nwayọọ na maka obere mpịakọta. Ma gbakwunyere bụ na ọ dị nnọọ mfe ma dị mma maka ịmalite.
4. Nchịkọta
N'iji nlezianya chekwaa ihe omume niile, anyị chọrọ ịnakọta ozi niile dị mkpa site na batch nke rutere ma melite nchekwa data. N'ụwa niile, anyị chọrọ ịnweta dashboards na metrik dị mkpa. Dịka ọmụmaatụ, chịkọta profaịlụ onye ọrụ site na mmemme wee tụọ omume n'ụzọ ụfọdụ. A na-achịkọta ihe omume, chịkọta ma chekwaa ọzọ (na tebụl onye ọrụ). N'otu oge ahụ, ị nwere ike iwulite usoro ka ị nwekwara ike jikọọ nzacha na onye nchịkọta nchịkọta: na-anakọta ndị ọrụ naanị site na otu ụdị ihe omume.
Mgbe nke ahụ gasịrị, ọ bụrụ na onye nọ n'òtù ahụ chọrọ naanị nyocha dị elu, enwere ike jikọta usoro nyocha nke mpụga. Ị nwere ike iwere Mixpanel ọzọ. ma ebe ọ bụ na ọ dị oke ọnụ, ọ bụghị ihe omume onye ọrụ niile ka a na-ezigara ebe ahụ, mana naanị ihe achọrọ. Iji mee nke a, anyị kwesịrị ịmepụta onye nhazi nke ga-ebufe ụfọdụ mmemme ma ọ bụ ihe anyị onwe anyị chịkọtara na mbụ na sistemụ mpụga, API ma ọ bụ nyiwe mgbasa ozi.
5. N'ihu
Ịkwesịrị ijikọ frontend na usoro emepụtara. Ezi ihe atụ bụ ọrụ , bụ GUI nchekwa data na-enyere aka wuo dashboards. Ka mmekọrịta ahụ si arụ ọrụ:
- Onye ọrụ na-ajụ ajụjụ SQL.
- Na nzaghachi, ọ natara akara.
- Ọ na-emepụta 'ọhụụ ọhụụ' maka ya wee nweta eserese mara mma nke ị nwere ike ịchekwa maka onwe gị.
Ọhụụ dị na ọrụ ahụ na-emelite onwe, ị nwere ike hazie ma soro nleba anya gị. Redash bụ n'efu ma ọ bụrụ na ọ kwadoro onwe ya, mana dịka SaaS ọ ga-eri $ 50 kwa ọnwa.
nkwubi
Mgbe ịmechara usoro niile dị n'elu, ị ga-emepụta nchịkọta ihe nkesa gị. Biko mara na nke a adịghị mfe dị ka naanị ijikọ nyocha ndị ahịa, n'ihi na ihe niile kwesịrị ịhazi onwe gị. Ya mere, tupu ịmepụta usoro nke gị, ọ bara uru ịtụle mkpa maka usoro nyocha siri ike na ihe onwunwe ndị ị dị njikere ikenye ya.
Ọ bụrụ na ịmeela mgbakọ na mwepụ ma chọpụta na ọnụ ahịa ya dị oke ọnụ, n'akụkụ nke ọzọ, m ga-ekwu maka otu esi eme ka nsụgharị dị ọnụ ala nke nchịkọta ihe nkesa-n'akụkụ.
Daalụ maka ịgụ akwụkwọ! Ọ ga-amasị m ịjụ ajụjụ na nkọwa.
isi: www.habr.com
