В Tuhinga whakamutunga i titiro matou ki te whakaroputanga a RabbitMQ mo te pai o te he me te waatea nui. Inaianei kia keri hohonu ki roto i a Apache Kafka.

Anei te waeine o te tāruarua ko te wehewehe. Kei ia kaupapa kotahi, neke atu ranei nga waahanga. He kaihautū kei ia wahanga, he hunga whai, kahore ranei. I te wa e hanga ana i tetahi kaupapa, ka tohua e koe te maha o nga wehewehenga me te whakarea tukurua. Ko te uara o mua ko te 3, ko te tikanga e toru nga tauira: kotahi te rangatira me nga kaiwhaiwhai e rua.

raihi. 1. E wha nga wahanga ka tohatohahia ki nga kaihokohoko e toru

Ko nga tono panui me te tuhi katoa ka haere ki te rangatira. Ka tukuna e nga kaiwhaiwhai nga tono ki te kaiarahi kia whiwhi i nga karere hou. Kare rawa nga kaihoko e huri ki te hunga whai; ko nga mea o muri ka noho noa mo te kore utu me te whakararu i te he.

Rahunga Wehewehenga

Ka taka te kaihokohoko, ka taka nga rangatira o nga waahanga maha. I roto i ia o ratou, ka noho he kaiwhai mai i tetahi atu pona hei kaiarahi. Inaa, ehara tenei i nga wa katoa, i te mea ka awe ano te take tukutahi: mena he kaiwhaiwhai tukutahi, a ki te kore, ka whakaaehia te huri ki te tauira kore tukutahi. Engari kaua tatou e whakararu i nga mea mo naianei.

Ka wehe te Kaihokohoko 3 i te whatunga, ka pootihia he kaihautu hou mo te wahanga 2 i te kaihokohoko 2.

raihi. 2. Ka mate te Kaihokohoko 3, ka pootihia tana kaiwhai mo te kaihokohoko 2 hei kaihautu hou mo te wehewehenga 2

Na ka wehe te Kaihokohoko 1 me te wahanga 1 ka ngaro tona kaihautu, ka riro tana mahi ki te kaihokohoko 2.

raihi. 3. Kotahi te kaihokohoko i toe. Ko nga kaihautū katoa kei runga i te kaihokohoko kotahi me te kore e mahi

I te hokinga mai o te kaihokohoko 1 ki runga ipurangi, ka taapirihia e ia nga kaiwhaiwhai tokowha, e whakarato ana i etahi taapiri ki ia waahanga. Engari ko nga rangatira katoa i noho tonu ki te kaihokohoko 2.

raihi. 4. Ka noho tonu nga kaihautu ki te kaihokohoko 2

Ka tae mai te kaihokohoko 3, ka hoki ano matou ki nga tauira e toru mo ia waahanga. Engari ko nga rangatira katoa kei runga tonu i te kaihokohoko 2.

raihi. 5. Te whakanohonga kore taurite o nga kaiarahi i muri i te whakahokinga mai o nga kaihokohoko 1 me te 3

He taputapu a Kafka mo te whakatikatika rangatira pai ake i a RabbitMQ. I reira, me whakamahi koe i tetahi mono-tuatoru, tuhinga tuhi ranei i whakarereke i nga kaupapa here mo te heke i te node matua ma te whakaiti i te mahi i te wa o te heke. I tua atu, mo nga rarangi nui me whakaae matou ki te kore e waatea i te wa tukutahi.

Kei a Kafka te ariā o "nga tauira pai" mo te mahi rangatira. I te wa i hangaia ai nga wehewehenga kaupapa, ka ngana a Kafka ki te tohatoha i nga kaiarahi puta noa i nga kohanga me te tohu i nga kaiarahi tuatahi e pai ana. I te roanga o te wa, na te whakaara ano o te tūmau, nga rahunga, me te pakaru o te hononga, ka mutu pea nga kaiarahi ki etahi atu pona, penei i te keehi tino nui i whakaahuahia i runga ake nei.

Hei whakatika i tenei, ka tukuna e Kafka nga whiringa e rua:

• Kōwhiringa auto.leader.rebalance.enable=pono ka taea e te node kaiwhakahaere ki te whakahoki aunoa i nga kaiarahi ki nga tauira e pai ana, ka whakahoki ano i te tohatoha rite.
• Ka taea e te kaiwhakahaere te whakahaere i te tuhinga kafka-preferred-replica-election.sh mo te whakatikatika a-ringa.

raihi. 6. Nga tauira i muri i te whakatikatika

He ahua ngawari tenei o te korenga, engari he uaua ake te mea pono, ahakoa kaore he mea tino uaua ki konei. Ka tae katoa ki nga tauira tukutahi (In-Sync Replicas, ISR).

Tauira Tukutahi (ISR)

Ko te ISR he huinga tauira o te wehewehenga e kiia ana he "tukutahi" (i roto i te tukutahi). He rangatira, engari kaore pea he kaiwhai. Ka kiia he kaiwhaiwhai he tukutahi mena kua mahia e ia nga kape tika o nga karere katoa a te kaiarahi i mua i te paunga o te waahi. replica.lag.time.max.ms.

Ka tangohia tetahi kaiwhai mai i te huinga ISR mena:

• karekau i tono tono ki te whiriwhiri mo te waahi replica.lag.time.max.ms (e kiia ana kua mate)
• kihai i whakahaere ki te whakahou i roto i te wā replica.lag.time.max.ms (whakaarohia he puhoi)

Ka mahia e nga kaiwhaiwhai nga tono tauira i roto i te waa replica.fetch.wait.max.ms, e taunoa ana ki te 500ms.

Hei whakamarama i te kaupapa o te ISR, me titiro tatou ki nga whakapumautanga mai i te kaihanga me etahi ahuatanga kore. Ka taea e nga kaihanga te whiriwhiri ina tukuna e te kaihokohoko te whakau:

• acks=0, karekau i tukuna te whakapumautanga
• acks=1, ka tukuna he whakapumautanga i muri i te tuhi karere a te kaihautu ki tana rangitaki rohe
• acks=katoa, ka tukuna te whakapumautanga i muri i te tuhi o nga tauira katoa i roto i te ISR i te panui ki nga raarangi rohe

I roto i nga kupu Kafka, mena kua tiakina e te ISR tetahi karere, ka "whakapumautia". Ko te Acks=katoa te whiringa haumaru, engari ka taapiri atu ano te roa. Me titiro ki nga tauira e rua o te rahunga me te pehea o nga momo whiringa 'acks' e pahekohe ana ki te ariā ISR.

Acks=1 me te ISR

I roto i tenei tauira, ka kite tatou ki te kore te kaiarahi e tatari kia ora nga karere katoa mai i nga akonga katoa, ka ngaro pea nga raraunga mena ka rahua te kaiarahi. Ko te whakatere ki tetahi kaiwhai kaore i tukutahia ka taea te whakahohe, te mono ranei ma te tautuhi poke.leader.election.enable.

I tenei tauira, kei te kaihanga te uara acks=1. Ka tohatohahia te waahanga ki nga kaihokohoko e toru. Ko te Kaihokohoko 3 kei muri, ka tukutahi me te kaihautu e waru hekona ki muri, a inaianei kua 7456 nga karere kei muri. Ko te Kaihokohoko 1 i muri noa iho i te tuarua. Ka tukuna he karere e ta maatau kaihanga, ka hoki wawe mai te hokinga mai, me te kore o nga kaiwhaiwhai puhoi, mate ranei e kore e tatarihia e te rangatira.

raihi. 7. ISR me nga tauira e toru

Ka rahua te Kaihokohoko 2 ka whiwhi te kaihanga i te hapa hononga. I muri i te tukunga o te kaiarahi ki te kaihokohoko 1, ka ngaro nga karere 123. Ko te kaiwhaiwhai i runga i te kaihokohoko 1 he waahanga o te ISR, engari kaore i tino rite ki te kaiarahi i te wa i hinga ai.

raihi. 8. Ka ngaro nga karere ka pakaru

I roto i te whirihoranga bootstrap.servers He maha nga kaihokohoko kua whakarārangihia e te kaiwhakanao, ka taea e ia te patai ki tetahi atu kaihokohoko ko wai te kaiarahi waahanga hou. Ka whakatauhia he hononga ki te kaihokohoko 1 ka haere tonu te tuku karere.

raihi. 9. Ka timata ano te tuku karere i muri i te okiokinga poto

Ko te Kaihokohoko 3 kei muri tonu. Ka tuku tono tiki engari kaore e taea te tukutahi. Ko tenei pea na te puhoi o te hononga whatunga i waenga i nga kaihokohoko, te take rokiroki, me etahi atu. Kua tangohia mai i te ISR. Inaianei kei roto i te ISR tetahi tauira - te kaiarahi! Ka tukuna tonu e te kaiwhakanao nga korero me te whiwhi whakapumautanga.

raihi. 10. Ka tangohia te kaiwhaiwhai i runga i te kaihokohoko 3 mai i te ISR

Ka heke te Kaihokohoko 1, ka haere te mahi kaiarahi ki te kaihokohoko 3 me te ngaro o nga karere 15286! Ka whiwhi te kaihanga i te karere hapa hononga. Ko te whakawhiti ki te kaihautu i waho o te ISR i taea anake na te waahi unclean.leader.election.enable=pono. Mena kua whakauruhia ki roto teka, ka kore e puta te whakawhitinga, ka whakakorehia nga tono panui me te tuhi. I tenei keehi, ka tatari matou mo te kaihokohoko 1 kia hoki mai me ana raraunga totika i roto i te tauira, ka riro ano te kaiarahi.

raihi. 11. Ka taka te Kaihokohoko 1. Ka taka he rahunga, ka ngaro te maha o nga karere

Ka whakatauhia e te kaihanga he hononga ki te kaihokohoko whakamutunga ka kite ko ia te rangatira o te waahanga inaianei. Ka timata ia ki te tuku karere ki te kaihokohoko 3.

raihi. 12. Whai muri i te wa poto, ka tukuna ano nga karere ki te wahanga 0

I kite matou, i tua atu i nga aukati poto ki te whakarite hononga hou me te rapu mo tetahi kaiarahi hou, ka tukuna tonu e te kaiwhakanao nga karere. Ko tenei whirihoranga ka whakarite i te waatea i runga i te utu o te riterite (haumarutanga raraunga). I ngaro nga mano o nga karere a Kafka engari i whakaae tonu ki nga tuhinga hou.

Acks=katoa me te ISR

Kia tuaruatia ano tenei ahuatanga, engari me te acks=katoa. Ko te Kaihokohoko 3 te roanga roa o te wha hēkona. Ka tukuna e te kaiwhakanao he karere me acks=katoa, a inaianei kaore e whiwhi urupare tere. Ka tatari te rangatira mo te karere kia ora e nga tauira katoa i roto i te ISR.

raihi. 13. ISR me nga tauira e toru. He puhoi tetahi, ka roa te rekoata

Whai muri i te wha hēkona o te whakaroa, ka tukuna e te kaihokohoko 2 he ack. Ko nga tauira katoa kua whakahoutia inaianei.

raihi. 14. Ko nga tauira katoa ka tiakina nga karere me te tuku ack

Ka taka atu a Broker 3 inaianei ka nekehia atu i te ISR. Ka tino whakahekehia te waahi na te mea kaore he tauira puhoi e toe ana ki te ISR. Ko te Kaihokohoko 2 e tatari ana mo te kaihokohoko 1 anake, a, he 500 ms te roa o tana roa.

raihi. 15. Ko te tauira o te kaihokohoko 3 kua tangohia mai i te ISR

Na ka taka te kaihokohoko 2, ka haere te kaiarahi ki te kaihokohoko 1 kaore i ngaro nga karere.

raihi. 16. Ka taka te Kaihokohoko 2

Ka kitea e te kaiwhakanao he rangatira hou ka tiimata ki te tuku karere ki a ia. Ka whakahekehia te roanga na te mea he tauira kotahi te ISR inaianei! Na reira te kōwhiringa acks=katoa karekau e taapiri atu i te taapiri.

raihi. 17. Ko te tauira i runga i te kaihokohoko 1 ka arahi me te kore e ngaro nga karere

Na ka tukinga te kaihokohoko 1 ka haere te kaiarahi ki te kaihokohoko 3 me te ngaro o nga karere 14238!

raihi. 18. Ka mate te Kaihokohoko 1 me te whakawhiti a te kaiarahi me te waahi poke ka hua te ngaronga raraunga nui

Kāore i taea e mātou te tāuta te kōwhiringa poke.leader.election.enable ki te tikanga pono. Ma te taunoa he rite teka. Tautuhinga acks=katoa с unclean.leader.election.enable=pono e whakarato ana i te urunga me etahi atu haumarutanga raraunga. Engari ka kite koe, ka ngaro tonu nga karere.

Engari he aha mena ka hiahia tatou ki te whakanui ake i te haumarutanga raraunga? Ka taea e koe te whakatakoto poke.leader.election.enable = teka, engari kaore tenei e tiaki i a maatau mai i te ngaro o nga raraunga. Mena ka hinga te rangatira me te tango i nga raraunga, ka ngaro tonu nga karere, ka ngaro te waatea tae noa ki te whakahoki a te kaiwhakahaere i te ahuatanga.

He pai ake ki te whakarite kia kore noa nga karere katoa, me te kore e rukea te rekoata. Na, i te iti rawa mai i te tirohanga a te kaihokohoko, ka taea te ngaro o nga raraunga mena ka rua, neke atu ranei nga rahunga i te wa kotahi.

Acks=katoa, min.insync.replicas me ISR

Me te whirihoranga kaupapa min.insync.replicas Kei te piki ake te taumata o te haumarutanga raraunga. Kia haere ano tatou i te waahanga whakamutunga o te ahuatanga o mua, engari i tenei wa me min.insync.replicas=2.

Na te kaihokohoko 2 he kaiarahi tauira me te kaiwhai i runga i te kaihokohoko 3 ka tangohia mai i te ISR.

raihi. 19. ISR mai i nga tauira e rua

Ka hinga te Kaihokohoko 2, ka tukuna te kaiarahi ki te Kaihokohoko 1 kaore i ngaro nga karere. Engari inaianei ko te ISR he kotahi noa te tauira. Kaore tenei e tutuki i te tau iti rawa ki te whiwhi rekoata, na reira ka whakautu te kaihokohoko ki te ngana tuhi me te hapa NotEnoughReplicas.

raihi. 20. Ko te maha o nga ISR he iti iho i te mea kua tohua ki te min.insync.replicas

Ko tenei whirihoranga ka whakaekea te waatea mo te rite. I mua i te whakaae ki tetahi karere, ka whakarite kia tuhia ki nga tauira e rua neke atu. Ma tenei ka nui ake te maia o te kaihanga. I konei, ka ngaro noa nga karere mena ka taka nga tauira e rua i te wa kotahi i roto i te wa poto kia tukuna ra ano te karere ki tetahi atu kaiwhai, kaore pea. Engari mena he tino paranoia koe, ka taea e koe te whakarite i te tauwehe tukurua ki te 5, a min.insync.replicas na 3. I konei me hinga nga kaihokohoko e toru i te wa ano kia ngaro te rekoata! Ae ra, ka utua e koe tenei pono i roto i te taapiri taapiri.

I te wa e tika ana te urunga mo te haumarutanga raraunga

Ka rite ki take ki a RabbitMQ, i etahi wa ka tika te uru mo te haumarutanga raraunga. Anei nga mea hei whakaaro maau:

• Ka taea e te kaiwhakaputa te whakahoki mai i tetahi hapa ka tono i te ratonga whakarunga, i te kaiwhakamahi ranei kia ngana ano a muri ake?
• Ka taea e te kaiwhakaputa te tiaki i te karere ki te rohe, ki te papaunga raraunga ranei hei ngana ano a muri ake?

Mena kao te whakautu, na te arotau i te waatea ka pai ake te haumarutanga raraunga. He iti ake nga raraunga ka ngaro koe mena ka whiriwhiri koe i te waatea engari kaua e tuhi. No reira, ka tae katoa ki te rapu i te toenga, ka whakawhirinaki te whakatau ki te ahuatanga motuhake.

Ko te tikanga o te ISR

Ko te huinga ISR ka taea e koe te whiriwhiri i te toenga tino pai i waenga i te haumarutanga raraunga me te waatea. Hei tauira, me whakarite te waatea ki te kore te nuinga o nga tauira tauira, me te whakaiti i te paanga o nga tauira kua mate, puhoi ranei i runga i te roanga.

Ma tatou ano e whiriwhiri te tikanga replica.lag.time.max.ms kia rite ki o hiahia. Ko te tikanga, ko te tikanga o tenei tawhā te roa o te roa e pai ana tatou ki te whakaae ahea acks=katoa. Ko te uara taunoa he tekau hēkona. Mena he roa rawa tenei mo koe, ka taea e koe te whakaiti. Na ka piki ake te maha o nga huringa i roto i te ISR, na te mea ka nekehia atu nga kaiwhaiwhai me te taapiri atu.

Ko RabbitMQ he huinga whakaata noa e tika ana kia mahia. Ko nga whakaata puhoi ka whakaatu mai i te roanga atu, a ka tatari nga whakaata mate kia tae ra ano nga paatete e tirotiro ana i te waatea o ia pona (te tohu kupenga) ki te whakautu. Ko te ISR he huarahi whakamere ki te karo i enei take torohū. Engari kei te tupono ka ngaro to maatau i te mea ka taea e te ISR te heke ki te kaiarahi. Hei karo i tenei morearea, whakamahia te tautuhinga min.insync.replicas.

Taurangi hononga kiritaki

I nga tautuhinga bootstrap.servers Ka taea e te kaihanga me te kaihoko te tautuhi i nga kaihokohoko maha mo te hono i nga kaihoko. Ko te whakaaro ka heke iho tetahi pona, he maha nga mea e manawapa ana ka toe hei whakatuwhera i tetahi hononga. Ehara enei i te mea he kaihautu o te wahanga, engari he putunga mo te uta tuatahi. Ka taea e te kiritaki te patai ki a ia ko wai te pona e manaaki ana i te kaiarahi wehewehe panui/tuhi.

I roto i te RabbitMQ, ka taea e nga kiritaki te hono atu ki tetahi node, ka tukuna e te ararere o roto te tono ki te waahi e tika ana kia haere. Ko te tikanga ka taea e koe te whakauru i te taurite kawenga ki mua o RabbitMQ. Ka hiahia a Kafka ki nga kaihoko ki te hono atu ki te node e manaaki ana i te kaihautu wehewehe. I tenei ahuatanga, kaore e taea e koe te whakauru i te taurite kawenga. Rarangi bootstrap.servers He mea nui kia uru atu nga kaihoko me te kimi i nga pona tika i muri i te rahua.

Kafka Consensus Architecture

Tae noa ki tenei wa, kaore ano matou i whakaaro me pehea te ako a te roopu mo te hinga o te kaihokohoko me pehea te pooti i tetahi kaihautū hou. Kia mohio ai koe ki te mahi a Kafka me nga wehewehenga whatunga, me maarama koe ki te hoahoanga whakaaetanga.

Ka tohatohahia ia kahui Kafka me te roopu Zookeeper, he ratonga whakaaetanga toha e taea ai e te punaha te uru ki te whakaaro mo etahi ahuatanga, me te whakarite i te riterite i runga i te waatea. Ko te whakaaetanga o te nuinga o nga node Zookeeper me whakaae ki nga mahi panui me te tuhi.

Ka tiakina e Zookeeper te ahua o te tautau:

• Te rarangi o nga kaupapa, nga waahanga, te whirihoranga, nga tauira rangatira o naianei, nga tauira pai.
• Nga mema o te roopu. Ka ping e ia kaihokohoko te roopu Zookeeper. Mena kaore e whiwhi ping i roto i te waa kua tohua, ka tuhia e Zookeeper te kaihokohoko kaore i te waatea.
• Te whiriwhiri i nga pona matua me nga waahanga e manawapa mo te kaiwhakahaere.

Ko te node kaiwhakahaere tetahi o nga kaihokohoko Kafka kei a ia te kawenga mo te pooti i nga kaiarahi tauira. Ka tukuna e Zookeeper nga whakamohiotanga ki te kaiwhakahaere mo te mema tautau me nga huringa kaupapa, a me mahi te kaiwhakahaere ki enei huringa.

Hei tauira, me tango he kaupapa hou me nga waahanga tekau me te tauwehenga tukurua o te 3. Me whiriwhiri e te kaiwhakahaere he kaihautu mo ia wahanga, me te ngana ki te tohatoha rangatira ki waenga i nga kaihokohoko.

Mo ia kaiwhakahaere wahanga:

• he whakahou i nga korero i Zookeeper mo te ISR me te kaiarahi;
• Ka tukuna he LeaderAndISRComand ki ia kaihokohoko e manaaki ana i te tauira o tenei wehewehenga, me te whakamohio ki nga kaihokohoko mo te ISR me te kaiarahi.

Ka hinga tetahi kaihokohoko me tetahi rangatira, ka tukuna e Zookeeper he panui ki te kaiwhakahaere, ka kowhiria he kaihautu hou. Ano, ka whakahou tuatahi te kaiwhakahaere ki a Zookeeper katahi ka tukuna he whakahau ki ia kaihokohoko ki te whakamohio ki a raatau mo te huringa kaiarahi.

Kei ia rangatira te kawenga mo te kimi ISR. Tautuhinga replica.lag.time.max.ms ka whakatau ko wai ka uru ki reira. Ka huri te ISR, ka tukuna e te rangatira nga korero hou ki te Zookeeper.

Ka whakamohiotia te Zookeeper i nga wa katoa mo nga whakarereketanga kia pai ai te whakawhiti o te whakahaere ki tetahi kaihautu hou.

raihi. 21. Kafka Consensus

Kawa tukurua

Ma te mohio ki nga taipitopito o te tukurua ka awhina koe ki te mohio ake ki nga ahuatanga ngaronga raraunga pea.

Uiui Tauira, Takiuru Whakamutunga Whangai (LEO) me te Tohu Wai Maama (HW)

I whakaaro matou ka tukuna e nga kaiwhaiwhai i ia wa nga tono tiki ki te rangatira. Ko te waahi taunoa he 500ms. He rereke tenei mai i te RabbitMQ i te mea i roto i te RabbitMQ, kaore i timatahia e te whakaata rarangi engari na te rangatira. Ka panaia e te rangatira nga huringa ki nga whakaata.

Ka tiakina e te kaihautu me nga kaiwhaiwhai katoa te Log End Offset (LEO) me te tapanga Highwater (HW). Ko te tohu LEO e pupuri ana i te wehenga o te karere whakamutunga i roto i te tauira o te rohe, a ko te HW te pupuri i te wehenga o te tukunga whakamutunga. Kia maumahara mo te tuunga mana, me mau tonu te karere puta noa i nga tauira ISR katoa. Ko te tikanga ko te LEO kei mua paku atu i te HW.

Ka whiwhi te kaihautu i tetahi karere, ka penapenahia e ia ki te rohe. Ka tono te kaiwhai ma te tuku i tana LEO. Ka tukuna e te kaihautu he puranga o nga karere ka timata mai i tenei LEO me te tuku ano i te HW o naianei. Ina whiwhi te kaihautu i nga korero kua penapenahia e nga tauira katoa te karere ki te waahi kua tohua, ka nekehia te tohu HW. Ko te kaihautu anake ka taea te neke i te HW, na reira ka mohio nga kaiwhaiwhai katoa ki te uara o naianei i roto i nga whakautu ki ta raatau tono. Ko te tikanga ka takamuri pea nga kaiwhaiwhai ki muri i te kaihautu i roto i nga korero me nga matauranga HW. Ka whiwhi karere nga kaihoko tae noa ki te HW o naianei.

Kia mahara ko te kupu "tonu" ko te tuhi ki te mahara, kaua ki te kōpae. Mo te mahi, ka tukutahi a Kafka ki te kōpae i tetahi wa motuhake. He waahi pera ano a RabbitMQ, engari ka tukuna he mihi ki te kaiwhakaputa i muri noa i te tuhi a te rangatira me nga whakaata katoa i te karere ki te kōpae. Ko nga kaiwhakawhanake Kafka, mo nga take mahi, i whakatau ki te tuku ack i te wa ka tuhia te karere ki te mahara. Kei te kii a Kafka ko te kore e taea te whakakore i te tupono ki te penapena poto i nga karere kua whakaaetia ki te mahara anake.

Te kore rangatira

Ka hinga tetahi kaihautu, ka whakamohiotia e Zookeeper te kaiwhakahaere, ka kowhiria he tauira rangatira hou. Ka whakatauhia e te rangatira hou he tohu HW hou e ai ki tana LEO. Ka whiwhi nga kaiwhaiwhai i nga korero mo te rangatira hou. I runga i te putanga o Kafka, ka tohua e te kaiwhai tetahi o nga ahuatanga e rua:

1. Ka tapatapahia te pororakau rohe ki tetahi HW e mohiotia ana ka tukuna he tono ki te kaiarahi hou mo nga karere i muri i tenei tohu.
2. Ka tukuna he tono ki te kaihautu kia mohiohia te HW i te wa i pootihia ai ia hei kaihautu, katahi ka tapahia te pororakau ki tenei waahanga. Ka timata ki te hanga tono tiki i ia wa ka timata mai i tenei waahi.

Ka hiahia pea te kaiwhai ki te tapahi i te raarangi mo nga take e whai ake nei:

• Ka rahua te kaihautu, ko te kaiwhai tuatahi i roto i te huinga ISR kua rehitatia me Zookeeper ka toa i te pooti, ​​ka noho hei kaihautu. Ko nga kaiwhaiwhai katoa i runga i te ISR, ahakoa i whakaarohia "i te tukutahi," kaore pea i whiwhi kape o nga karere katoa mai i te kaiarahi o mua. Ko te mea karekau he kape hou rawa atu i te kaiwhaiwhai kua whakaatuhia. Ka whakarite a Kafka kaore he rereke i waenga i nga tauira. No reira, hei karo i nga rereketanga, me tapahi e ia kaiwhai tona raarangi ki te uara HW o te rangatira hou i te wa o tana pooti. Koinei tetahi atu take i whakatakoto ai acks=katoa he mea nui mo te riterite.
• Ka tuhia nga karere ki te kōpae i ia wa. Mēnā ka taka ngā kōpuku kāhui katoa i te wā kotahi, kātahi ka penapenahia ki runga i ngā kōpae ngā tauira me ngā momo wehenga rerekē. Tera pea ka hoki mai nga kaihokohoko ki runga ipurangi, ko te kaihautu hou kua pootihia ka noho ki muri i ana akonga na te mea i tiakina ia ki te kopae i mua i era atu.

Huihuinga me te kahui

Ina hono ano ki te kahui, ka pera ano nga tauira ki te rahua o te kaihautu: ka tirotirohia e ratou te tauira a te kaihautu me te tapahi i tana pororakau ki tana HW (i te wa o te pooti). Hei whakataurite, he rite tonu te whakaaro a RabbitMQ ki nga kopuku kua honoa ano he mea hou. I roto i nga take e rua, ka whakakorehia e te kaihokohoko nga ahuatanga o naianei. Mena ka whakamahia te tukutahitanga aunoa, me whakahoki e te rangatira nga mea katoa o naianei ki te whakaata hou ma te tikanga "kia tatari te ao katoa". Kaore te rangatira e whakaae ki nga mahi panui, tuhi ranei i tenei mahi. Ko tenei huarahi ka waihanga raruraru i roto i nga rarangi nui.

Ko te Kafka he rangitaki kua tohatohahia, a, i te nuinga o te waa, ka nui ake nga karere i te rarangi RabbitMQ, ka tangohia nga raraunga mai i te rarangi i muri i te panui. Me noho iti nga rarangi kaha. Engari ko te Kafka he raarangi me tana ake kaupapa here pupuri, ka taea te whakarite i nga ra, wiki ranei. Ko te arai tutira me te huarahi tukutahitanga karekau e whakaaetia mo te raarangi toha. Engari, ka tapatapahia noa e nga kaiwhaiwhai a Kafka a ratou raarangi ki te HW o te kaiarahi (i te wa o tana pootitanga) mena kei mua to raatau kape i te kaiarahi. I te mea pea, ina kei muri te kaiwhai, ka tiimata noa ia ki te tono tiki mai me tana LEO o naianei.

Ko nga kaiwhaiwhai hou, kua hono mai ranei ka timata i waho o te ISR, kaore e uru ki nga mahi. Ka mahi noa ratou ki te taha o te roopu, ka tere te whiwhi karere kia mau ra ano ratou ki te kaiarahi ka uru ki te ISR. Kaore he raka-i roto, kaore he take ki te maka atu i o raraunga katoa.

Te ngaronga hononga

He maha ake nga waahanga a Kafka i a RabbitMQ, no reira he momo uaua ake o nga whanonga ina momotu te tautau. Engari ko Kafka i hangaia mo nga tautau, no reira ka tino whakaarohia nga otinga.

Kei raro nei te maha o nga ahuatanga rahunga hononga:

• Scenario 1: Kare te kaiwhai e kite i te rangatira, engari ka kite tonu ia i te Kaitiaki Zookeeper.
• Scenario 2: Karekau te kaihautu e kite i nga kaiwhai, engari ka kite tonu ia i te Zookeeper.
• Scenario 3: Ka kite te kaiwhai i te rangatira, engari kare e kite i te Kai-tiaki kararehe.
• Scenario 4: Ka kite te kaihautu i nga kaiwhai, engari kare i kite i te Kaitiaki Kararehe.
• Tauari 5: He tino wehe te kaiwhai mai i etahi atu pona Kafka me Zookeeper.
• Tauari 6: He tino wehe te rangatira mai i etahi atu pona Kafka me Zookeeper.
• Tauari 7: Kaore e taea e te pukoro Kafka kaiwhakahaere te kite i tetahi atu node Kafka.
• Tauari 8: Karekau te kaiwhakahaere o Kafka e kite i te Zookeeper.

Kei ia ahuatanga ko ona ake whanonga.

Scenario 1: Kare a Kaiwhaiwhai e kite i te rangatira, engari ka kite tonu ia Zookeeper

raihi. 22. Tauari 1: ISR o nga tauira e toru

Ko te kore hononga ka wehea te kaihokohoko 3 mai i nga kaihokohoko 1 me te 2, engari kaua mai i te Zookeeper. Kaore e taea e te Kaihokohoko 3 te tuku tono tiki. I muri i te wa kua pahemo replica.lag.time.max.ms ka tangohia mai i te ISR, karekau e uru ki nga mahi karere. Kia whakahokia mai te hononga, ka hoki ano nga tono tiki ka uru atu ki te ISR ka mau ki te kaiarahi. Ka whiwhi tonu te Zookeeper i nga ping me te whakaaro kei te ora tonu te kaihokohoko.

raihi. 23. Tauari 1: Ka tangohia te kaihokohoko mai i te ISR mena karekau he tono tiki mai i a ia i roto i te waa replica.lag.time.max.ms

Karekau he roro wehe, he whakatārewatanga node ranei penei i a RabbitMQ. Engari, ka whakahekehia te taapiri.

Scenario 2: Karekau te Kaihautu e kite i nga kaiwhai, engari ka kite tonu ia i te Zookeeper

raihi. 24. Scenario 2. Kaihautu and two followers

Ko te pakaru o te hononga whatunga ka wehe te rangatira mai i nga kaiwhaiwhai, engari ka kite tonu te kaihokohoko i te Zookeeper. Ka rite ki te ahuatanga tuatahi, ka heke te ISR, engari i tenei wa ki te rangatira anake i te mea ka mutu nga kaiwhaiwhai katoa ki te tuku tono tiki. Ano, kaore he wehewehenga arorau. Engari, ka ngaro te mahi mo nga karere hou kia ora ra ano te hononga. Kei te whiwhi tonu a Zookeeper i nga ping me te whakapono kei te ora tonu te kaihokohoko.

raihi. 25. Scenario 2. Kua iti haere te ISR ki te rangatira anake

Scenario 3. Ka kite te Kaiwhaiwhai i te rangatira, engari kare i kite i te Kaitiaki Zookee

Kua wehea te kaiwhai mai i te Zookeeper, engari kaua mai i te kaihokohoko me te kaiarahi. Ko te mutunga, ka haere tonu te kaiwhai ki te tono tiki me te noho hei mema mo te ISR. Kare a Zookeeper e whiwhi ping me te rehita i te tukinga a te kaihokohoko, engari na te mea he kaiwhaiwhai noa, kaore he hua i muri i te whakaoranga.

raihi. 26. Tuatoru 3: Ka tukuna tonu e te kaiwhai nga tono tiki ki te rangatira

Scenario 4. Ka kite te kaiarahi i nga akonga, engari kaore i te kite i te Zookeeper

raihi. 27. Scenario 4. Kaihautu and two followers

Kua wehea te rangatira mai i te Zookeeper, engari kaua i nga kaihokohoko me nga kaiwhaiwhai.

raihi. 28. Tauari 4: Ka wehe te Kaihautu i te Zookeeper

Whai muri i etahi wa, ka rehitatia e Zookeeper te kore o te kaihokohoko me te whakamohio atu ki te kaiwhakahaere mo taua mea. Ka whiriwhiria e ia he rangatira hou i roto i ana akonga. Heoi, ka whakaaro tonu te kaihautu tuatahi ko ia te rangatira, ka whakaae tonu ki nga whakaurunga mai acks=1. Kua kore nga kaiwhaiwhai e tuku tono ki a ia, no reira ka whakaaro ia kua mate ratou ka ngana ki te whakaheke i te ISR ki a ia ano. Engari i te mea karekau he hononga ki te Zookeeper, kare e taea e ia, a i tera wa ka kore e whakaae ki etahi atu whakaurunga.

karere acks=katoa e kore e whiwhi mihi na te mea ka huri tuatahi te ISR i nga tauira katoa, kaore nga karere e tae atu ki a raatau. I te wa e ngana ana te rangatira tuatahi ki te tango i a raatau mai i te ISR, ka kore e taea, ka mutu te whakaae ki nga karere.

Kaore i roa ka kite nga kaihoko i te huringa o te kaiarahi ka timata ki te tuku rekoata ki te tūmau hou. Kia whakahokia mai te whatunga, ka kite te kaihautu tuatahi kua kore ia i te kaihautu, ka tapahia tana pororakau ki te uara HW i te kaihautu hou i te wa i kore ai e karo i te rereketanga o te rakau. Ka timata te tuku tono tiki ki te rangatira hou. Ka ngaro nga rekoata katoa mai i te kaihautu taketake kaore i te tukurua ki te rangatira hou. Arā, ka ngaro nga korero karekau i arohia e te kaihautu tuatahi i roto i nga hekona ruarua e mahi ana nga rangatira tokorua.

raihi. 29. Tauari 4. Ko te rangatira o te kaihokohoko 1 ka whai i muri i te whakahokinga o te whatunga

Tauari 5: He tino wehe te kaiwhai mai i etahi atu pona Kafka me Zookeeper

Kua wehea rawatia te kaiwhai mai i etahi atu kohanga Kafka me Zookeeper. Ka tango noa ia ia ia i te ISR tae noa ki te whakahoki mai i te whatunga, ka mau ki etahi atu.

raihi. 30. Tauari 5: Kua tangohia te kaiwhai i te ISR

Tauari 6: He tino wehe te rangatira mai i etahi atu pona Kafka me Zookeeper

raihi. 31. Scenario 6. Kaihautu and two followers

Ko te rangatira kua tino wehea mai i ana akonga, te kaiwhakahaere me te Zookeeper. Mo te wa poto ka whakaae tonu ia ki nga whakaurunga mai acks=1.

raihi. 32. Tauari 6: Te wehe i te rangatira mai i etahi atu pona Kafka me Zookeeper

Kaore i tae mai nga tono i muri i te paunga replica.lag.time.max.ms, ka ngana ki te whakaheke i te ISR ki a ia ano, engari kaore e taea te mahi na te mea kaore he korero ki a Zookeeper, katahi ka mutu te whakaae ki nga tuhi.

I tenei wa, ka tohuhia e Zookeeper te kaihokohoko taratahi kua mate, ka kowhiria e te kaiwhakahaere he rangatira hou.

raihi. 33. Scenario 6. Tokorua nga rangatira

Ka whakaae pea te kaihautu tuatahi ki nga whakaurunga mo etahi hēkona, engari ka mutu te whakaae ki nga karere. Ka whakahoutia nga kaihoko ia 60 hēkona me nga metadata hou. Ka whakamohiotia ratou mo te huringa kaiarahi, ka timata ki te tuku tuhinga ki te rangatira hou.

raihi. 34. Tauari 6: Ka huri nga Kaihanga ki tetahi rangatira hou

Katoa nga whakaurunga whakapumau i mahia e te rangatira taketake mai i te ngaro o te hononga ka ngaro. Kia whakahokia mai te whatunga, ka kitea e te rangatira taketake na Zookeeper ehara ia i te rangatira. Katahi ka tapatapahia tana rangitaki ki te HW o te kaihautu hou i te wa o te pooti ka timata te tuku tono hei kaiwhai.

raihi. 35. Tauari 6: Ka noho te kaihautu tuatahi hei kaiwhai i muri i te whakahokinga mai o te hononga whatunga

I tenei ahuatanga, ka puta pea te wehewehenga arorau mo te wa poto, engari mena acks=1 и min.insync.replicas hoki 1. Ka mutu aunoa te wehenga arorau i muri i te whakahokinga mai o te whatunga, ka mohio te kaihautu taketake ehara ia i te kaihautu, ka mohio ranei nga kiritaki katoa kua huri te rangatira ka timata ki te tuhi ki te kaihautu hou - ahakoa ka puta tuatahi. Ahakoa he aha, ka ngaro etahi karere, engari me te acks=1.

He rereke ano tenei ahuatanga, i mua tonu i te wehenga o te whatunga, ka taka nga kaiwhaiwhai ki muri, ka kopirihia e te rangatira te ISR ki a ia ano. Ka noho mokemoke na te ngaro o te hononga. Ka pootihia he kaihautu hou, engari ka whakaae tonu te rangatira tuatahi ki nga whakaurunga, ahakoa acks=katoa, no te mea kaore he tangata ke atu i roto i te ISR ko ia anake. Ka ngaro enei rekoata ina whakahokia mai te whatunga. Ko te huarahi anake hei karo i tenei whiringa min.insync.replicas = 2.

Tauari 7: Kare a Kafka Controller Node e kite i tetahi atu Node Kafka

I te nuinga o te wa, ka ngaro te hononga ki te node Kafka, kaore e taea e te kaiwhakahaere te tuku korero whakarereke rangatira ki a ia. I roto i te take kino rawa, ka arahina tenei ki te wehewehenga arorau mo te wa poto, penei i te ahuatanga 6. I te nuinga o nga wa, ka kore noa te kaihokohoko e riro hei kaitono mo te kaiarahi ki te kore te mutunga.

Tauari 8: Karekau te kaiwhakahaere o Kafka e kite i te Zookeeper

Karekau te Zookeeper e whiwhi ping mai i te kaihautu kua hinga, ka kowhiria he node Kafka hou hei kaiwhakahaere. Ka taea e te kaiwhakahaere taketake te whakaatu i a ia ano, engari kaore e whiwhi whakamohiotanga mai i te Zookeeper, na reira karekau he mahi hei mahi. Kia whakahokia mai te whatunga, ka mohio ia ehara ia i te kaiwhakahaere, engari kua noho hei Kafka node.

Nga whakatau mai i nga ahuatanga

Ka kite matou ko te ngaronga o te hononga o nga kaiwhai kaore e pa ki te ngaro o nga karere, engari ka whakaheke noa i te wa poto kia ora ra ano te whatunga. Ko te tikanga, ka ngaro pea nga raraunga mena ka ngaro tetahi, neke atu ranei nga pona.

Ki te wehea te kaihautu i te Zookeeper na te ngaro o te hononga, ka ngaro pea nga karere mai i acks=1. Ko te kore o te whakawhitiwhiti korero ki a Zookeeper he wa poto te wehewehenga ki nga rangatira e rua. Ka whakatauhia tenei raruraru e te tawhā acks=katoa.

Taumahi min.insync.replicas ki roto i nga tauira e rua, neke atu ranei, he whakapumautanga ano ka kore e ngaro nga karere penei i te Tauari 6.

Whakarāpopototanga o nga Karere Ngaro

Me whakarārangihia nga huarahi katoa ka ngaro nga raraunga i Kafka:

• Ko nga rahunga rangatira mena ka whakamanahia nga karere ma te whakamahi acks=1
• Tetahi whakawhitinga poke o te kaiarahi, ara, ki te pee i waho o te ISR, ahakoa me acks=katoa
• Te wehe i te kaihautu mai i te Zookeeper mena ka whakamanahia nga karere ma te whakamahi acks=1
• Ka oti te wehe o te rangatira kua whakaheke i te roopu ISR ki a ia ano. Ka ngaro katoa nga karere, ara acks=katoa. He pono noa tenei mena min.insync.replicas=1.
• Nga rahunga o te wa kotahi o nga waahanga wehewehe katoa. Na te mea ka whakaaehia nga karere mai i te mahara, kaore ano pea etahi kia tuhia ki te kōpae. I muri i te whakaara ano i nga kaitoro, kei te ngaro etahi karere.

Ka taea te karo i nga whakawhitinga arataki poke ma te aukati i a raatau, me te whakarite kia rua neke atu ranei. Ko te whirihoranga tino roa he huinga acks=katoa и min.insync.replicas neke atu i te 1.

Te whakataurite tika mo te pono o RabbitMQ me Kafka

Hei whakarite i te pono me te waatea nui, ka whakatinanahia e nga papa e rua he punaha tukurua tuatahi me te tuarua. Heoi, he rekereke Achilles a RabbitMQ. Ina hono ano i muri i te rahua, ka makahia e nga pona o raatau raraunga ka aukatihia te tukutahi. Ko tenei whammy rua e patai ana mo te roanga o nga rarangi nui i RabbitMQ. Me whakaae koe ki te whakaiti i nga mahi aukati, ki nga waa aukati roa ranei. Ko te whakaiti i te mahi ka nui ake te tupono o te ngaronga raraunga nui. Engari mena he iti nga rarangi, katahi ka taea te mahi mo nga wa poto o te kore e waatea (he hēkona ruarua) ma te whakamahi i nga ngana hononga hono.

Karekau tenei raruraru a Kafka. Ka whakakorehia nga raraunga mai i te waahi rereke i waenga i te kaiarahi me te kaiwhai. Ka tiakina nga raraunga tiritahi katoa. I tua atu, karekau te tukurua e aukati i te punaha. Ka whakaae tonu te kaihautu ki nga pou i te wa e mau ana te kaiwhai hou, no reira, mo nga devops, he mahi iti noa te hono atu, te hono atu ranei ki te roopu. Ko te tikanga, kei reira tonu nga take penei i te bandwidth whatunga i te waa tukurua. Mena ka taapirihia e koe nga kaiwhaiwhai maha i te wa kotahi, ka tupono pea koe ki te rohe bandwidth.

He pai ake a RabbitMQ ki a Kafka i runga i te pono ka taka nga kaitoro maha i roto i te tautau i te wa kotahi. Ka rite ki ta matou i korero ai, ka tukuna e RabbitMQ he whakapumautanga ki te kaiwhakaputa i muri noa i te tuhi o te karere ki te kōpae e te rangatira me nga whakaata katoa. Engari ka taapirihia he taapiri mo nga take e rua:

• fsync ia rau manomano
• Ko te korenga o te whakaata ka kitea noa i muri i te wa e ora ana nga paatete e tirotiro ana i te waatea o ia node (tiki kupenga) kua pau. Mēnā ka pōturi, ka taka rānei te whakaata, ka whakaroa tēnei.

Ko te peti a Kafka ko te mea ka penapenahia he karere puta noa i nga pona maha, ka taea e ia te whakaae ki nga karere ina pa ana ki te mahara. Na tenei, he tupono ka ngaro nga karere o tetahi momo (ara acks=katoa, min.insync.replicas=2) i te wa o te rahua i te wa kotahi.

I te katoa, ka whakaatu a Kafka i nga mahi rorohiko pai ake, a, i hangaia mai i te whenua mo nga tautau. Ka taea te whakanui ake te maha o nga kaiwhai ki te 11 mena e tika ana mo te pono. Tauwehe tukurua 5 me te iti rawa o nga tauira i roto i te tukutahitanga min.insync.replicas=3 ka meinga te ngaronga karere he huihuinga tino onge. Mēnā ka taea e tō hanganga te tautoko i tēnei ōwehenga tukurua me te taumata o te mahi, ka taea e koe te kōwhiri i tēnei kōwhiringa.

He pai te kohinga RabbitMQ mo nga rarangi iti. Engari ahakoa nga rarangi iti ka tere te tipu ina he nui nga waka. Kia nui haere nga rarangi, me tino whiriwhiri koe i waenga i te waatea me te pono. Ko te kohinga RabbitMQ he pai ake mo nga ahuatanga kore-ahua ka nui ake nga painga o te ngawari o RabbitMQ i nga ngoikoretanga o tana kohinga.

Ko tetahi rongoa mo te whakaraeraetanga a RabbitMQ ki nga rarangi nui ko te wawahi kia maha nga rarangi iti. Mena kaore koe e hiahia kia oti te ota mo te rarangi katoa, engari ko nga karere e tika ana (hei tauira, nga karere mai i tetahi kaihoko motuhake), kaore ranei koe e tono i tetahi mea, ka whakaaehia tenei whiringa: tirohia taku kaupapa Kaitaurite ki te wehewehe i te rarangi (kei te timatanga tonu te kaupapa).

Ka mutu, kaua e wareware ki te maha o nga pepeke i roto i te kohinga me nga tikanga tukurua o RabbitMQ me Kafka. I te roanga o te wa, kua pakari ake nga punaha me te pumau, engari karekau he karere e 100% haumaru mai i te mate! I tua atu, ka puta nga aitua nui i roto i nga pokapū raraunga!

Mena i ngaro ahau i tetahi mea, i he, kaore ranei koe e whakaae ki tetahi o nga tohu, tena koa tuhi korero, waea mai ranei ki ahau.

He maha nga wa ka pataihia ahau: "He aha te whiriwhiri, Kafka, RabbitMQ ranei?", "Ko tehea papaa te pai ake?". Ko te mea pono ka whakawhirinaki ki to ahuatanga, wheako o naianei, me etahi atu. Kei te mangere ahau ki te tuku i taku whakaaro na te mea he tino ngawari ki te taunaki i tetahi turanga mo nga keehi katoa me nga here ka taea. I tuhia e au tenei raupapa tuhinga kia taea e koe te hanga i to whakaaro ake.

E hiahia ana ahau ki te kii he rangatira nga punaha e rua mo tenei wahanga. He iti noa iho ahau na te mea mai i taku wheako ki nga kaupapa ka aro nui ahau ki nga mea penei i te ota karere me te pono.

Ka kite ahau i etahi atu hangarau karekau i tenei pono me te ota taurangi, katahi ka titiro ahau ki a RabbitMQ me Kafka ka mohio au ki te uara nui o enei punaha e rua.

Source: will.com