В sengoloa sa ho qetela re shebile lihlopha tsa RabbitMQ bakeng sa mamello ea liphoso le ho fumaneha ho phahameng. Joale a re cheke ka botebo ho Apache Kafka.

Mona unit of replication ke karohano. Sehlooho se seng le se seng se na le karolo e le 'ngoe kapa ho feta. Karolo ka 'ngoe e na le moetapele ea nang le balateli kapa ea se nang eona. Ha u theha sehlooho, u hlakisa palo ea likarolo le coefficient ea ho pheta-pheta. Boleng bo tloaelehileng ke 3, e bolelang likopi tse tharo: moetapele a le mong le balateli ba babeli.

Raese. 1. Likarolo tse 'ne li ajoa har'a barekisi ba bararo

Likopo tsohle tsa ho bala le ho ngola li ea ho moetapele. Nako le nako balateli ba romella likopo ho moetapele ho fumana melaetsa ea morao-rao. Bareki ha ho mohla ba retelehelang ho balateli; ea morao-rao e teng feela bakeng sa bofokoli le mamello ea liphoso.

Ho hloleha ho arola

Ha morekisi a hloleha, baetapele ba likarolo tse 'maloa hangata ba hloleha. Ho e 'ngoe le e' ngoe ea tsona, molateli ea tsoang node e 'ngoe e ba moetapele. Ha e le hantle, sena ha se joalo kamehla, kaha ntlha ea ho lumellana le eona e na le tšusumetso: hore na ho na le balateli ba lumellanang, 'me haeba ho se joalo, joale hore na ho fetola replica e sa lumellaneng ho lumelloa. Empa ha re seke ra thatafatsa lintho hajoale.

Broker 3 e tlohela marang-rang, 'me moetapele e mocha o khethoa bakeng sa karolo ea 2 ho broker 2.

Raese. 2. Broker 3 o hlokahetse mme molateli oa hae ho broker 2 o khethoa e le moetapele e mocha oa karolo ea 2.

Ebe broker 1 e siea le karolo ea 1 le eona e lahleheloa ke moetapele, eo karolo ea hae e fetelang ho broker 2.

Raese. 3. Ho setse broker e le 'ngoe. Baetapele bohle ba ho broker e le 'ngoe e sa hlokeng letho

Ha broker 1 e khutla inthaneteng, e eketsa balateli ba bane, e fana ka bofokoli bo itseng karolong ka 'ngoe. Empa baetapele bohle ba ne ba ntse ba lula ho broker 2.

Raese. 4. Baetapele ba lula ho broker 2

Ha broker 3 e hlaha, re khutlela ho replica tse tharo karohano ka 'ngoe. Empa baetapele bohle ba ntse ba le ho broker 2.

Raese. 5. Ho beoa ho sa leka-lekaneng ha baetapele kamora ho khutlisoa ha barekisi 1 le 3

Kafka e na le sesebelisoa sa moetapele ea betere ea ho leka-lekanya ho feta RabbitMQ. Ha u le moo, u ne u tlameha ho sebelisa plugin ea motho oa boraro kapa script e fetotseng maano a ho fallisa node e kholo ka ho fokotsa ho fokotseha nakong ea ho falla. Ho feta moo, bakeng sa mela e meholo re ne re tlameha ho amohela ho se fumanehe nakong ea khokahano.

Kafka e na le mohopolo oa "replicas e ratoang" bakeng sa karolo ea moetapele. Ha likarohano tsa lihlooho li thehoa, Kafka e leka ho aba baetapele ka ho lekana libakeng tsohle mme e tšoaea baetapele bao ba pele kamoo ba ratang. Ha nako e ntse e ea, ka lebaka la ho tsosolosa seva, ho hlōleha, le ho senyeha ha khokahanyo, baeta-pele ba ka 'na ba qetella ba le li-node tse ling, joalo ka tabeng e feteletseng e hlalositsoeng ka holimo.

Ho lokisa sena, Kafka e fana ka likhetho tse peli:

• Khetho auto.leader.rebalance.enable=nnete e lumella node ea taolo ho khutlisetsa baetapele ka bo eona ho li-replicas tse ratoang ebe ka tsela eo e khutlisetsa kabo e tšoanang.
• Motsamaisi a ka tsamaisa mongolo kafka-preferred-replica-election.sh bakeng sa ho abeloa bocha ka letsoho.

Raese. 6. Replicas ka mor'a hore rebalancing

Ena e ne e le mofuta o nolofalitsoeng oa ho hloleha, empa 'nete e rarahane ho feta, le hoja ho se letho le rarahaneng haholo mona. Tsohle li theohela ho likopi tse hokahaneng (In-Sync Replicas, ISR).

Synchronized Replicas (ISR)

ISR ke sehlopha sa likopi tsa karohano e nkoang e le "synchronized" (in-sync). Ho na le moetapele, empa ho kanna ha se be le balateli. Molatedi o nkuwa e le motho ya amahanngwang haeba a entse dikopi tse nepahetseng tsa melaetsa ya moetapele pele nako e fela. replica.lag.time.max.ms.

Molateli o tlosoa ho sete ea ISR haeba e:

• ha ea ka ea etsa kopo ea ho khetha bakeng sa nako replica.lag.time.max.ms (ho nahanoa hore o shoele)
• ha e khone ho ntlafatsa nakong ea nako replica.lag.time.max.ms (e nkuoa e le butle)

Balateli ba etsa likopo tsa sampole nakong eo replica.fetch.wait.max.ms, e sa fetoheng ho 500ms.

Ho hlalosa ka ho hlaka morero oa ISR, re lokela ho sheba litiiso tse tsoang ho mohlahisi le maemo a mang a ho hlōleha. Bahlahisi ba ka khetha ha morekisi a romella netefatso:

• acks=0, netefatso ha e ea romelloa
• acks=1, netefatso e romelloa ka mor'a hore moetapele a ngole molaetsa ho tlaleho ea sebaka sa habo
• acks=tsohle, netefatso e rometsoe ka mor'a hore likopi tsohle tse ho ISR li ngole molaetsa ho lits'oants'o tsa lehae.

Ka mantsoe a Kafka, haeba ISR e bolokile molaetsa, e "ikemiselitse". Acks=tsohle ke khetho e sireletsehileng ka ho fetisisa, empa hape e eketsa tieho e eketsehileng. Ha re shebeng mehlala e 'meli ea ho hloleha le hore na likhetho tse fapaneng tsa 'acks' li sebelisana joang le mohopolo oa ISR.

Acks=1 le ISR

Mohlala ona, re tla bona hore haeba moetapele a sa emele hore molaetsa o mong le o mong o tsoang ho balateli bohle o bolokehe, joale tahlehelo ea data e ka khoneha haeba moetapele a hlōleha. Ho ea ho molateli ea sa amaneng ho ka nolofalloa kapa ho sitisoa ka ho seta tlhopho.e sa hlwekang.moetapele.nontsha.

Mohlala ona, moetsi o na le boleng acks=1. Karolo e ajoa ho li-broker tse tharo kaofela. Broker 3 e ka morao, e hokahane le moetapele metsotsong e robeli e fetileng mme joale e na le melaetsa e 7456 ka morao. Broker 1 e ne e le motsotsoana o le mong feela ka morao. Moetsi oa rona o romela molaetsa 'me ka potlako o amohela ack back, ntle le ho feta ha balateli ba liehang kapa ba shoeleng bao moetapele a sa e emetseng.

Raese. 7. ISR e nang le likopi tse tharo

Broker 2 e hloleha mme moetsi o fumana phoso ea khokahano. Kamora hore boetapele bo fetele ho broker 1, re lahleheloa ke melaetsa ea 123. Molateli ho broker 1 e ne e le karolo ea ISR, empa e ne e sa lumellane ka botlalo le moetapele ha e oa.

Raese. 8. Melaetsa e lahlehile ha e thula

Ka tlhophiso bootstrap.server Moetsi o na le barekisi ba 'maloa ba thathamisitsoeng mme a ka botsa morekisi e mong hore na ke mang moetapele oa karolo e ncha. Ebe e theha khokahano ho broker 1 mme e tsoela pele ho romella melaetsa.

Raese. 9. Ho romela melaetsa ho tsoela pele ka mor'a khefu e khutšoanyane

Broker 3 e saletse morao le ho feta. E etsa likopo tsa ho lata empa ha e khone ho hokahanya. Sena se kanna sa bakoa ke khokahano ea marang-rang e liehang lipakeng tsa barekisi, taba ea polokelo, joalo-joalo. E tlositsoe ho ISR. Hona joale ISR e na le setšoantšo se le seng - moetapele! Moetsi o ntse a tsoela pele ho romella melaetsa le ho fumana linetefatso.

Raese. 10. Molateli ho broker 3 o tlosoa ho ISR

Broker 1 e theoha mme karolo ea boetapele e ea ho broker 3 ka tahlehelo ea melaetsa ea 15286! Moetsi o fumana molaetsa oa phoso ea khokahanyo. Phetoho ho moetapele ka ntle ho ISR e ne e khoneha feela ka lebaka la boemo tse sa hloekang.khetho.ea moetapele.nolefatsa=nnete. Haeba e kentsoe ho bohata, joale phetoho e ne e ke ke ea etsahala 'me likōpo tsohle tsa ho bala le ho ngola li ne li tla hanoa. Tabeng ena, re emetse broker 1 hore a khutle le data ea hae e sa fetoheng setšoantšong, e tla boela e nke boetapele.

Raese. 11. Broker 1 e oa. Ha ho hloleha ho etsahala, palo e kholo ea melaetsa e lahleha

Mohlahisi o theha khokahano le morekisi oa ho qetela mme o bona hore joale ke moetapele oa karolo. O qala ho romella melaetsa ho broker 3.

Raese. 12. Ka mor'a khefu e khutšoanyane, melaetsa e romelloa hape karolong ea 0

Re bone hore, ntle le litšitiso tse khutšoane ho theha likhokahano tse ncha le ho batla moetapele e mocha, moetsi o ne a lula a romella melaetsa. Sebopeho sena se tiisa ho fumaneha ka litšenyehelo tsa ho lumellana (tšireletso ea data). Kafka o ile a lahleheloa ke melaetsa e likete empa a tsoela pele ho amohela mangolo a macha.

Acks=tsohle le ISR

Ha re pheteng boemo bona hape, empa ka matsoaka=tsohle. Broker 3 e na le latency ea metsotsoana e mene. Moetsi o romela molaetsa ka matsoaka=tsohle, ’me hona joale ha e fumane karabelo e potlakileng. Moetapele o emetse hore molaetsa o bolokehe ke likopi tsohle ho ISR.

Raese. 13. ISR e nang le likopi tse tharo. E 'ngoe e lieha, e bakang tieho ea ho rekota

Kamora metsotsoana e mene ea tieho e eketsehileng, broker 2 e romella ack. Likopi tsohle li se li nchafalitsoe ka botlalo.

Raese. 14. Likopi tsohle li boloka melaetsa le ho romella ack

Broker 3 joale e oela morao haholo mme e tlosoa ho ISR. Latency e fokotsehile haholo hobane ha ho na likopi tse liehang tse setseng ho ISR. Broker 2 hajoale e emetse broker 1 feela, mme o na le sekhahla sa 500 ms.

Raese. 15. Setšoantšo sa broker 3 se tlosoa ho ISR

Ebe broker 2 e oa mme boetapele bo fetela ho broker 1 ntle le tahlehelo ea melaetsa.

Raese. 16. Broker 2 e oa

Moetsi o fumana moetapele e mocha mme o qala ho mo romella melaetsa. The latency e fokotsehile hape hobane ISR joale e na le setšoantšo se le seng! Ka hona, khetho matsoaka=tsohle ha e eketse bofokoli.

Raese. 17. Replica ho broker 1 e etella pele ntle le ho lahleheloa ke melaetsa

Ebe broker 1 e senyeha mme moetapele o ea ho broker 3 ka tahlehelo ea melaetsa ea 14238!

Raese. 18. Broker 1 e shoa le phetoho ea boetapele e nang le maemo a sa hloekang a fella ka tahlehelo e pharaletseng ea data

Ha rea ​​khona ho kenya khetho tlhopho.e sa hlwekang.moetapele.nontsha ho ba le moelelo 'nete. Ka kamehla e lekana bohata. Litlhophiso matsoaka=tsohle с tse sa hloekang.khetho.ea moetapele.nolefatsa=nnete e fana ka phihlello ka tshireletso e itseng ya data. Empa joalo ka ha u bona, re ntse re ka lahleheloa ke melaetsa.

Empa ho thoe'ng haeba re batla ho eketsa ts'ireletso ea data? U ka beha e sa hloekang.moetapele.kgetho.noble = bohata, empa sena se ke ke sa re sireletsa ho lahleheloa ke data. Haeba moeta-pele a oela ka thata 'me a nka data ka eona, joale melaetsa e ntse e lahlehile, hammoho le ho fumaneha ho lahleheloa ho fihlela mookameli a tsosolosa boemo.

Ho molemo ho etsa bonnete ba hore melaetsa eohle ha e na thuso, 'me ho seng joalo u lahle ho rekota. Joale, bonyane ho ea ka pono ea broker, tahlehelo ea data e ka khoneha feela ha ho ka ba le liphoso tse peli kapa ho feta ka nako e le 'ngoe.

Acks=tsohle, min.insync.replicas le ISR

Ka tlhophiso ea sehlooho min.insync.replicas Re ntse re eketsa boemo ba ts'ireletso ea data. Ha re feteleng karolong ea ho qetela ea boemo bo fetileng hape, empa lekhetlong lena ka min.insync.replicas=2.

Kahoo broker 2 e na le moetapele oa replica mme molateli ho broker 3 o tlosoa ho ISR.

Raese. 19. ISR ho tsoa ho likopi tse peli

Broker 2 e oa mme boetapele bo fetela ho broker 1 ntle le tahlehelo ea melaetsa. Empa joale ISR e na le setšoantšo se le seng feela. Sena ha se finyelle palo e fokolang ea ho fumana litlaleho, kahoo morekisi o arabela tekong ea ho ngola ka phoso NotEnoughReplicas.

Raese. 20. Palo ea li-ISR e ka tlase e le 'ngoe ho feta e boletsoeng ho min.insync.replicas

Tokiso ena e tela ho fumaneha ha maemo. Pele re amohela molaetsa, re etsa bonnete ba hore o ngoletsoe bonyane likopi tse peli. Sena se fa moetsi kholiseho e eketsehileng. Mona, tahlehelo ea molaetsa e ka khoneha haeba likopi tse peli li hloleha ka nako e le 'ngoe ka nako e khuts'oane ho fihlela molaetsa o phetoa ho molateli ea eketsehileng, e leng ntho e ke keng ea etsahala. Empa haeba u le paranoid e kholo, u ka beha ntlha ea ho ikatisa ho 5, le min.insync.replicas ka 3. Mona barekisi ba bararo ba tlameha ho oa ka nako e le 'ngoe ho lahleheloa ke rekoto! Ha e le hantle, u lefella botšepehi bona ka latency e eketsehileng.

Ha phihlello e hlokahala bakeng sa tshireletso ya data

Joalo ka nyeoe le RabbitMQ, ka linako tse ling phihlello ea hlokahala bakeng sa ts'ireletso ea data. Mona ke seo u hlokang ho nahana ka sona:

• Na mohatisi a ka khutlisa phoso 'me a be le litšebeletso tse holimo kapa mosebelisi a leke hape hamorao?
• Na mohatisi a ka boloka molaetsa sebakeng sa heno kapa polokelong ea boitsebiso ho leka hape hamorao?

Haeba karabo e le che, joale ho ntlafatsa ho fumaneha ho ntlafatsa ts'ireletso ea data. U tla lahleheloa ke data e nyane haeba u khetha ho fumaneha ho fapana le ho se rekota. Kahoo, tsohle li theoha ho fumana tekanyo, 'me qeto e itšetlehile ka boemo bo itseng.

Tlhaloso ea ISR

ISR suite e u lumella ho khetha tekanyo e nepahetseng pakeng tsa ts'ireletso ea data le latency. Ka mohlala, etsa bonnete ba ho ba teng ha boholo ba likopi li hlōleha, ho fokotsa tšusumetso ea likopi tse shoeleng kapa tse liehang ho latela latency.

Re ikhethela moelelo replica.lag.time.max.ms ho ya ka ditlhoko tsa hao. Ha e le hantle, parameter ena e bolela hore na re ikemiselitse ho amohela tieho e kae neng matsoaka=tsohle. Boleng ba kamehla ke metsotsoana e leshome. Haeba sena se le telele haholo ho uena, u ka se fokotsa. Joale palo ea liphetoho ho ISR e tla eketseha, kaha balateli ba tla tlosoa le ho eketsoa hangata.

RabbitMQ ke feela sete ea liipone tse hlokang ho kopitsoa. Liipone tse liehang li hlahisa latency e eketsehileng, 'me liipone tse shoeleng li ka ema ho fihlela lipakete tse hlahlobang ho fumaneha ha node e' ngoe le e 'ngoe (net tick) ho arabela. ISR ke mokhoa o khahlisang oa ho qoba litaba tsena tsa latency. Empa re kotsing ea ho lahleheloa ke redundancy kaha ISR e ka honyela ho moetapele. Ho qoba kotsi ena, sebelisa maemo min.insync.replicas.

Tiisetso ea khokahanyo ea bareki

Litsong bootstrap.server moetsi le moreki ba ka hlakisa barekisi ba bangata bakeng sa ho hokahanya bareki. Khopolo ke hore ha node e le 'ngoe e theoha, ho na le tse' maloa tse setseng tseo mofani a ka bulang khokahanyo ka tsona. Bana ha se hakaalo hore ke baetapele ba likarolo, empa ke sethatho feela sa ho qala ho kenya. Moreki a ka ba botsa hore na ke node efe e tsamaisang moetapele oa karohano ea ho bala / ho ngola.

Ho RabbitMQ, bareki ba ka hokela node efe kapa efe, 'me tsela ea ka hare e romela kopo moo e lokelang ho ea teng. Sena se bolela hore o ka kenya tekanyo ea mojaro ka pel'a RabbitMQ. Kafka e hloka hore bareki ba hokahane le node e tsamaisang moeta-pele oa karohano. Boemong bo joalo, u ke ke ua kenya tekanyo ea mojaro. Lenane bootstrap.server Ho bohlokoa hore bareki ba fihle le ho fumana li-node tse nepahetseng ka mor'a ho hloleha.

Kafka Consensus Architecture

Ho fihlela joale, ha re so nahane hore na sehlopha se ithuta joang ka ho oa ha broker le hore na moetapele e mocha o khethoa joang. Ho utloisisa hore na Kafka e sebetsa joang le likarolo tsa marang-rang, u lokela ho qala ka ho utloisisa meralo ea tumellano.

Sehlopha se seng le se seng sa Kafka se sebelisoa hammoho le sehlopha sa Zookeeper, e leng ts'ebeletso ea tumellano e ajoang e lumellang sistimi ho fihlela tumellano mabapi le naha e itseng, e etelletsa pele botsitso ho feta ho fumaneha. Tumello ea bongata ba libaka tsa Zookeeper ea hlokahala ho fana ka tumello ea ho bala le ho ngola.

Zookeeper e boloka boemo ba sehlopha:

• Lethathamo la lihlooho, likarolo, tlhophiso, likopi tsa baetapele ba hajoale, likopi tse ratoang.
• Litho tsa sehlopha. Morekisi e mong le e mong o penya sehlopha sa Zookeeper. Haeba e sa fumane ping ka nako e behiloeng, Zookeeper e tlaleha hore morekisi ha a fumanehe.
• Ho khetha li-node tse ka sehloohong le tse setseng bakeng sa molaoli.

Node ea taolo ke e 'ngoe ea barekisi ba Kafka ba ikarabellang bakeng sa ho khetha baetapele ba replica. Zookeeper e romela litemoso ho molaoli mabapi le litho tsa sehlopha le liphetoho tsa lihlooho, 'me molaoli o tlameha ho nka khato ka liphetoho tsena.

Ka mohlala, ha re nke sehlooho se secha se nang le likarolo tse leshome le ntlha ea ho pheta-pheta ea 3. Molaoli o tlameha ho khetha moetapele bakeng sa karohano ka 'ngoe, a leke ho aba baeta-pele ka mokhoa o nepahetseng har'a barekisi.

Bakeng sa molaoli ka mong oa karolo:

• e nchafatsa tlhahisoleseling ho Zookeeper mabapi le ISR le moetapele;
• E romella MoetapeleAndISRCommand ho morekisi e mong le e mong ea tsamaisang setšoantšo sa karohano ena, e tsebisa barekisi ka ISR le moetapele.

Ha morekisi ea nang le moetapele a oa, Zookeeper e romela tsebiso ho molaoli, 'me e khetha moetapele e mocha. Hape, molaoli o qala ho nchafatsa Zookeeper ebe o romela taelo ho morekisi e mong le e mong ho ba tsebisa ka phetoho ea boetapele.

Moetapele e mong le e mong o na le boikarabello ba ho hira li-ISR. Litlhophiso replica.lag.time.max.ms e etsa qeto ea hore na ke mang ea tla kena moo. Ha ISR e fetoha, moetapele o fetisetsa tlhahisoleseling e ncha ho Zookeeper.

Zookeeper o lula a tsebisoa ka liphetoho leha e le life e le hore ha ho ka ba le ho hlōleha, tsamaiso e fetela ho moetapele e mocha hantle.

Raese. 21. Kafka Consensus

Replication protocol

Ho utloisisa lintlha tsa ho pheta-pheta ho u thusa ho utloisisa hamolemo maemo a ka bang teng a tahlehelo ea data.

Lipotso tsa sampole, Log End Offset (LEO) le Highwater Mark (HW)

Re nahanne hore balateli ba nako le nako ba romella likopo tsa ho lata ho moetapele. Nako ea kamehla ke 500ms. Sena se fapane le RabbitMQ ka hore ho pheta-pheta ha RabbitMQ ha ho qaloe ke seipone sa queue empa ke monghali. Monghali o sutumelletsa liphetoho ho liipone.

Moetapele le balateli bohle ba boloka label ea Log End Offset (LEO) le Highwater (HW). Letšoao la LEO le boloka molaetsa oa ho qetela setšoantšong sa lehae, 'me HW e na le phello ea boitlamo ba ho qetela. Hopola hore bakeng sa boemo ba boitlamo, molaetsa o tlameha ho fetisetsoa ho likopi tsohle tsa ISR. Sena se bolela hore LEO hangata e ka pele hanyane ho feta HW.

Ha moetapele a fumana molaetsa, o o boloka sebakeng sa heno. Molateli o etsa kopo ea ho lata ka ho fetisetsa LEO ea hae. Moetapele ebe o romella sehlopha sa melaetsa ho qala ho LEO ena hape o fetisetsa HW ea hajoale. Ha moetapele a fumana leseli la hore likopi tsohle li bolokile molaetsa sebakeng se fanoeng, e tsamaisa letšoao la HW. Ke moetapele feela ea ka tsamaisang HW, kahoo balateli bohle ba tla tseba boleng ba hona joale likarabong tsa kopo ea bona. Sena se bolela hore balateli ba ka salla morao molaetseng le tsebong ea HW. Bareki ba fumana melaetsa feela ho fihlela ho HW ea hajoale.

Hlokomela hore "phehella" e bolela ho ngoloa mohopolong, eseng ho disk. Bakeng sa ts'ebetso, Kafka e lumellana le disk ka nako e itseng. RabbitMQ e boetse e na le nako e joalo, empa e tla romela tumello ho mohoeletsi feela ka mor'a hore monghali le liipone tsohle ba ngole molaetsa ho disk. Bahlahisi ba Kafka, ka mabaka a ts'ebetso, ba ile ba etsa qeto ea ho romela ack hang ha molaetsa o ngotsoe mohopolong. Kafka e becha ka hore redundancy e fokotsa kotsi ea ho boloka ka bokhutšoanyane melaetsa e ananeloang mohopolong feela.

Ho hloleha ha moetapele

Ha moetapele a oa, Zookeeper e tsebisa molaoli, 'me e khetha setšoantšo sa moetapele e mocha. Moetapele e mocha o beha letšoao le lecha la HW ho latela LEO ea hae. Ka mor'a moo, balateli ba fumana boitsebiso bo mabapi le moetapele e mocha. Ho latela mofuta oa Kafka, molateli o tla khetha e 'ngoe ea maemo a mabeli:

1. E tla fokotsa tlaleho ea lehae ho HW e tsebahalang mme e romele kopo ho moetapele e mocha bakeng sa melaetsa ka mor'a letšoao lena.
2. E tla romela kopo ho moetapele hore a fumane HW ka nako eo a neng a khetheloa ho ba moetapele, ebe o fokotsa logong ho fihlela sena. Joale e tla qala ho etsa likopo tsa ho lata nako le nako ho qala ka nako ena.

Ho ka 'na ha hlokahala hore molateli a fokotse log ka mabaka a latelang:

• Ha moetapele a hloleha, molateli oa pele sehlopheng sa ISR se ngolisitsoeng le Zookeeper o hapa likhetho mme e ba moetapele. Balateli bohle ba ISR, leha ba nkuoa "ba lumellana," e kanna eaba ha ba so fumane likopi tsa melaetsa eohle ho tsoa ho moetapele oa mehleng. Hoa khoneha hore molateli ea hlahang ha a na kopi ea morao-rao. Kafka e netefatsa hore ha ho na phapang lipakeng tsa likopi. Kahoo, ho qoba liphapang, molateli e mong le e mong o tlameha ho fokotsa tlaleho ea hae ho boleng ba HW ba moetapele e mocha nakong ea khetho ea hae. Lena ke lebaka le leng la ho beha matsoaka=tsohle e bohlokoa haholo bakeng sa botsitso.
• Melaetsa e ngoloa nako le nako ho disk. Haeba li-node tsohle tsa lihlopha li hlōleha ka nako e le 'ngoe, joale likopi tse nang le li-offsets tse fapaneng li tla bolokoa ho li-disk. Ho ka etsahala hore ha barekisi ba khutlela inthaneteng, moetapele e mocha ea khethiloeng o tla ba kamora balateli ba hae hobane o ne a bolokoa ho disk pele ho ba bang.

Ho kopana hape le sehlopha

Ha li kopana hape, li-replicas li etsa se tšoanang le ha moetapele a hlōleha: li hlahloba setšoantšo sa moetapele ebe li fokotsa logo ea tsona ho HW ea eona (ka nako ea likhetho). Ha ho bapisoa, RabbitMQ ka ho lekana e nka li-node tse kopaneng e le tse ncha ka ho felletseng. Maemong ana ka bobeli, morekisi o lahla boemo bofe kapa bofe bo teng. Haeba ho sebelisoa khokahano ea othomathiki, joale monghali o tlameha ho pheta litaba tsohle tsa hona joale seiponeng se secha ka mokhoa oa "lefats'e lohle le eme". Monghali ha a amohele ts'ebetso efe kapa efe ea ho bala kapa ho ngola nakong ea ts'ebetso ena. Mokhoa ona o baka mathata meleng e meholo.

Kafka ke log e ajoang 'me ka kakaretso e boloka melaetsa e mengata ho feta RabbitMQ queue, moo data e tlosoang teng ka mor'a hore e baloe. Mela e ntseng e sebetsa e lokela ho lula e le nyane. Empa Kafka ke log e nang le pholisi ea eona ea ho boloka, e ka behang nako ea matsatsi kapa libeke. Mokhoa oa ho thibela mela le ho hokahanya ka botlalo ha o amohelehe ho hang bakeng sa log e ajoang. Ho e-na le hoo, balateli ba Kafka ba fokotsa lenane la bona ho HW ea moetapele (ka nako ea likhetho tsa hae) haeba kopi ea bona e le ka pele ho moetapele. Boemong bo ka etsahalang, ha molateli a le ka morao, o qala ho etsa likopo tsa ho lata ho qala ka LEO ea eona ea hajoale.

Balateli ba bacha kapa ba ikopantseng ba qala kantle ho ISR mme ha ba nke karolo ho boitlamo. Ba sebetsa feela le sehlopha, ba amohela melaetsa ka potlako kamoo ba ka khonang ho fihlela ba kopana le moetapele mme ba kena ho ISR. Ha ho na ho notlela 'me ha ho hlokahale hore u lahle data eohle ea hau.

Tahlehelo ya kgokelo

Kafka e na le likarolo tse ngata ho feta RabbitMQ, kahoo e na le mekhoa e rarahaneng haholoanyane ea boitšoaro ha sehlopha se khaoha. Empa qalong Kafka e ne e etselitsoe lihlopha, kahoo litharollo li nahanoa hantle haholo.

Ka tlase ho na le maemo a 'maloa a ho hloleha ha khokahano:

• Ketsahalo ea 1: Molateli ha a bone moetapele, empa o ntse a bona Mohlokomeli oa Liphoofolo.
• Boemo ba 2: Moetapele ha a bone balateli, empa o ntse a bona Zookeeper.
• Ketsahalo ea 3: Molateli o bona moetapele, empa ha a bone Mohlokomeli oa Zookeeper.
• Ketsahalo ea 4: Moetapele o bona balateli, empa ha a bone Mohlokomeli oa Zookeeper.
• Boemo ba 5: Molateli o arohane ka ho feletseng le libaka tse ling tsa Kafka le Zookeeper.
• Boemo ba 6: Moeta-pele o arohane ka ho feletseng le libaka tse ling tsa Kafka le Zookeeper.
• Boemo ba 7: Sebaka sa taolo ea Kafka ha se bone node e 'ngoe ea Kafka.
• Boemo ba 8: Molaoli oa Kafka ha a bone Zookeeper.

Ketsahalo ka 'ngoe e na le boitšoaro ba eona.

Boemo ba 1: Molateli ha a bone moetapele, empa o ntse a bona Zookeeper

Raese. 22. Boemo ba 1: ISR ea likopi tse tharo

Ho hloleha ha khokahano ho arola broker 3 ho barekisi 1 le 2, empa eseng ho Zookeeper. Broker 3 ha e sa khona ho romela likopo tsa ho lata. Kamora hore nako e fete replica.lag.time.max.ms e tlosoa ho ISR mme ha e kopanele melaetsa ea melaetsa. Hang ha khokahanyo e tsosolositsoe, e tla boela e qale ho lata likopo ebe e ikopanya le ISR ha e kopana le moetapele. Zookeeper o tla tsoelapele ho amohela li-pings mme a nke hore morekisi oa phela ebile o phetse hantle.

Raese. 23. Boemo ba 1: Morekisi o tloswa ho ISR haeba ho sa amohelwe kopo ya ho lata ka nako ya replica.lag.time.max.ms

Ha ho na ho emisoa ha boko bo arohaneng kapa node joalo ka RabbitMQ. Ho e-na le hoo, ho fokotseha hoa fokotseha.

Boemo ba 2: Moetapele ha a bone balateli, empa o ntse a bona Zookeeper

Raese. 24. Ketsahalo ea 2. Moetapele le balateli ba babeli

Ho senyeha ha khokahano ea marang-rang ho arola moetapele ho balateli, empa morekisi o ntse a ka bona Zookeeper. Joalo ka ketsahalong ea pele, ISR ea fokotseha, empa lekhetlong lena ho moetapele feela ha balateli bohle ba emisa ho romella likopo tsa ho lata. Hape, ha ho na karohano e utloahalang. Ho e-na le hoo, ho na le tahlehelo ea ho fokotseha bakeng sa melaetsa e mecha ho fihlela khokahanyo e tsosolosoa. Zookeeper o ntse a tsoela pele ho amohela li-pings mme o lumela hore morekisi o ntse a phela.

Raese. 25. Boemo ba 2. ISR e fokotsehile ho moetapele feela

Ketsahalo ea 3. Molateli o bona moetapele, empa ha a bone Mohlokomeli oa Zookeeper

Molateli o arohane le Zookeeper, empa eseng ho broker le moetapele. Ka lebaka leo, molateli o tsoela pele ho etsa likopo tsa ho lata le ho ba setho sa ISR. Zookeeper ha e sa amohela li-pings mme e ngolisa ho senyeha ha broker, empa kaha ke molateli feela, ha ho na liphello ka mor'a ho hlaphoheloa.

Raese. 26. Boemo 3: Molateli o tsoela pele ho romela likopo tsa ho lata ho moetapele

Boemo ba 4. Moetapele o bona balateli, empa ha a bone Zookeeper

Raese. 27. Ketsahalo ea 4. Moetapele le balateli ba babeli

Moetapele o arohane le Zookeeper, empa eseng ho barekisi ba nang le balateli.

Raese. 28. Tšoantšiso ea 4: Moetapele ea arotsoeng ho Zookeeper

Kamora nako e itseng, Zookeeper e tla ngolisa ho hloleha ha barekisi mme e tsebise molaoli ka eona. O tla kgetha moetapele e motjha hara balatedi ba hae. Leha ho le joalo, moetapele oa pele o tla tsoelapele ho nahana hore ke moetapele mme o tla tsoelapele ho amohela lipehelo tse tsoang ho makhapetla=1. Balateli ha ba sa mo romella likopo tsa ho lata, kahoo o tla li nka li shoele mme a leke ho inyenyefatsa ISR. Empa kaha ha e na khokahano le Zookeeper, e ke ke ea khona ho etsa sena, 'me ka nako eo e tla hana ho amohela likenyelletso tse ling hape.

Melaetsa matsoaka=tsohle e ke ke ea amoheloa hobane ISR e qala ka ho bulela likopi tsohle, 'me melaetsa ha e fihle ho bona. Ha moetapele oa pele a leka ho ba tlosa ho ISR, e ke ke ea khona ho etsa joalo mme e tla khaotsa ho amohela melaetsa leha e le efe ho hang.

Haufinyane bareki ba hlokomela phetoho ea moetapele mme ba qala ho romella lirekoto ho seva e ncha. Hang ha marang-rang a tsosolositsoe, moeta-pele oa pele o bona hore ha e sa le moetapele mme o fokotsa lenane la eona ho boleng ba HW boo moetapele e mocha a neng a e-na le bona nakong ea ho hlōleha ho qoba ho fapana ha log. Joale e tla qala ho romela likopo tsa ho lata ho moetapele e mocha. Lirekoto tsohle tse tsoang ho moetapele oa pele tse sa kang tsa phetoa ho moetapele e mocha li lahlehile. Ke hore, melaetsa e sa kang ea ananeloa ke moetapele oa pele metsotsoaneng eo e seng mekae ha baetapele ba babeli ba ntse ba sebetsa e tla lahleha.

Raese. 29. Boemo ba 4. Moeta-pele ho broker 1 e ba molateli ka mor'a hore marang-rang a tsosolosoe

Boemo ba 5: Molateli o arohane ka ho feletseng le libaka tse ling tsa Kafka le Zookeeper

Molateli o arohane ka ho feletseng le libaka tse ling tsa Kafka le Zookeeper. O itokolla feela ho ISR ho fihlela marang-rang a tsosolosoa, ebe o tšoara ba bang.

Raese. 30. Boemo ba 5: Molateli ea ikarotseng o tlosoa ho ISR

Boemo ba 6: Moeta-pele o arohane ka ho feletseng le libaka tse ling tsa Kafka le Zookeeper

Raese. 31. Ketsahalo ea 6. Moetapele le balateli ba babeli

Moeta-pele o arotsoe ka ho feletseng ho balateli ba hae, molaoli le Zookeeper. Ka nako e khuts'oane e tla tsoelapele ho amohela lipehelo tse tsoang ho makhapetla=1.

Raese. 32. Boemo ba 6: Ho arola moetapele ho tse ling tsa Kafka le Zookeeper nodes

Ha o so fumane likopo kamora ho felloa ke nako replica.lag.time.max.ms, e tla leka ho fokotsa ISR ho eona, empa e ke ke ea khona ho etsa joalo hobane ha ho na puisano le Zookeeper, joale e tla khaotsa ho amohela ho ngola.

Ho sa le joalo, Zookeeper o tla tšoaea morekisi ea ikhethileng hore o shoele mme molaoli o tla khetha moetapele e mocha.

Raese. 33. Ketsahalo ea 6. Baetapele ba babeli

Moetapele oa pele a ka amohela likenyelletso ka metsotsoana e seng mekae, empa a tlohele ho amohela melaetsa efe kapa efe. Bareki ba ntlafatsoa metsotsoana e meng le e meng e 60 ka metadata ea morao-rao. Ba tla tsebisoa ka phetoho ea moetapele 'me ba tla qala ho romela melaetsa ho moetapele e mocha.

Raese. 34. Boemo ba 6: Baetsi ba fetohela ho moetapele e motjha

Likenyo tsohle tse netefalitsoeng tse entsoeng ke moetapele oa mantlha ho tloha ha tahlehelo ea khokahano e tla lahleha. Hang ha marang-rang a tsosolositsoe, moetapele oa pele o tla fumana ka Zookeeper hore ha e sa le moetapele. Ebe e tla fokotsa lethathamo la eona ho HW ea moetapele e mocha ka nako ea likhetho ebe e qala ho romela likopo joalo ka molateli.

Raese. 35. Ketsahalo ea 6: Moeta-pele oa pele e ba molateli ka mor'a hore khokahano ea marang-rang e tsosolosoe

Boemong bona, karohano e utloahalang e ka etsahala ka nako e khutšoanyane, empa feela haeba makhapetla=1 и min.insync.replicas hape 1. Karohano e utloahalang e fela ka mor'a hore marang-rang a tsosolosoe, ha moeta-pele oa pele a hlokomela hore ha e sa le moetapele, kapa ha bareki bohle ba hlokomela hore moetapele o fetohile mme o qala ho ngolla moetapele e mocha - ho sa tsotellehe hore na ho etsahala'ng pele. Leha ho le joalo, melaetsa e meng e tla lahleha, empa feela ka makhapetla=1.

Ho na le phapang e 'ngoe ea boemo bona moo, nakoana pele marang-rang a arohana, balateli ba ile ba oela ka morao' me moetapele a hatella ISR ho eena feela. E ntan'o ba thōko ka lebaka la tahlehelo ea khokahanyo. Ho khethoa moetapele e mocha, empa moetapele oa pele o ntse a tsoela pele ho amohela lipehelo, esita le matsoaka=tsohle, hobane ha ho motho e mong ho ISR haese eena. Litlaleho tsena li tla lahleha hang ha marang-rang a tsosolosoa. Tsela feela ea ho qoba khetho ena ke min.insync.replicas = 2.

Boemo ba 7: Sebaka sa Molaoli oa Kafka ha se Bona Node e 'ngoe ea Kafka

Ka kakaretso, hang ha khokahano le node ea Kafka e lahlehile, molaoli a ke ke a khona ho fetisetsa tlhahisoleseling ho moeta-pele ofe kapa ofe. Boemong bo bobe ka ho fetisisa, sena se tla lebisa karohano ea nako e khutšoanyane e utloahalang, joalo ka boemo ba 6. Hangata ho feta moo, broker e ke ke ea e-ba mokhethoa oa boeta-pele haeba ho qetela ho hlōleha.

Boemo ba 8: Molaoli oa Kafka ha a bone Zookeeper

Zookeeper e ke ke ea amohela ping ho tsoa ho molaoli ea oeleng mme o tla khetha node e ncha ea Kafka joalo ka molaoli. Molaoli oa mantlha a ka tsoela pele ho itlhahisa joalo, empa ha a fumane litemoso ho tsoa ho Zookeeper, ka hona e ke ke ea ba le mesebetsi ea ho e etsa. Hang ha marang-rang a tsosolosoa, o tla hlokomela hore ha e sa le molaoli, empa e se e le node e tloaelehileng ea Kafka.

Qetello ho tsoa ho maemo

Rea bona hore tahlehelo ea khokahanyo ea balateli ha e felle ka ho lahleheloa ke molaetsa, empa e fokotsa ka nakoana feela ho fihlela marang-rang a tsosolosoa. Sena, ehlile, se ka lebisa tahlehelong ea data haeba node e le 'ngoe kapa ho feta e lahlehile.

Haeba moetapele a arohana le Zookeeper ka lebaka la tahlehelo ea khokahano, sena se ka etsa hore melaetsa e lahlehe ho tsoa ho Zookeeper. makhapetla=1. Khaello ea puisano le Zookeeper e baka karohano e khutšoane e utloahalang le baetapele ba babeli. Bothata bona bo rarolloa ke parameter matsoaka=tsohle.

Parameter min.insync.replicas ho etsa likopi tse peli kapa ho feta ho fana ka tiisetso e eketsehileng ea hore maemo a joalo a nakoana a ke ke a fella ka melaetsa e lahlehileng joalo ka Boemong ba 6.

Kakaretso ea Melaetsa e Lahlehileng

Ha re thathamise mekhoa eohle eo u ka lahleheloang ke data ka eona Kafka:

• Ho hloleha ha moetapele leha e le ofe haeba melaetsa e tiisitsoe ho sebelisoa makhapetla=1
• Phetoho efe kapa efe e sa hloekang ea boetapele, ke hore, ho molateli kantle ho ISR, esita le ka matsoaka=tsohle
• Ho arola moetapele ho Zookeeper haeba melaetsa e netefalitsoe e sebelisoa makhapetla=1
• Ho itšehla thajana ho feletseng ha moetapele ea seng a fokolitse sehlopha sa ISR ho itšehla thajana. Melaetsa eohle e tla lahleha, esita le matsoaka=tsohle. Sena ke 'nete feela haeba min.insync.replicas=1.
• Ho hloleha ka nako e le 'ngoe ha libaka tsohle tsa karohano. Hobane melaetsa e amoheloa ka hlooho, e meng e kanna ea se ke ea ngolloa ho disk. Kamora ho qala li-server hape, melaetsa e meng e kanna ea haella.

Liphetoho tse sa hloekang tsa boetapele li ka qojoa ka ho li thibela kapa ho etsa bonnete ba hore bonyane li fokotsehe habeli. Tlhophiso e tšoarellang ka ho fetesisa ke motsoako matsoaka=tsohle и min.insync.replicas ho feta 1.

Papiso e tobileng ea ho tšepahala ha RabbitMQ le Kafka

Ho netefatsa ho ts'epahala le ho fumaneha ho phahameng, sethala ka bobeli se kenya tšebetsong mokhoa oa mantlha le oa bobeli oa ho ikatisa. Leha ho le joalo, RabbitMQ e na le serethe sa Achilles. Ha o hokela hape ka mor'a ho hloleha, li-node li lahla data ea tsona mme khokahano ea thibeloa. Maikutlo ana a mabeli a belaella nako e telele ea mela e meholo ea RabbitMQ. U tla tlameha ho amohela ho fokotsoa ho fokotsoa kapa nako e telele ea ho thibela. Ho fokotsa ho fokotseha ho eketsa kotsi ea tahlehelo e kholo ea data. Empa haeba li-queue li le nyenyane, joale ka lebaka la ho fokotseha, nako e khutšoanyane ea ho se fumanehe (metsotsoana e seng mekae) e ka sebetsanoa le ho sebelisa boiteko ba ho kopanya khafetsa.

Kafka ha e na bothata bona. E lahla data feela ho tloha ntlheng ea ho fapana lipakeng tsa moetapele le molateli. Lintlha tsohle tse arolelanoang li bolokiloe. Ho phaella moo, ho pheta-pheta ha ho thibele tsamaiso. Moetapele o tsoela pele ho amohela melaetsa ha molateli e mocha a ntse a tšoara, kahoo bakeng sa li-devops, ho kopanya kapa ho kopanya sehlopha ho fetoha mosebetsi o sa reng letho. Ehlile, ho ntse ho na le litaba tse kang marang-rang a marang-rang nakong ea ho pheta-pheta. Haeba u eketsa balateli ba bangata ka nako e le 'ngoe, u ka kopana le moeli oa bandwidth.

RabbitMQ e phahametse Kafka ka ho tšepahala ha li-server tse ngata ka har'a sehlopha li hlōleha ka nako e le 'ngoe. Joalokaha re se re boletse, RabbitMQ e romela tiiso ho mohoeletsi feela ka mor'a hore molaetsa o ngoloe ho disk ke monghali le liipone tsohle. Empa sena se eketsa latency e eketsehileng ka mabaka a mabeli:

• fsync makholo a seng makae a milliseconds
• Ho hlōleha ha seipone ho ka hlokomeloa feela ka mor'a hore nako ea bophelo ea lipakete tse hlahlobang ho fumaneha ha node ka 'ngoe (net tick) e felile. Haeba seipone se fokotseha kapa se oa, sena se eketsa tieho.

Papali ea Kafka ke hore haeba molaetsa o bolokiloe libakeng tse ngata, o ka amohela melaetsa hang ha e fihla mohopolong. Ka lebaka lena, ho na le kotsi ea ho lahleheloa ke melaetsa ea mofuta ofe kapa ofe (esita le matsoaka=tsohle, min.insync.replicas=2) ha e ka hloleha ka nako e le nngwe.

Ka kakaretso, Kafka e bonts'a ts'ebetso e ntle ea software mme e etselitsoe lihlopha ho tloha fatše. Palo ea balateli e ka eketsoa ho 11 haeba ho hlokahala bakeng sa ho ts'epahala. Replication factor 5 le bonyane palo ea replica ka har'a kamahanyo min.insync.replicas=3 e tla etsa hore tahlehelo ea molaetsa e be ketsahalo e sa tloaelehang haholo. Haeba lisebelisoa tsa hau tsa motheo li ka tšehetsa karo-karolelano ena ea ho ikatisa le boemo ba ho fokotseha, joale u ka khetha khetho ena.

RabbitMQ clustering e molemo bakeng sa mela e menyenyane. Empa le mela e menyenyane e ka hola kapele ha sephethephethe se le sengata. Hang ha mela e se e le khōlō, o tla tlameha ho etsa liqeto tse boima pakeng tsa ho fumaneha le ho tšepahala. RabbitMQ clustering e loketse ka ho fetisisa bakeng sa maemo a sa tloaelehang moo melemo ea ho feto-fetoha ha RabbitMQ e fetang mefokolo leha e le efe ea ho kopanya ha eona.

Setlhare se seng sa ho ba kotsing ea RabbitMQ ho mela e meholo ke ho e arola ka mela e mengata e menyenyane. Haeba u sa hloke ho odara ho felletseng ha letoto lohle, empa ke melaetsa e amehang feela (mohlala, melaetsa e tsoang ho moreki ea itseng), kapa u sa odale letho ho hang, khetho ena e ea amoheleha: sheba morero oa ka. Rebalancer ho arola letoto (morero o ntse o le mothating oa pele).

Qetellong, u seke oa lebala ka litšitšili tse ngata mekhoeng ea ho kopanya le ho ikatisa ea RabbitMQ le Kafka. Ha nako e ntse e ea, litsamaiso li se li hōlile le ho tsitsisa, empa ha ho molaetsa o tla ke o bolokehe ka 100% tahlehelong! Ho feta moo, likotsi tse kholo li etsahala litsing tsa data!

Haeba ke fositse ho hong, ke entse phoso, kapa ha o lumellane le lintlha life kapa life, ikutloe u lokolohile ho ngola maikutlo kapa ho ikopanya le nna.

Ke atisa ho botsoa: "Ke eng eo u ka e khethang, Kafka kapa RabbitMQ?", "Ke sethala sefe se molemo?". 'Nete ke hore e hlile e itšetlehile ka boemo ba hau, phihlelo ea hona joale, joalo-joalo Ke tsilatsila ho fana ka maikutlo a ka hobane e ka ba ho feteletsa ho feta ho khothaletsa sethala se le seng bakeng sa linyeoe tsohle tsa tšebeliso le mefokolo e ka khonehang. Ke ngotse letoto lena la lihlooho e le hore u ka iketsetsa maikutlo a hau.

Ke batla ho bolela hore litsamaiso ka bobeli ke baetapele sebakeng sena. E ka 'na eaba ke leeme hanyenyane hobane ho tsoa phihlelo ea ka ka merero ke atisa ho ananela lintho tse kang ho laela molaetsa o tiisitsoeng le ho tšepahala.

Ke bona mahlale a mang a haelloang ke ts'episo ena le taelo e tiisitsoeng, ebe ke sheba RabbitMQ le Kafka mme ke hlokomela boleng bo makatsang ba litsamaiso tsena ka bobeli.

Source: www.habr.com