В കഴിഞ്ഞ ലേഖനം തെറ്റ് സഹിഷ്ണുതയ്ക്കും ഉയർന്ന ലഭ്യതയ്ക്കും വേണ്ടി ഞങ്ങൾ RabbitMQ ക്ലസ്റ്ററിംഗിലേക്ക് നോക്കി. ഇനി നമുക്ക് അപ്പാച്ചെ കാഫ്കയിലേക്ക് ആഴ്ന്നിറങ്ങാം.

ഇവിടെ റെപ്ലിക്കേഷൻ്റെ യൂണിറ്റ് പാർട്ടീഷൻ ആണ്. ഓരോ വിഷയത്തിനും ഒന്നോ അതിലധികമോ വിഭാഗങ്ങളുണ്ട്. ഓരോ വിഭാഗത്തിനും അനുയായികൾ ഉള്ളതോ അല്ലാതെയോ ഒരു നേതാവുണ്ട്. ഒരു വിഷയം സൃഷ്ടിക്കുമ്പോൾ, നിങ്ങൾ പാർട്ടീഷനുകളുടെ എണ്ണവും റെപ്ലിക്കേഷൻ കോഫിഫിഷ്യൻ്റും വ്യക്തമാക്കുന്നു. സാധാരണ മൂല്യം 3 ആണ്, അതായത് മൂന്ന് പകർപ്പുകൾ: ഒരു നേതാവും രണ്ട് അനുയായികളും.

അരി. 1. മൂന്ന് ബ്രോക്കർമാർക്കിടയിൽ നാല് വിഭാഗങ്ങൾ വിതരണം ചെയ്യുന്നു

വായിക്കാനും എഴുതാനുമുള്ള എല്ലാ അഭ്യർത്ഥനകളും നേതാവിന് പോകുന്നു. ഏറ്റവും പുതിയ സന്ദേശങ്ങൾ ലഭിക്കുന്നതിന് അനുയായികൾ ഇടയ്‌ക്കിടെ നേതാവിന് അഭ്യർത്ഥനകൾ അയയ്‌ക്കുന്നു. ഉപഭോക്താക്കൾ ഒരിക്കലും അനുയായികളിലേക്ക് തിരിയുന്നില്ല;

വിഭജന പരാജയം

ഒരു ബ്രോക്കർ പരാജയപ്പെടുമ്പോൾ, പല വിഭാഗങ്ങളിലെയും നേതാക്കൾ പലപ്പോഴും പരാജയപ്പെടുന്നു. അവയിൽ ഓരോന്നിലും, മറ്റൊരു നോഡിൽ നിന്നുള്ള ഒരു അനുയായി നേതാവാകുന്നു. വാസ്തവത്തിൽ, ഇത് എല്ലായ്പ്പോഴും അങ്ങനെയല്ല, കാരണം സമന്വയ ഘടകവും സ്വാധീനിക്കുന്നു: സമന്വയിപ്പിച്ച അനുയായികൾ ഉണ്ടോ, ഇല്ലെങ്കിൽ, സമന്വയിപ്പിക്കാത്ത ഒരു പകർപ്പിലേക്ക് മാറുന്നത് അനുവദനീയമാണോ. എന്നാൽ ഇപ്പോൾ കാര്യങ്ങൾ സങ്കീർണ്ണമാക്കേണ്ടതില്ല.

ബ്രോക്കർ 3 നെറ്റ്‌വർക്ക് വിടുന്നു, ബ്രോക്കർ 2-ൽ സെക്ഷൻ 2-ലേക്ക് ഒരു പുതിയ നേതാവ് തിരഞ്ഞെടുക്കപ്പെടുന്നു.

അരി. 2. ബ്രോക്കർ 3 മരിക്കുകയും ബ്രോക്കർ 2-ലെ അവൻ്റെ അനുയായിയെ പാർട്ടീഷൻ 2 ൻ്റെ പുതിയ നേതാവായി തിരഞ്ഞെടുക്കുകയും ചെയ്യുന്നു

അപ്പോൾ ബ്രോക്കർ 1 ഇലകളും സെക്ഷൻ 1 നും അതിൻ്റെ ലീഡർ നഷ്‌ടപ്പെടുന്നു, അതിൻ്റെ റോൾ ബ്രോക്കർ 2 ന് കൈമാറുന്നു.

അരി. 3. ഒരു ബ്രോക്കർ അവശേഷിക്കുന്നു. എല്ലാ നേതാക്കളും പൂജ്യം ആവർത്തനമില്ലാതെ ഒരു ബ്രോക്കറിലാണ്

ബ്രോക്കർ 1 ഓൺലൈനിൽ തിരികെ വരുമ്പോൾ, അത് നാല് ഫോളോവേഴ്‌സിനെ ചേർക്കുന്നു, ഇത് ഓരോ പാർട്ടീഷനും ചില ആവർത്തനങ്ങൾ നൽകുന്നു. എന്നാൽ എല്ലാ നേതാക്കളും ബ്രോക്കർ 2 ൽ തുടർന്നു.

അരി. 4. നേതാക്കൾ ബ്രോക്കർ 2 ൽ തുടരുന്നു

ബ്രോക്കർ 3 വരുമ്പോൾ, ഞങ്ങൾ ഓരോ പാർട്ടീഷനും മൂന്ന് പകർപ്പുകളിലേക്ക് മടങ്ങുന്നു. എന്നാൽ എല്ലാ നേതാക്കളും ഇപ്പോഴും ബ്രോക്കർ 2 ലാണ്.

അരി. 5. ബ്രോക്കർമാർ 1, 3 എന്നിവ പുനഃസ്ഥാപിച്ചതിന് ശേഷം നേതാക്കളുടെ അസന്തുലിതമായ സ്ഥാനം

RabbitMQ-നേക്കാൾ മികച്ച ലീഡർ റീബാലൻസിംഗിനുള്ള ഒരു ടൂൾ കാഫ്കയിലുണ്ട്. അവിടെ, മൈഗ്രേഷൻ സമയത്ത് റിഡൻഡൻസി കുറച്ചുകൊണ്ട് മാസ്റ്റർ നോഡ് മൈഗ്രേറ്റ് ചെയ്യുന്നതിനുള്ള നയങ്ങളിൽ മാറ്റം വരുത്തിയ ഒരു മൂന്നാം കക്ഷി പ്ലഗിനോ സ്ക്രിപ്റ്റോ നിങ്ങൾ ഉപയോഗിക്കേണ്ടതുണ്ട്. കൂടാതെ, വലിയ ക്യൂകൾക്കായി, സമന്വയ സമയത്ത് ലഭ്യമല്ലാത്തത് അംഗീകരിക്കേണ്ടി വന്നു.

ലീഡർ റോളിനായി കാഫ്കയ്ക്ക് "ഇഷ്ടപ്പെട്ട പകർപ്പുകൾ" എന്ന ആശയം ഉണ്ട്. വിഷയ പാർട്ടീഷനുകൾ സൃഷ്‌ടിക്കുമ്പോൾ, നോഡുകളിലുടനീളം ലീഡർമാരെ തുല്യമായി വിതരണം ചെയ്യാൻ കാഫ്ക ശ്രമിക്കുന്നു, ഒപ്പം ആ ആദ്യ നേതാക്കളെ തിരഞ്ഞെടുത്തതായി അടയാളപ്പെടുത്തുകയും ചെയ്യുന്നു. കാലക്രമേണ, സെർവർ റീബൂട്ടുകൾ, പരാജയങ്ങൾ, കണക്റ്റിവിറ്റി തകരാറുകൾ എന്നിവ കാരണം, മുകളിൽ വിവരിച്ച അങ്ങേയറ്റത്തെ സാഹചര്യത്തിൽ ലീഡർമാർ മറ്റ് നോഡുകളിൽ അവസാനിച്ചേക്കാം.

ഇത് പരിഹരിക്കാൻ, കാഫ്ക രണ്ട് ഓപ്ഷനുകൾ വാഗ്ദാനം ചെയ്യുന്നു:

• ഓപ്ഷൻ auto.leader.rebalance.enable=true കൺട്രോളർ നോഡിനെ നേതാക്കളെ ഇഷ്ടപ്പെട്ട പകർപ്പുകളിലേക്ക് സ്വയമേവ പുനഃക്രമീകരിക്കാനും അതുവഴി ഏകീകൃത വിതരണം പുനഃസ്ഥാപിക്കാനും അനുവദിക്കുന്നു.
• അഡ്മിനിസ്ട്രേറ്റർക്ക് സ്ക്രിപ്റ്റ് പ്രവർത്തിപ്പിക്കാൻ കഴിയും kafka-preferred-replica-election.sh സ്വമേധയാ പുനർനിയമനത്തിനായി.

അരി. 6. റീബാലൻസിന് ശേഷമുള്ള പകർപ്പുകൾ

ഇത് പരാജയത്തിൻ്റെ ലളിതമായ പതിപ്പായിരുന്നു, എന്നാൽ യാഥാർത്ഥ്യം കൂടുതൽ സങ്കീർണ്ണമാണ്, എന്നിരുന്നാലും ഇവിടെ സങ്കീർണ്ണമായ ഒന്നും തന്നെയില്ല. എല്ലാം സമന്വയിപ്പിച്ച പകർപ്പുകളിലേക്ക് വരുന്നു (ഇൻ-സിങ്ക് റെപ്ലിക്കസ്, ഐഎസ്ആർ).

സിൻക്രൊണൈസ്ഡ് റെപ്ലിക്കസ് (ISR)

"സിൻക്രൊണൈസ്ഡ്" (ഇൻ-സിൻക്) ആയി കണക്കാക്കുന്ന ഒരു പാർട്ടീഷൻ്റെ ഒരു കൂട്ടം പകർപ്പുകളാണ് ISR. ഒരു നേതാവുണ്ട്, പക്ഷേ അനുയായികൾ ഉണ്ടാകണമെന്നില്ല. ഇടവേള കാലഹരണപ്പെടുന്നതിന് മുമ്പ് നേതാവിൻ്റെ എല്ലാ സന്ദേശങ്ങളുടെയും കൃത്യമായ പകർപ്പുകൾ ഉണ്ടാക്കിയിട്ടുണ്ടെങ്കിൽ, ഒരു അനുയായിയെ സമന്വയിപ്പിച്ചതായി കണക്കാക്കുന്നു. replica.lag.time.max.ms.

ഇനിപ്പറയുന്നവയാണെങ്കിൽ, ISR സെറ്റിൽ നിന്ന് ഒരു അനുയായിയെ നീക്കം ചെയ്യുന്നു:

• ഇടവേള തിരഞ്ഞെടുക്കാൻ അഭ്യർത്ഥന നടത്തിയില്ല replica.lag.time.max.ms (മരിച്ചുവെന്ന് കരുതുന്നു)
• ഇടവേളയിൽ അപ്ഡേറ്റ് ചെയ്യാൻ കഴിഞ്ഞില്ല replica.lag.time.max.ms (മന്ദഗതിയിലാണെന്ന് കണക്കാക്കുന്നു)

ഇടവേളയിൽ അനുയായികൾ സാമ്പിൾ അഭ്യർത്ഥനകൾ നടത്തുന്നു replica.fetch.wait.max.ms, ഇത് 500ms വരെ സ്ഥിരസ്ഥിതിയായി മാറുന്നു.

ഐഎസ്ആറിൻ്റെ ഉദ്ദേശ്യം വ്യക്തമായി വിശദീകരിക്കുന്നതിന്, നിർമ്മാതാവിൽ നിന്നുള്ള സ്ഥിരീകരണങ്ങളും ചില പരാജയ സാഹചര്യങ്ങളും ഞങ്ങൾ നോക്കേണ്ടതുണ്ട്. ബ്രോക്കർ സ്ഥിരീകരണം അയയ്ക്കുമ്പോൾ നിർമ്മാതാക്കൾക്ക് തിരഞ്ഞെടുക്കാം:

• acks=0, സ്ഥിരീകരണം അയച്ചിട്ടില്ല
• acks=1, നേതാവ് തൻ്റെ പ്രാദേശിക ലോഗിലേക്ക് ഒരു സന്ദേശം എഴുതിയതിന് ശേഷം സ്ഥിരീകരണം അയയ്ക്കുന്നു
• acks=എല്ലാം, ISR-ലെ എല്ലാ പകർപ്പുകളും പ്രാദേശിക ലോഗുകളിലേക്ക് സന്ദേശം എഴുതിയതിന് ശേഷം സ്ഥിരീകരണം അയയ്ക്കുന്നു

കാഫ്ക ടെർമിനോളജിയിൽ, ISR ഒരു സന്ദേശം സംരക്ഷിച്ചിട്ടുണ്ടെങ്കിൽ, അത് "പ്രതിബദ്ധതയുള്ളതാണ്". അക്സ്=എല്ലാം ഏറ്റവും സുരക്ഷിതമായ ഓപ്ഷനാണ്, മാത്രമല്ല അധിക കാലതാമസവും ചേർക്കുന്നു. പരാജയത്തിൻ്റെ രണ്ട് ഉദാഹരണങ്ങൾ നോക്കാം, കൂടാതെ വ്യത്യസ്ത 'അക്കുകൾ' ഓപ്ഷനുകൾ ഐഎസ്ആർ ആശയവുമായി എങ്ങനെ ഇടപെടുന്നു.

ആക്‌സ്=1, ഐ.എസ്.ആർ

ഈ ഉദാഹരണത്തിൽ, എല്ലാ അനുയായികളിൽ നിന്നുമുള്ള എല്ലാ സന്ദേശങ്ങളും സംരക്ഷിക്കപ്പെടുന്നതിന് നേതാവ് കാത്തിരിക്കുന്നില്ലെങ്കിൽ, ലീഡർ പരാജയപ്പെടുകയാണെങ്കിൽ ഡാറ്റ നഷ്‌ടപ്പെടാൻ സാധ്യതയുണ്ടെന്ന് നമുക്ക് കാണാം. ഒരു സമന്വയിപ്പിക്കാത്ത അനുയായിയിലേക്ക് നാവിഗേറ്റ് ചെയ്യുന്നത് സജ്ജീകരിക്കുന്നതിലൂടെ പ്രവർത്തനക്ഷമമാക്കുകയോ പ്രവർത്തനരഹിതമാക്കുകയോ ചെയ്യാം unclean.leader.election.enable.

ഈ ഉദാഹരണത്തിൽ, നിർമ്മാതാവിന് acks=1 എന്ന മൂല്യമുണ്ട്. ഈ വിഭാഗം മൂന്ന് ബ്രോക്കർമാർക്കും വിതരണം ചെയ്യുന്നു. ബ്രോക്കർ 3 പിന്നിലാണ്, ഇത് എട്ട് സെക്കൻഡ് മുമ്പ് ലീഡറുമായി സമന്വയിപ്പിച്ചു, ഇപ്പോൾ 7456 സന്ദേശങ്ങൾ പിന്നിലാണ്. ബ്രോക്കർ 1 ഒരു സെക്കൻഡ് മാത്രം പിന്നിലായിരുന്നു. ഞങ്ങളുടെ നിർമ്മാതാവ് ഒരു സന്ദേശം അയയ്‌ക്കുകയും വേഗത്തിൽ തിരികെ ലഭിക്കുകയും ചെയ്യുന്നു, നേതാവ് കാത്തിരിക്കാത്ത സ്ലോ അല്ലെങ്കിൽ മരിച്ച അനുയായികളുടെ ഓവർഹെഡ് ഇല്ലാതെ.

അരി. 7. മൂന്ന് പകർപ്പുകളുള്ള ഐ.എസ്.ആർ

ബ്രോക്കർ 2 പരാജയപ്പെടുകയും നിർമ്മാതാവിന് ഒരു കണക്ഷൻ പിശക് ലഭിക്കുകയും ചെയ്യുന്നു. നേതൃത്വം ബ്രോക്കർ 1-ന് കൈമാറിയ ശേഷം, ഞങ്ങൾക്ക് 123 സന്ദേശങ്ങൾ നഷ്‌ടപ്പെടും. ബ്രോക്കർ 1-ലെ പിന്തുടരുന്നയാൾ ISR-ൻ്റെ ഭാഗമായിരുന്നു, പക്ഷേ അത് വീഴുമ്പോൾ നേതാവുമായി പൂർണ്ണമായും സമന്വയിപ്പിച്ചിരുന്നില്ല.

അരി. 8. ക്രാഷ് ചെയ്യുമ്പോൾ സന്ദേശങ്ങൾ നഷ്ടപ്പെടും

കോൺഫിഗറേഷനിൽ bootstrap.servers നിർമ്മാതാവിന് നിരവധി ബ്രോക്കർമാരെ പട്ടികപ്പെടുത്തിയിട്ടുണ്ട്, പുതിയ വിഭാഗം നേതാവ് ആരാണെന്ന് മറ്റൊരു ബ്രോക്കറോട് ചോദിക്കാം. അത് പിന്നീട് ബ്രോക്കർ 1-ലേക്ക് ഒരു കണക്ഷൻ സ്ഥാപിക്കുകയും സന്ദേശങ്ങൾ അയക്കുന്നത് തുടരുകയും ചെയ്യുന്നു.

അരി. 9. ഒരു ചെറിയ ഇടവേളയ്ക്ക് ശേഷം സന്ദേശങ്ങൾ അയയ്ക്കുന്നത് പുനരാരംഭിക്കുന്നു

ബ്രോക്കർ 3 കൂടുതൽ പിന്നിലാണ്. ഇത് ലഭ്യമാക്കുന്നതിനുള്ള അഭ്യർത്ഥനകൾ നടത്തുന്നുണ്ടെങ്കിലും സമന്വയിപ്പിക്കാൻ കഴിയില്ല. ഇത് ബ്രോക്കർമാർ തമ്മിലുള്ള വേഗത കുറഞ്ഞ നെറ്റ്‌വർക്ക് കണക്ഷൻ, സ്റ്റോറേജ് പ്രശ്‌നം മുതലായവ മൂലമാകാം. ഇത് ISR-ൽ നിന്ന് നീക്കംചെയ്‌തു. ഇപ്പോൾ ISR ഒരു പകർപ്പ് ഉൾക്കൊള്ളുന്നു - നേതാവ്! നിർമ്മാതാവ് സന്ദേശങ്ങൾ അയയ്ക്കുന്നതും സ്ഥിരീകരണങ്ങൾ സ്വീകരിക്കുന്നതും തുടരുന്നു.

അരി. 10. ബ്രോക്കർ 3-ൽ പിന്തുടരുന്നയാളെ ISR-ൽ നിന്ന് നീക്കം ചെയ്യുന്നു

ബ്രോക്കർ 1 കുറയുന്നു, 3 സന്ദേശങ്ങൾ നഷ്‌ടമായതോടെ നേതൃത്വത്തിൻ്റെ റോൾ ബ്രോക്കർ 15286-ലേക്ക് പോകുന്നു! നിർമ്മാതാവിന് ഒരു കണക്ഷൻ പിശക് സന്ദേശം ലഭിക്കുന്നു. ഐഎസ്ആറിന് പുറത്തുള്ള ഒരു നേതാവിലേക്കുള്ള മാറ്റം ക്രമീകരണം കാരണം മാത്രമാണ് സാധ്യമായത് unclean.leader.election.enable=true. ഇത് ഇൻസ്റ്റാൾ ചെയ്തിട്ടുണ്ടെങ്കിൽ തെറ്റായ, അപ്പോൾ പരിവർത്തനം സംഭവിക്കില്ല, എല്ലാ വായനയും എഴുത്തും അഭ്യർത്ഥനകൾ നിരസിക്കപ്പെടും. ഈ സാഹചര്യത്തിൽ, ബ്രോക്കർ 1 ൻ്റെ തനിപ്പകർപ്പിലെ കേടുപാടുകൾ ഇല്ലാത്ത ഡാറ്റയുമായി തിരികെ വരുന്നതിനായി ഞങ്ങൾ കാത്തിരിക്കുന്നു, അത് വീണ്ടും നേതൃത്വം ഏറ്റെടുക്കും.

അരി. 11. ബ്രോക്കർ 1 വീഴുന്നു. ഒരു പരാജയം ഉണ്ടായാൽ, ഒരു വലിയ എണ്ണം സന്ദേശങ്ങൾ നഷ്‌ടപ്പെടും

നിർമ്മാതാവ് അവസാനത്തെ ബ്രോക്കറുമായി ഒരു ബന്ധം സ്ഥാപിക്കുകയും അവൻ ഇപ്പോൾ വിഭാഗത്തിൻ്റെ നേതാവാണെന്ന് കാണുകയും ചെയ്യുന്നു. അവൻ ബ്രോക്കർ 3 ലേക്ക് സന്ദേശങ്ങൾ അയയ്ക്കാൻ തുടങ്ങുന്നു.

അരി. 12. ഒരു ചെറിയ ഇടവേളയ്ക്ക് ശേഷം, സെക്ഷൻ 0 ലേക്ക് സന്ദേശങ്ങൾ വീണ്ടും അയയ്ക്കുന്നു

പുതിയ കണക്ഷനുകൾ സ്ഥാപിക്കുന്നതിനും പുതിയ നേതാവിനെ തിരയുന്നതിനുമുള്ള ചെറിയ തടസ്സങ്ങൾക്ക് പുറമെ, നിർമ്മാതാവ് നിരന്തരം സന്ദേശങ്ങൾ അയയ്ക്കുന്നത് ഞങ്ങൾ കണ്ടു. സ്ഥിരത (ഡാറ്റ സുരക്ഷ) ചെലവിൽ ഈ കോൺഫിഗറേഷൻ ലഭ്യത ഉറപ്പാക്കുന്നു. കാഫ്കയ്ക്ക് ആയിരക്കണക്കിന് സന്ദേശങ്ങൾ നഷ്ടപ്പെട്ടെങ്കിലും പുതിയ എഴുത്തുകൾ സ്വീകരിക്കുന്നത് തുടർന്നു.

അക്സ്=എല്ലാം, ഐഎസ്ആർ

നമുക്ക് ഈ സാഹചര്യം വീണ്ടും ആവർത്തിക്കാം, പക്ഷേ കൂടെ acks=എല്ലാം. ബ്രോക്കർ 3 ന് ശരാശരി നാല് സെക്കൻഡ് ലേറ്റൻസി ഉണ്ട്. നിർമ്മാതാവ് ഒരു സന്ദേശം അയയ്ക്കുന്നു acks=എല്ലാം, ഇപ്പോൾ ദ്രുത പ്രതികരണം ലഭിക്കുന്നില്ല. ഐഎസ്ആറിലെ എല്ലാ പകർപ്പുകളും സന്ദേശം സംരക്ഷിക്കുന്നതിനായി നേതാവ് കാത്തിരിക്കുന്നു.

അരി. 13. മൂന്ന് പകർപ്പുകളുള്ള ഐ.എസ്.ആർ. ഒന്ന് മന്ദഗതിയിലാണ്, അതിൻ്റെ ഫലമായി റെക്കോർഡിംഗ് കാലതാമസം

നാല് സെക്കൻഡ് അധിക കാലതാമസത്തിന് ശേഷം, ബ്രോക്കർ 2 ഒരു ആക്ക് അയയ്ക്കുന്നു. എല്ലാ പകർപ്പുകളും ഇപ്പോൾ പൂർണ്ണമായും അപ്‌ഡേറ്റ് ചെയ്‌തു.

അരി. 14. എല്ലാ പകർപ്പുകളും സന്ദേശങ്ങൾ സംരക്ഷിക്കുകയും അയയ്‌ക്കുകയും ചെയ്യുന്നു

ബ്രോക്കർ 3 ഇപ്പോൾ കൂടുതൽ പിന്നിലായതിനാൽ ISR-ൽ നിന്ന് നീക്കം ചെയ്യപ്പെട്ടു. ISR-ൽ സ്ലോ പകർപ്പുകളൊന്നും അവശേഷിക്കുന്നില്ല എന്നതിനാൽ ലേറ്റൻസി ഗണ്യമായി കുറയുന്നു. ബ്രോക്കർ 2 ഇപ്പോൾ ബ്രോക്കർ 1 ന് വേണ്ടി മാത്രം കാത്തിരിക്കുന്നു, കൂടാതെ അദ്ദേഹത്തിന് ശരാശരി 500 എംഎസ് കാലതാമസമുണ്ട്.

അരി. 15. ബ്രോക്കർ 3-ലെ പകർപ്പ് ISR-ൽ നിന്ന് നീക്കം ചെയ്തു

തുടർന്ന് ബ്രോക്കർ 2 വീഴുകയും സന്ദേശം നഷ്ടപ്പെടാതെ നേതൃത്വം ബ്രോക്കർ 1 ന് കൈമാറുകയും ചെയ്യുന്നു.

അരി. 16. ബ്രോക്കർ 2 വീഴുന്നു

നിർമ്മാതാവ് ഒരു പുതിയ നേതാവിനെ കണ്ടെത്തുകയും അയാൾക്ക് സന്ദേശങ്ങൾ അയയ്ക്കാൻ തുടങ്ങുകയും ചെയ്യുന്നു. ISR ഇപ്പോൾ ഒരു പകർപ്പ് ഉൾക്കൊള്ളുന്നതിനാൽ ലേറ്റൻസി കൂടുതൽ കുറയുന്നു! അതിനാൽ ഓപ്ഷൻ acks=എല്ലാം ആവർത്തനം ചേർക്കുന്നില്ല.

അരി. 17. സന്ദേശങ്ങൾ നഷ്‌ടപ്പെടാതെ തന്നെ ബ്രോക്കർ 1-ലെ റെപ്ലിക്ക ലീഡ് ചെയ്യുന്നു

തുടർന്ന് ബ്രോക്കർ 1 തകരുകയും ലീഡ് ബ്രോക്കർ 3 ലേക്ക് പോകുകയും 14238 സന്ദേശങ്ങൾ നഷ്ടപ്പെടുകയും ചെയ്യുന്നു!

അരി. 18. ബ്രോക്കർ 1 മരിക്കുകയും വൃത്തിഹീനമായ സജ്ജീകരണത്തോടുകൂടിയ നേതൃത്വ പരിവർത്തനം വിപുലമായ ഡാറ്റാ നഷ്‌ടത്തിലേക്ക് നയിക്കുകയും ചെയ്യുന്നു

ഞങ്ങൾക്ക് ഓപ്ഷൻ ഇൻസ്റ്റാൾ ചെയ്യാൻ കഴിഞ്ഞില്ല unclean.leader.election.enable അർത്ഥത്തിലേക്ക് യഥാർഥ. സ്ഥിരസ്ഥിതിയായി ഇത് തുല്യമാണ് തെറ്റായ. ക്രമീകരണങ്ങൾ acks=എല്ലാം с unclean.leader.election.enable=true ചില അധിക ഡാറ്റ സുരക്ഷയ്‌ക്കൊപ്പം പ്രവേശനക്ഷമത നൽകുന്നു. എന്നാൽ നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഞങ്ങൾക്ക് ഇപ്പോഴും സന്ദേശങ്ങൾ നഷ്ടപ്പെടാം.

എന്നാൽ ഡാറ്റ സുരക്ഷ വർദ്ധിപ്പിക്കണമെങ്കിൽ എന്തുചെയ്യും? നിങ്ങൾക്ക് ഇടാം unclean.leader.election.enable = തെറ്റ്, എന്നാൽ ഇത് ഡാറ്റ നഷ്‌ടത്തിൽ നിന്ന് ഞങ്ങളെ സംരക്ഷിക്കണമെന്നില്ല. നേതാവ് കഠിനമായി വീഴുകയും അതിനൊപ്പം ഡാറ്റ എടുക്കുകയും ചെയ്താൽ, സന്ദേശങ്ങൾ ഇപ്പോഴും നഷ്‌ടപ്പെടും, കൂടാതെ അഡ്മിനിസ്ട്രേറ്റർ സാഹചര്യം പുനഃസ്ഥാപിക്കുന്നതുവരെ ലഭ്യത നഷ്‌ടമാകും.

എല്ലാ സന്ദേശങ്ങളും അനാവശ്യമാണെന്ന് ഉറപ്പാക്കുകയും അല്ലെങ്കിൽ റെക്കോർഡിംഗ് നിരസിക്കുകയും ചെയ്യുന്നതാണ് നല്ലത്. അപ്പോൾ, കുറഞ്ഞത് ബ്രോക്കറുടെ കാഴ്ചപ്പാടിൽ, രണ്ടോ അതിലധികമോ ഒരേസമയം പരാജയപ്പെടുമ്പോൾ മാത്രമേ ഡാറ്റ നഷ്ടം സാധ്യമാകൂ.

Acks=എല്ലാം, min.insync.replicas ഉം ISR ഉം

വിഷയം കോൺഫിഗറേഷൻ ഉപയോഗിച്ച് min.insync.replicas ഞങ്ങൾ ഡാറ്റ സുരക്ഷയുടെ നിലവാരം വർദ്ധിപ്പിക്കുകയാണ്. മുമ്പത്തെ സാഹചര്യത്തിൻ്റെ അവസാന ഭാഗത്തിലൂടെ നമുക്ക് വീണ്ടും പോകാം, എന്നാൽ ഇത്തവണ min.insync.replicas=2.

അതിനാൽ ബ്രോക്കർ 2-ന് ഒരു പകർപ്പ് ലീഡർ ഉണ്ട്, ബ്രോക്കർ 3-ലെ അനുയായിയെ ISR-ൽ നിന്ന് നീക്കം ചെയ്യുന്നു.

അരി. 19. രണ്ട് പകർപ്പുകളിൽ നിന്ന് ഐ.എസ്.ആർ

സന്ദേശങ്ങൾ നഷ്‌ടപ്പെടാതെ ബ്രോക്കർ 2 വീഴുകയും നേതൃത്വം ബ്രോക്കർ 1 ന് കൈമാറുകയും ചെയ്യുന്നു. എന്നാൽ ഇപ്പോൾ ഐഎസ്ആർ ഒരു പകർപ്പ് മാത്രം ഉൾക്കൊള്ളുന്നു. ഇത് രേഖകൾ സ്വീകരിക്കുന്നതിനുള്ള ഏറ്റവും കുറഞ്ഞ സംഖ്യയെ പാലിക്കുന്നില്ല, അതിനാൽ ബ്രോക്കർ ഒരു പിശകോടെ എഴുതാനുള്ള ശ്രമത്തോട് പ്രതികരിക്കുന്നു NotEnoughReplicas.

അരി. 20. ISR-കളുടെ എണ്ണം min.insync.replicas-ൽ വ്യക്തമാക്കിയതിനേക്കാൾ ഒന്ന് കുറവാണ്

ഈ കോൺഫിഗറേഷൻ സ്ഥിരതയ്ക്കായി ലഭ്യതയെ ബലികഴിക്കുന്നു. ഒരു സന്ദേശം അംഗീകരിക്കുന്നതിന് മുമ്പ്, അത് കുറഞ്ഞത് രണ്ട് പകർപ്പുകളിലെങ്കിലും എഴുതിയിട്ടുണ്ടെന്ന് ഞങ്ങൾ ഉറപ്പാക്കുന്നു. ഇത് നിർമ്മാതാവിന് കൂടുതൽ ആത്മവിശ്വാസം നൽകുന്നു. ഇവിടെ, ഒരു അധിക അനുയായിക്ക് സന്ദേശം പകർത്തുന്നത് വരെ രണ്ട് പകർപ്പുകൾ ഒരേസമയം പരാജയപ്പെട്ടാൽ മാത്രമേ സന്ദേശ നഷ്ടം സാധ്യമാകൂ. എന്നാൽ നിങ്ങൾ അതിഭ്രാന്തനാണെങ്കിൽ, നിങ്ങൾക്ക് പകർപ്പ് ഘടകം 5 ആയി സജ്ജീകരിക്കാം, ഒപ്പം min.insync.replicas 3 പ്രകാരം. ഇവിടെ മൂന്ന് ബ്രോക്കർമാർ റെക്കോർഡ് നഷ്‌ടപ്പെടാൻ ഒരേ സമയം വീഴണം! തീർച്ചയായും, ഈ വിശ്വാസ്യതയ്ക്കായി നിങ്ങൾ അധിക ലേറ്റൻസിയിൽ പണമടയ്ക്കുന്നു.

ഡാറ്റ സുരക്ഷയ്ക്ക് പ്രവേശനക്ഷമത ആവശ്യമായി വരുമ്പോൾ

ഉള്ളതുപോലെ RabbitMQ ഉള്ള കേസ്, ഡാറ്റ സുരക്ഷയ്ക്ക് ചിലപ്പോൾ പ്രവേശനക്ഷമത ആവശ്യമാണ്. നിങ്ങൾ ചിന്തിക്കേണ്ട കാര്യങ്ങൾ ഇതാ:

• പ്രസാധകന് ഒരു പിശക് നൽകുകയും അപ്‌സ്ട്രീം സേവനമോ ഉപയോക്താവോ പിന്നീട് വീണ്ടും ശ്രമിക്കുകയോ ചെയ്യാമോ?
• പിന്നീട് വീണ്ടും ശ്രമിക്കുന്നതിനായി പ്രസാധകന് സന്ദേശം പ്രാദേശികമായോ ഡാറ്റാബേസിലോ സംരക്ഷിക്കാനാകുമോ?

ഇല്ല എന്നാണ് ഉത്തരം എങ്കിൽ, ലഭ്യത ഒപ്റ്റിമൈസ് ചെയ്യുന്നത് ഡാറ്റ സുരക്ഷ മെച്ചപ്പെടുത്തുന്നു. റെക്കോർഡ് ചെയ്യാതിരിക്കുന്നതിന് പകരം ലഭ്യത തിരഞ്ഞെടുത്താൽ നിങ്ങൾക്ക് കുറച്ച് ഡാറ്റ നഷ്‌ടമാകും. അതിനാൽ, ഇതെല്ലാം ഒരു ബാലൻസ് കണ്ടെത്തുന്നതിലേക്ക് വരുന്നു, തീരുമാനം നിർദ്ദിഷ്ട സാഹചര്യത്തെ ആശ്രയിച്ചിരിക്കുന്നു.

ISR എന്നതിൻ്റെ അർത്ഥം

ഡാറ്റ സുരക്ഷയും ലേറ്റൻസിയും തമ്മിലുള്ള ഒപ്റ്റിമൽ ബാലൻസ് തിരഞ്ഞെടുക്കാൻ ISR സ്യൂട്ട് നിങ്ങളെ അനുവദിക്കുന്നു. ഉദാഹരണത്തിന്, ഭൂരിഭാഗം പകർപ്പുകളും പരാജയപ്പെടുന്ന സാഹചര്യത്തിൽ ലഭ്യത ഉറപ്പാക്കുക, കാലതാമസത്തിൻ്റെ അടിസ്ഥാനത്തിൽ ഡെഡ് അല്ലെങ്കിൽ സ്ലോ പകർപ്പുകളുടെ ആഘാതം കുറയ്ക്കുക.

അർത്ഥം ഞങ്ങൾ സ്വയം തിരഞ്ഞെടുക്കുന്നു replica.lag.time.max.ms നിങ്ങളുടെ ആവശ്യങ്ങൾക്കനുസരിച്ച്. അടിസ്ഥാനപരമായി, ഈ പരാമീറ്റർ അർത്ഥമാക്കുന്നത് എപ്പോൾ സ്വീകരിക്കാൻ ഞങ്ങൾ തയ്യാറാണ് acks=എല്ലാം. സ്ഥിര മൂല്യം പത്ത് സെക്കൻഡ് ആണ്. ഇത് നിങ്ങൾക്ക് ദൈർഘ്യമേറിയതാണെങ്കിൽ, നിങ്ങൾക്ക് ഇത് കുറയ്ക്കാം. തുടർന്ന് ഐഎസ്ആറിലെ മാറ്റങ്ങളുടെ ആവൃത്തി വർദ്ധിക്കും, കാരണം അനുയായികളെ നീക്കം ചെയ്യുകയും കൂടുതൽ തവണ ചേർക്കുകയും ചെയ്യും.

RabbitMQ എന്നത് ആവർത്തിക്കേണ്ട കണ്ണാടികളുടെ ഒരു കൂട്ടമാണ്. സ്ലോ മിററുകൾ അധിക ലേറ്റൻസി അവതരിപ്പിക്കുന്നു, കൂടാതെ ഓരോ നോഡിൻ്റെയും (നെറ്റ് ടിക്ക്) ലഭ്യത പരിശോധിക്കുന്ന പാക്കറ്റുകൾ പ്രതികരിക്കുന്നതുവരെ ഡെഡ് മിററുകൾക്ക് കാത്തിരിക്കാം. ഈ ലേറ്റൻസി പ്രശ്നങ്ങൾ ഒഴിവാക്കാനുള്ള രസകരമായ ഒരു മാർഗമാണ് ഐഎസ്ആർ. എന്നാൽ ഐഎസ്ആറിന് നേതാവിലേക്ക് മാത്രമേ ചുരുങ്ങാൻ കഴിയൂ എന്നതിനാൽ ഞങ്ങൾക്ക് ആവർത്തനം നഷ്ടപ്പെടാൻ സാധ്യതയുണ്ട്. ഈ അപകടസാധ്യത ഒഴിവാക്കാൻ, ക്രമീകരണം ഉപയോഗിക്കുക min.insync.replicas.

ക്ലയൻ്റ് കണക്ഷൻ ഗ്യാരണ്ടി

ക്രമീകരണങ്ങളിൽ bootstrap.servers ക്ലയൻ്റുകളെ ബന്ധിപ്പിക്കുന്നതിന് നിർമ്മാതാവിനും ഉപഭോക്താവിനും ഒന്നിലധികം ബ്രോക്കർമാരെ വ്യക്തമാക്കാൻ കഴിയും. ഒരു നോഡ് താഴുമ്പോൾ, ക്ലയൻ്റിന് ഒരു കണക്ഷൻ തുറക്കാൻ കഴിയുന്ന നിരവധി സ്പെയർ അവശേഷിക്കും എന്നതാണ് ആശയം. ഇവർ സെക്ഷൻ ലീഡറുകളല്ല, പ്രാരംഭ ലോഡിംഗിനുള്ള ഒരു സ്പ്രിംഗ്ബോർഡാണ്. ഏത് നോഡാണ് റീഡ്/റൈറ്റ് പാർട്ടീഷൻ ലീഡർ ഹോസ്റ്റ് ചെയ്യുന്നതെന്ന് ക്ലയൻ്റിന് അവരോട് ചോദിക്കാൻ കഴിയും.

RabbitMQ-ൽ, ക്ലയൻ്റുകൾക്ക് ഏത് നോഡിലേക്കും കണക്റ്റുചെയ്യാനാകും, കൂടാതെ ആന്തരിക റൂട്ടിംഗ് അത് ആവശ്യമുള്ളിടത്തേക്ക് അഭ്യർത്ഥന അയയ്ക്കുന്നു. റാബിറ്റ്എംക്യുവിന് മുന്നിൽ നിങ്ങൾക്ക് ഒരു ലോഡ് ബാലൻസർ ഇൻസ്റ്റാൾ ചെയ്യാൻ കഴിയുമെന്നാണ് ഇതിനർത്ഥം. അനുബന്ധ പാർട്ടീഷൻ ലീഡർ ഹോസ്റ്റ് ചെയ്യുന്ന നോഡിലേക്ക് ക്ലയൻ്റുകളെ ബന്ധിപ്പിക്കാൻ കാഫ്ക ആവശ്യപ്പെടുന്നു. അത്തരമൊരു സാഹചര്യത്തിൽ, നിങ്ങൾക്ക് ഒരു ലോഡ് ബാലൻസർ ഇൻസ്റ്റാൾ ചെയ്യാൻ കഴിയില്ല. ലിസ്റ്റ് bootstrap.servers ഒരു പരാജയത്തിന് ശേഷം ക്ലയൻ്റുകൾക്ക് ശരിയായ നോഡുകൾ ആക്സസ് ചെയ്യാനും കണ്ടെത്താനും കഴിയുന്നത് നിർണായകമാണ്.

കാഫ്ക കൺസെൻസസ് ആർക്കിടെക്ചർ

ബ്രോക്കറുടെ വീഴ്ചയെക്കുറിച്ച് ക്ലസ്റ്റർ എങ്ങനെ പഠിക്കുന്നുവെന്നും ഒരു പുതിയ നേതാവിനെ എങ്ങനെ തിരഞ്ഞെടുക്കുന്നുവെന്നും ഞങ്ങൾ ഇതുവരെ പരിഗണിച്ചിട്ടില്ല. നെറ്റ്‌വർക്ക് പാർട്ടീഷനുകളിൽ കാഫ്ക എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് മനസിലാക്കാൻ, നിങ്ങൾ ആദ്യം കൺസെൻസസ് ആർക്കിടെക്ചർ മനസ്സിലാക്കേണ്ടതുണ്ട്.

ഓരോ കാഫ്ക ക്ലസ്റ്ററും ഒരു സൂക്കീപ്പർ ക്ലസ്റ്ററിനൊപ്പം വിന്യസിച്ചിരിക്കുന്നു, ഇത് വിതരണം ചെയ്ത സമവായ സേവനമാണ്, ഇത് ലഭ്യതയെക്കാൾ സ്ഥിരതയ്ക്ക് മുൻഗണന നൽകിക്കൊണ്ട് ചില പ്രത്യേക സംസ്ഥാനങ്ങളിൽ സമവായത്തിലെത്താൻ സിസ്റ്റത്തെ അനുവദിക്കുന്നു. വായിക്കാനും എഴുതാനുമുള്ള പ്രവർത്തനങ്ങൾ അംഗീകരിക്കുന്നതിന് ഭൂരിഭാഗം സൂക്കീപ്പർ നോഡുകളുടെയും സമ്മതം ആവശ്യമാണ്.

മൃഗശാലാ സൂക്ഷിപ്പുകാരൻ ക്ലസ്റ്ററിൻ്റെ അവസ്ഥ സംഭരിക്കുന്നു:

• വിഷയങ്ങളുടെ ലിസ്റ്റ്, വിഭാഗങ്ങൾ, കോൺഫിഗറേഷൻ, നിലവിലെ ലീഡർ പകർപ്പുകൾ, തിരഞ്ഞെടുത്ത പകർപ്പുകൾ.
• ക്ലസ്റ്റർ അംഗങ്ങൾ. ഓരോ ബ്രോക്കറും സൂക്കീപ്പർ ക്ലസ്റ്ററിനെ പിംഗ് ചെയ്യുന്നു. ഒരു നിശ്ചിത കാലയളവിനുള്ളിൽ ഇതിന് ഒരു പിംഗ് ലഭിച്ചില്ലെങ്കിൽ, സൂക്കീപ്പർ ബ്രോക്കർ ലഭ്യമല്ലെന്ന് രേഖപ്പെടുത്തുന്നു.
• കൺട്രോളറിനായുള്ള പ്രധാന, സ്പെയർ നോഡുകൾ തിരഞ്ഞെടുക്കുന്നു.

കൺട്രോളർ നോഡ് കാഫ്ക ബ്രോക്കർമാരിൽ ഒരാളാണ്, അത് റെപ്ലിക്ക ലീഡർമാരെ തിരഞ്ഞെടുക്കുന്നതിനുള്ള ഉത്തരവാദിത്തമാണ്. ക്ലസ്റ്റർ അംഗത്വത്തെക്കുറിച്ചും വിഷയ മാറ്റങ്ങളെക്കുറിച്ചും സൂക്കീപ്പർ കൺട്രോളർക്ക് അറിയിപ്പുകൾ അയയ്ക്കുന്നു, കൺട്രോളർ ഈ മാറ്റങ്ങളിൽ പ്രവർത്തിക്കണം.

ഉദാഹരണത്തിന്, പത്ത് പാർട്ടീഷനുകളും 3 ൻ്റെ ഒരു പകർപ്പ് ഘടകം ഉള്ള ഒരു പുതിയ വിഷയം എടുക്കാം. ഓരോ പാർട്ടീഷനും കൺട്രോളർ ഒരു ലീഡറെ തിരഞ്ഞെടുക്കണം, ബ്രോക്കർമാർക്കിടയിൽ ലീഡർമാരെ ഒപ്റ്റിമൽ ആയി വിതരണം ചെയ്യാൻ ശ്രമിക്കുന്നു.

ഓരോ വിഭാഗം കൺട്രോളർക്കും:

• ഐഎസ്ആറിനെയും നേതാവിനെയും കുറിച്ചുള്ള സൂക്കീപ്പറിലെ വിവരങ്ങൾ അപ്‌ഡേറ്റ് ചെയ്യുന്നു;
• ഈ പാർട്ടീഷൻ്റെ ഒരു പകർപ്പ് ഹോസ്റ്റ് ചെയ്യുന്ന ഓരോ ബ്രോക്കർക്കും ഒരു ലീഡർആൻഡ്ഐഎസ്ആർകമാൻഡ് അയയ്‌ക്കുന്നു, ഐഎസ്ആറിനെയും നേതാവിനെയും കുറിച്ച് ബ്രോക്കർമാരെ അറിയിക്കുന്നു.

ഒരു നേതാവിനൊപ്പം ഒരു ബ്രോക്കർ വീഴുമ്പോൾ, സൂക്കീപ്പർ കൺട്രോളർക്ക് ഒരു അറിയിപ്പ് അയയ്ക്കുകയും അത് ഒരു പുതിയ നേതാവിനെ തിരഞ്ഞെടുക്കുകയും ചെയ്യുന്നു. വീണ്ടും, കൺട്രോളർ ആദ്യം സൂക്കീപ്പറെ അപ്‌ഡേറ്റ് ചെയ്യുന്നു, തുടർന്ന് ഓരോ ബ്രോക്കർക്കും നേതൃമാറ്റത്തെക്കുറിച്ച് അറിയിക്കുന്ന ഒരു കമാൻഡ് അയയ്ക്കുന്നു.

ISR-കളെ റിക്രൂട്ട് ചെയ്യുന്നതിനുള്ള ഉത്തരവാദിത്തം ഓരോ നേതാവിനും ഉണ്ട്. ക്രമീകരണങ്ങൾ replica.lag.time.max.ms ആരാണ് അവിടെ പ്രവേശിക്കേണ്ടതെന്ന് നിർണ്ണയിക്കുന്നു. ISR മാറുമ്പോൾ, നേതാവ് പുതിയ വിവരങ്ങൾ സൂക്കീപ്പർക്ക് കൈമാറുന്നു.

എന്തെങ്കിലും മാറ്റങ്ങളെക്കുറിച്ച് മൃഗശാലാ സൂക്ഷിപ്പുകാരനെ എപ്പോഴും അറിയിക്കും, അങ്ങനെ ഒരു പരാജയം സംഭവിച്ചാൽ, മാനേജ്മെൻ്റ് സുഗമമായി ഒരു പുതിയ നേതാവിലേക്ക് മാറും.

അരി. 21. കാഫ്ക സമവായം

റെപ്ലിക്കേഷൻ പ്രോട്ടോക്കോൾ

റിപ്ലിക്കേഷൻ്റെ വിശദാംശങ്ങൾ മനസ്സിലാക്കുന്നത്, ഡാറ്റ നഷ്‌ടപ്പെടാൻ സാധ്യതയുള്ള സാഹചര്യങ്ങൾ നന്നായി മനസ്സിലാക്കാൻ നിങ്ങളെ സഹായിക്കുന്നു.

സാമ്പിൾ അന്വേഷണങ്ങൾ, ലോഗ് എൻഡ് ഓഫ്‌സെറ്റ് (LEO), ഹൈവാട്ടർ മാർക്ക് (HW)

പിന്തുടരുന്നവർ ഇടയ്‌ക്കിടെ ലീഡർക്ക് അഭ്യർത്ഥനകൾ അയയ്‌ക്കുന്നത് ഞങ്ങൾ പരിഗണിച്ചു. ഡിഫോൾട്ട് ഇടവേള 500ms ആണ്. ഇത് RabbitMQ-ൽ നിന്ന് വ്യത്യസ്തമാണ്, RabbitMQ-ൽ ക്യൂ മിറർ മുഖേനയല്ല, യജമാനനാൽ പകർപ്പെടുക്കൽ ആരംഭിക്കുന്നു. യജമാനൻ മാറ്റങ്ങൾ കണ്ണാടികളിലേക്ക് തള്ളുന്നു.

നേതാവും എല്ലാ അനുയായികളും ലോഗ് എൻഡ് ഓഫ്‌സെറ്റും (LEO) ഹൈവാട്ടർ (HW) ലേബലും സംരക്ഷിക്കുന്നു. LEO മാർക്ക് ലോക്കൽ റെപ്ലിക്കയിലെ അവസാന സന്ദേശത്തിൻ്റെ ഓഫ്‌സെറ്റ് സംഭരിക്കുന്നു, കൂടാതെ HW അവസാന കമ്മിറ്റിൻ്റെ ഓഫ്‌സെറ്റും സംഭരിക്കുന്നു. കമ്മിറ്റ് സ്റ്റാറ്റസിന്, എല്ലാ ഐഎസ്ആർ റെപ്ലിക്കുകളിലും സന്ദേശം നിലനിൽക്കണമെന്ന് ഓർമ്മിക്കുക. ഇതിനർത്ഥം LEO സാധാരണയായി HW-നേക്കാൾ അല്പം മുന്നിലാണെന്നാണ്.

നേതാവിന് ഒരു സന്ദേശം ലഭിക്കുമ്പോൾ, അത് പ്രാദേശികമായി സംഭരിക്കുന്നു. പിന്തുടരുന്നയാൾ തൻ്റെ LEO ട്രാൻസ്മിറ്റ് ചെയ്തുകൊണ്ട് ഒരു കൊണ്ടുവരാനുള്ള അഭ്യർത്ഥന നടത്തുന്നു. ലീഡർ പിന്നീട് ഈ LEO-യിൽ നിന്ന് ആരംഭിക്കുന്ന ഒരു കൂട്ടം സന്ദേശങ്ങൾ അയയ്‌ക്കുകയും നിലവിലെ എച്ച്‌ഡബ്ല്യു കൈമാറുകയും ചെയ്യുന്നു. തന്നിരിക്കുന്ന ഓഫ്‌സെറ്റിൽ എല്ലാ പകർപ്പുകളും സന്ദേശം സംഭരിച്ചിട്ടുണ്ടെന്ന വിവരം നേതാവിന് ലഭിക്കുമ്പോൾ, അത് HW അടയാളം നീക്കുന്നു. നേതാവിന് മാത്രമേ HW നീക്കാൻ കഴിയൂ, അതിനാൽ എല്ലാ അനുയായികൾക്കും അവരുടെ അഭ്യർത്ഥനയ്ക്കുള്ള പ്രതികരണങ്ങളിലെ നിലവിലെ മൂല്യം അറിയാനാകും. സന്ദേശത്തിലും എച്ച്‌ഡബ്ല്യു വിജ്ഞാനത്തിലും അനുയായികൾ നേതാവിനേക്കാൾ പിന്നിലായിരിക്കാം എന്നാണ് ഇതിനർത്ഥം. നിലവിലെ HW വരെ മാത്രമേ ഉപഭോക്താക്കൾക്ക് സന്ദേശങ്ങൾ ലഭിക്കൂ.

"പെർസിസ്റ്റഡ്" എന്നാൽ ഡിസ്കിലേക്കല്ല, മെമ്മറിയിലേയ്ക്കാണ് എഴുതിയിരിക്കുന്നതെന്നത് ശ്രദ്ധിക്കുക. പ്രകടനത്തിനായി, കാഫ്ക ഒരു നിശ്ചിത ഇടവേളയിൽ ഡിസ്കിലേക്ക് സമന്വയിപ്പിക്കുന്നു. RabbitMQ- നും അത്തരമൊരു ഇടവേളയുണ്ട്, പക്ഷേ അത് മാസ്റ്ററും എല്ലാ മിററുകളും ഡിസ്കിലേക്ക് സന്ദേശം എഴുതിയതിനുശേഷം മാത്രമേ പ്രസാധകന് ഒരു അംഗീകാരം അയയ്‌ക്കൂ. കാഫ്ക ഡെവലപ്പർമാർ, പ്രകടന കാരണങ്ങളാൽ, സന്ദേശം മെമ്മറിയിലേക്ക് എഴുതിയ ഉടൻ തന്നെ ഒരു അക്ക് അയയ്ക്കാൻ തീരുമാനിച്ചു. അംഗീകൃത സന്ദേശങ്ങൾ മെമ്മറിയിൽ മാത്രം സംഭരിക്കുന്നതിനുള്ള അപകടസാധ്യത ഒഴിവാക്കുമെന്ന് കാഫ്ക വാതുവെയ്ക്കുന്നു.

നേതാവിൻ്റെ പരാജയം

ഒരു നേതാവ് വീഴുമ്പോൾ, സൂക്കീപ്പർ കൺട്രോളറെ അറിയിക്കുകയും അത് ഒരു പുതിയ ലീഡർ റെപ്ലിക്ക തിരഞ്ഞെടുക്കുകയും ചെയ്യുന്നു. പുതിയ നേതാവ് അവൻ്റെ LEO അനുസരിച്ച് ഒരു പുതിയ HW അടയാളം സജ്ജീകരിക്കുന്നു. തുടർന്ന് പുതിയ നേതാവിനെക്കുറിച്ചുള്ള വിവരങ്ങൾ അനുയായികൾക്ക് ലഭിക്കും. കാഫ്കയുടെ പതിപ്പിനെ ആശ്രയിച്ച്, പിന്തുടരുന്നയാൾ രണ്ട് സാഹചര്യങ്ങളിൽ ഒന്ന് തിരഞ്ഞെടുക്കും:

1. ഇത് അറിയപ്പെടുന്ന HW ലേക്ക് പ്രാദേശിക ലോഗ് വെട്ടിച്ചുരുക്കുകയും ഈ അടയാളത്തിന് ശേഷം സന്ദേശങ്ങൾക്കായി പുതിയ നേതാവിന് ഒരു അഭ്യർത്ഥന അയയ്ക്കുകയും ചെയ്യും.
2. നേതാവായി തിരഞ്ഞെടുക്കപ്പെട്ട സമയത്ത് എച്ച്ഡബ്ല്യു കണ്ടുപിടിക്കാൻ നേതാവിന് ഒരു അഭ്യർത്ഥന അയയ്‌ക്കും, തുടർന്ന് ഈ ഓഫ്‌സെറ്റിലേക്ക് ലോഗ് വെട്ടിച്ചുരുക്കും. ഈ ഓഫ്‌സെറ്റിൽ നിന്ന് അത് ആനുകാലികമായി ലഭ്യമാക്കുന്നതിനുള്ള അഭ്യർത്ഥനകൾ ആരംഭിക്കും.

ഇനിപ്പറയുന്ന കാരണങ്ങളാൽ ഒരു അനുയായിക്ക് ലോഗ് വെട്ടിച്ചുരുക്കേണ്ടി വന്നേക്കാം:

• ഒരു നേതാവ് പരാജയപ്പെടുമ്പോൾ, സൂക്കീപ്പറിൽ രജിസ്റ്റർ ചെയ്ത ISR സെറ്റിലെ ആദ്യത്തെ അനുയായി തിരഞ്ഞെടുപ്പിൽ വിജയിക്കുകയും നേതാവാകുകയും ചെയ്യുന്നു. ISR-ലെ എല്ലാ അനുയായികൾക്കും, "സമന്വയത്തിൽ" പരിഗണിക്കപ്പെടുന്നുണ്ടെങ്കിലും, മുൻ നേതാവിൽ നിന്ന് എല്ലാ സന്ദേശങ്ങളുടെയും പകർപ്പുകൾ ലഭിച്ചിട്ടുണ്ടാകില്ല. ഫീച്ചർ ചെയ്‌ത പിന്തുടരുന്നയാൾക്ക് ഏറ്റവും കാലികമായ പകർപ്പ് ഇല്ലെന്നത് പൂർണ്ണമായും സാധ്യമാണ്. പകർപ്പുകൾക്കിടയിൽ വ്യത്യസ്‌തതയില്ലെന്ന് കാഫ്ക ഉറപ്പാക്കുന്നു. അതിനാൽ, പൊരുത്തക്കേടുകൾ ഒഴിവാക്കാൻ, ഓരോ അനുയായിയും തൻ്റെ തിരഞ്ഞെടുപ്പ് സമയത്ത് പുതിയ നേതാവിൻ്റെ HW മൂല്യത്തിലേക്ക് അതിൻ്റെ ലോഗ് വെട്ടിച്ചുരുക്കണം. ഇത് സജ്ജീകരിക്കുന്നതിനുള്ള മറ്റൊരു കാരണമാണ് acks=എല്ലാം സ്ഥിരതയ്ക്ക് വളരെ പ്രധാനമാണ്.
• സന്ദേശങ്ങൾ ഇടയ്ക്കിടെ ഡിസ്കിൽ എഴുതുന്നു. എല്ലാ ക്ലസ്റ്റർ നോഡുകളും ഒരേ സമയം പരാജയപ്പെടുകയാണെങ്കിൽ, വ്യത്യസ്ത ഓഫ്സെറ്റുകളുള്ള പകർപ്പുകൾ ഡിസ്കുകളിൽ സംഭരിക്കപ്പെടും. ബ്രോക്കർമാർ വീണ്ടും ഓൺലൈനിൽ വരുമ്പോൾ, തിരഞ്ഞെടുക്കപ്പെടുന്ന പുതിയ നേതാവ് മറ്റുള്ളവരുടെ മുമ്പിൽ ഡിസ്കിലേക്ക് സംരക്ഷിച്ചതിനാൽ അദ്ദേഹത്തിൻ്റെ അനുയായികളുടെ പിന്നിലായിരിക്കാൻ സാധ്യതയുണ്ട്.

ക്ലസ്റ്ററുമായുള്ള ഒത്തുചേരൽ

ക്ലസ്റ്ററിലേക്ക് വീണ്ടും ചേരുമ്പോൾ, ഒരു നേതാവ് പരാജയപ്പെടുമ്പോൾ, പകർപ്പുകൾ ചെയ്യുന്നത് സമാനമാണ്: അവർ നേതാവിൻ്റെ പകർപ്പ് പരിശോധിക്കുകയും അവരുടെ ലോഗ് അതിൻ്റെ HW-ലേക്ക് വെട്ടിച്ചുരുക്കുകയും ചെയ്യുന്നു (തെരഞ്ഞെടുപ്പ് സമയത്ത്). താരതമ്യപ്പെടുത്തുമ്പോൾ, റാബിറ്റ്എംക്യു വീണ്ടും ഒന്നിച്ച നോഡുകൾ പൂർണ്ണമായും പുതിയതായി കണക്കാക്കുന്നു. രണ്ട് സാഹചര്യങ്ങളിലും, ബ്രോക്കർ നിലവിലുള്ള ഏതെങ്കിലും സംസ്ഥാനം നിരസിക്കുന്നു. ഓട്ടോമാറ്റിക് സിൻക്രൊണൈസേഷൻ ഉപയോഗിക്കുകയാണെങ്കിൽ, "ലോകം മുഴുവൻ കാത്തിരിക്കട്ടെ" എന്ന രീതിയിൽ മാസ്റ്റർ നിലവിലുള്ള എല്ലാ ഉള്ളടക്കവും പുതിയ മിററിലേക്ക് പകർത്തണം. ഈ ഓപ്പറേഷൻ സമയത്ത് മാസ്റ്റർ വായിക്കുകയോ എഴുതുകയോ ചെയ്യുന്ന പ്രവർത്തനങ്ങളൊന്നും സ്വീകരിക്കുന്നില്ല. ഈ സമീപനം വലിയ ക്യൂവിൽ പ്രശ്നങ്ങൾ സൃഷ്ടിക്കുന്നു.

കാഫ്ക ഒരു വിതരണം ചെയ്ത ലോഗ് ആണ്, പൊതുവെ ഇത് RabbitMQ ക്യൂവിനേക്കാൾ കൂടുതൽ സന്ദേശങ്ങൾ സംഭരിക്കുന്നു, അത് വായിച്ചതിന് ശേഷം ക്യൂവിൽ നിന്ന് ഡാറ്റ നീക്കം ചെയ്യപ്പെടും. സജീവമായ ക്യൂകൾ താരതമ്യേന ചെറുതായിരിക്കണം. എന്നാൽ കാഫ്ക സ്വന്തം നിലനിർത്തൽ നയമുള്ള ഒരു ലോഗാണ്, അതിന് ദിവസങ്ങളോ ആഴ്ചകളോ കാലയളവ് സജ്ജമാക്കാൻ കഴിയും. വിതരണം ചെയ്ത ലോഗിന് ക്യൂ ബ്ലോക്കിംഗും പൂർണ്ണ സമന്വയ സമീപനവും തികച്ചും അസ്വീകാര്യമാണ്. പകരം, കാഫ്ക അനുയായികൾ അവരുടെ പകർപ്പ് നേതാവിനേക്കാൾ മുന്നിലാണെങ്കിൽ, നേതാവിൻ്റെ എച്ച്ഡബ്ല്യു (അദ്ദേഹത്തിൻ്റെ തിരഞ്ഞെടുപ്പ് സമയത്ത്) അവരുടെ ലോഗ് വെട്ടിച്ചുരുക്കുക. കൂടുതൽ സാധ്യതയുള്ള സാഹചര്യത്തിൽ, പിന്തുടരുന്നയാൾ പിന്നിലായിരിക്കുമ്പോൾ, അത് അതിൻ്റെ നിലവിലെ LEO-ൽ നിന്ന് ആരംഭിക്കുന്ന അഭ്യർത്ഥനകൾ ആരംഭിക്കുന്നു.

പുതിയതോ വീണ്ടും ചേരുന്നതോ ആയ അനുയായികൾ ISR-ന് പുറത്ത് ആരംഭിക്കുന്നു, കമ്മിറ്റുകളിൽ പങ്കെടുക്കുന്നില്ല. അവർ ഗ്രൂപ്പിനൊപ്പം പ്രവർത്തിക്കുന്നു, നേതാവിനെ കണ്ടെത്തുകയും ISR-ൽ പ്രവേശിക്കുന്നത് വരെ കഴിയുന്നത്ര വേഗത്തിൽ സന്ദേശങ്ങൾ സ്വീകരിക്കുകയും ചെയ്യുന്നു. ലോക്ക്-ഇൻ ഇല്ല, നിങ്ങളുടെ എല്ലാ ഡാറ്റയും വലിച്ചെറിയേണ്ട ആവശ്യമില്ല.

കണക്റ്റിവിറ്റി നഷ്ടം

റാബിറ്റ്എംക്യുവിനേക്കാൾ കൂടുതൽ ഘടകങ്ങൾ കാഫ്കയിലുണ്ട്, അതിനാൽ ക്ലസ്റ്റർ വിച്ഛേദിക്കുമ്പോൾ അതിന് കൂടുതൽ സങ്കീർണ്ണമായ സ്വഭാവങ്ങളുണ്ട്. എന്നാൽ കാഫ്ക യഥാർത്ഥത്തിൽ ക്ലസ്റ്ററുകൾക്കായി രൂപകൽപ്പന ചെയ്തിട്ടുള്ളതാണ്, അതിനാൽ പരിഹാരങ്ങൾ വളരെ നന്നായി ചിന്തിച്ചിട്ടുണ്ട്.

നിരവധി കണക്റ്റിവിറ്റി പരാജയ സാഹചര്യങ്ങൾ ചുവടെയുണ്ട്:

• രംഗം 1: പിന്തുടരുന്നയാൾ നേതാവിനെ കാണുന്നില്ല, പക്ഷേ മൃഗപാലകനെ ഇപ്പോഴും കാണുന്നു.
• രംഗം 2: നേതാവ് അനുയായികളെയൊന്നും കാണുന്നില്ല, പക്ഷേ ഇപ്പോഴും മൃഗപാലകനെ കാണുന്നു.
• രംഗം 3: പിന്തുടരുന്നയാൾ നേതാവിനെ കാണുന്നു, പക്ഷേ മൃഗശാല സൂക്ഷിപ്പുകാരനെ കാണുന്നില്ല.
• രംഗം 4: നേതാവ് അനുയായികളെ കാണുന്നു, പക്ഷേ മൃഗശാല സൂക്ഷിപ്പുകാരനെ കാണുന്നില്ല.
• രംഗം 5: പിന്തുടരുന്നയാൾ മറ്റ് കാഫ്ക നോഡുകളിൽ നിന്നും സൂക്കീപ്പറിൽ നിന്നും തികച്ചും വ്യത്യസ്തമാണ്.
• രംഗം 6: ലീഡർ മറ്റ് കാഫ്ക നോഡുകളിൽ നിന്നും സൂക്കീപ്പറിൽ നിന്നും തികച്ചും വ്യത്യസ്തനാണ്.
• സാഹചര്യം 7: കാഫ്ക കൺട്രോളർ നോഡിന് മറ്റൊരു കാഫ്ക നോഡ് കാണാൻ കഴിയില്ല.
• രംഗം 8: കാഫ്ക കൺട്രോളർ മൃഗശാലാ സൂക്ഷിപ്പുകാരനെ കാണുന്നില്ല.

ഓരോ സാഹചര്യത്തിനും അതിൻ്റേതായ പെരുമാറ്റമുണ്ട്.

രംഗം 1: പിന്തുടരുന്നയാൾ നേതാവിനെ കാണുന്നില്ല, പക്ഷേ മൃഗപാലകനെ ഇപ്പോഴും കാണുന്നു

അരി. 22. രംഗം 1: മൂന്ന് പകർപ്പുകളുടെ ISR

കണക്ടിവിറ്റി പരാജയം ബ്രോക്കർ 3-നെ ബ്രോക്കർമാരിൽ നിന്ന് 1, 2 എന്നിവയിൽ നിന്ന് വേർതിരിക്കുന്നു, പക്ഷേ സൂക്കീപ്പറിൽ നിന്ന് അല്ല. ബ്രോക്കർ 3-ന് ഇനി ലഭിക്കാനുള്ള അഭ്യർത്ഥനകൾ അയയ്‌ക്കാനാവില്ല. സമയം കഴിഞ്ഞതിനു ശേഷം replica.lag.time.max.ms ഇത് ISR-ൽ നിന്ന് നീക്കം ചെയ്യുകയും സന്ദേശ കമ്മിറ്റുകളിൽ പങ്കെടുക്കുകയും ചെയ്യുന്നില്ല. കണക്റ്റിവിറ്റി പുനഃസ്ഥാപിച്ചുകഴിഞ്ഞാൽ, അത് വീണ്ടെടുക്കൽ അഭ്യർത്ഥനകൾ പുനരാരംഭിക്കുകയും നേതാവുമായി ബന്ധപ്പെടുമ്പോൾ ISR-ൽ ചേരുകയും ചെയ്യും. മൃഗശാലാ സൂക്ഷിപ്പുകാരന് പിംഗ്സ് ലഭിക്കുന്നത് തുടരുകയും ബ്രോക്കർ ജീവിച്ചിരിപ്പുണ്ടെന്ന് അനുമാനിക്കുകയും ചെയ്യും.

അരി. 23. സാഹചര്യം 1: replica.lag.time.max.ms ഇടവേളയ്ക്കുള്ളിൽ ISR-ൽ നിന്ന് ലഭ്യമാക്കാനുള്ള അഭ്യർത്ഥന ലഭിച്ചില്ലെങ്കിൽ ബ്രോക്കർ അതിൽ നിന്ന് നീക്കം ചെയ്യപ്പെടും.

RabbitMQ-ലെ പോലെ സ്പ്ലിറ്റ് ബ്രെയിൻ അല്ലെങ്കിൽ നോഡ് സസ്പെൻഷൻ ഇല്ല. പകരം, ആവർത്തനം കുറയുന്നു.

രംഗം 2: ലീഡർ അനുയായികളെ കാണുന്നില്ല, പക്ഷേ ഇപ്പോഴും മൃഗപാലകനെ കാണുന്നു

അരി. 24. സാഹചര്യം 2. നേതാവും രണ്ട് അനുയായികളും

നെറ്റ്‌വർക്ക് കണക്റ്റിവിറ്റിയിലെ തകർച്ച ലീഡറെ ഫോളോവേഴ്‌സിൽ നിന്ന് വേർതിരിക്കുന്നു, പക്ഷേ ബ്രോക്കർക്ക് ഇപ്പോഴും സൂക്കീപ്പറെ കാണാൻ കഴിയും. ആദ്യ സാഹചര്യത്തിലെന്നപോലെ, ISR ചുരുങ്ങുന്നു, എന്നാൽ ഇത്തവണ ലീഡർക്ക് മാത്രം, എല്ലാ അനുയായികളും കൊണ്ടുവരാനുള്ള അഭ്യർത്ഥനകൾ അയക്കുന്നത് നിർത്തുന്നു. വീണ്ടും, യുക്തിപരമായ വിഭജനം ഇല്ല. പകരം, കണക്റ്റിവിറ്റി പുനഃസ്ഥാപിക്കുന്നതുവരെ പുതിയ സന്ദേശങ്ങൾക്കുള്ള ആവർത്തനം നഷ്ടപ്പെടും. മൃഗശാലാ സൂക്ഷിപ്പുകാരന് പിംഗ്സ് ലഭിക്കുന്നത് തുടരുന്നു, ബ്രോക്കർ ജീവനോടെയുണ്ടെന്ന് വിശ്വസിക്കുന്നു.

അരി. 25. രംഗം 2. ISR നേതാവിലേക്ക് മാത്രം ചുരുങ്ങി

സാഹചര്യം 3. പിന്തുടരുന്നയാൾ നേതാവിനെ കാണുന്നു, പക്ഷേ മൃഗശാല സൂക്ഷിപ്പുകാരനെ കാണുന്നില്ല

സൂക്കീപ്പറിൽ നിന്ന് അനുയായിയെ വേർപെടുത്തിയിരിക്കുന്നു, എന്നാൽ നേതാവുമായുള്ള ബ്രോക്കറിൽ നിന്നല്ല. തൽഫലമായി, പിന്തുടരുന്നയാൾ വീണ്ടെടുക്കൽ അഭ്യർത്ഥനകൾ നടത്തുന്നത് തുടരുകയും ISR-ൽ അംഗമാകുകയും ചെയ്യുന്നു. മൃഗശാലാ സൂക്ഷിപ്പുകാരന് ഇനി പിംഗ് ലഭിക്കില്ല, ഒരു ബ്രോക്കർ ക്രാഷ് രജിസ്റ്റർ ചെയ്യുന്നു, പക്ഷേ അത് ഒരു അനുയായി മാത്രമായതിനാൽ, വീണ്ടെടുക്കലിനുശേഷം അനന്തരഫലങ്ങളൊന്നുമില്ല.

അരി. 26. രംഗം 3: പിന്തുടരുന്നയാൾ ലീഡർക്ക് ലഭിക്കാനുള്ള അഭ്യർത്ഥനകൾ അയക്കുന്നത് തുടരുന്നു

സാഹചര്യം 4. നേതാവ് അനുയായികളെ കാണുന്നു, പക്ഷേ മൃഗശാലാ സൂക്ഷിപ്പുകാരനെ കാണുന്നില്ല

അരി. 27. സാഹചര്യം 4. നേതാവും രണ്ട് അനുയായികളും

നേതാവ് സൂക്കീപ്പറിൽ നിന്ന് വേർപിരിഞ്ഞു, പക്ഷേ അനുയായികളുള്ള ബ്രോക്കർമാരിൽ നിന്നല്ല.

അരി. 28. രംഗം 4: സൂക്കീപ്പറിൽ നിന്ന് ഒറ്റപ്പെട്ട നേതാവ്

കുറച്ച് സമയത്തിന് ശേഷം, സൂക്കീപ്പർ ഒരു ബ്രോക്കർ പരാജയം രജിസ്റ്റർ ചെയ്യുകയും അതിനെക്കുറിച്ച് കൺട്രോളറെ അറിയിക്കുകയും ചെയ്യും. തൻ്റെ അനുയായികൾക്കിടയിൽ ഒരു പുതിയ നേതാവിനെ അദ്ദേഹം തിരഞ്ഞെടുക്കും. എന്നിരുന്നാലും, യഥാർത്ഥ നേതാവ് താൻ നേതാവാണെന്ന് കരുതുന്നത് തുടരുകയും എൻട്രികൾ സ്വീകരിക്കുന്നത് തുടരുകയും ചെയ്യും അക്കുകൾ=1. പിന്തുടരുന്നവർ ഇനി അദ്ദേഹത്തിന് അഭ്യർത്ഥനകൾ അയയ്‌ക്കുന്നില്ല, അതിനാൽ അവൻ അവരെ മരിച്ചതായി കണക്കാക്കുകയും ISR സ്വയം ചുരുക്കാൻ ശ്രമിക്കുകയും ചെയ്യും. എന്നാൽ അതിന് Zookeeper-മായി ഒരു ബന്ധവുമില്ലാത്തതിനാൽ, അതിന് ഇത് ചെയ്യാൻ കഴിയില്ല, ആ സമയത്ത് കൂടുതൽ എൻട്രികൾ സ്വീകരിക്കാൻ വിസമ്മതിക്കും.

സന്ദേശങ്ങൾ acks=എല്ലാം ISR ആദ്യം എല്ലാ പകർപ്പുകളും ഓണാക്കുന്നതും സന്ദേശങ്ങൾ അവയിൽ എത്താത്തതുമായതിനാൽ ഒരു അംഗീകാരം ലഭിക്കില്ല. യഥാർത്ഥ നേതാവ് അവരെ ISR-ൽ നിന്ന് നീക്കം ചെയ്യാൻ ശ്രമിക്കുമ്പോൾ, അതിന് അതിന് കഴിയാതെ വരികയും സന്ദേശങ്ങൾ സ്വീകരിക്കുന്നത് പൂർണ്ണമായും നിർത്തുകയും ചെയ്യും.

ക്ലയൻ്റുകൾ ഉടൻ തന്നെ ലീഡറിലെ മാറ്റം ശ്രദ്ധിക്കുകയും പുതിയ സെർവറിലേക്ക് റെക്കോർഡുകൾ അയയ്ക്കാൻ തുടങ്ങുകയും ചെയ്യുന്നു. നെറ്റ്‌വർക്ക് പുനഃസ്ഥാപിച്ചുകഴിഞ്ഞാൽ, യഥാർത്ഥ നേതാവ് അത് മേലിൽ ഒരു നേതാവല്ലെന്ന് കാണുകയും ലോഗ് വ്യതിചലനം ഒഴിവാക്കുന്നതിൽ പരാജയപ്പെട്ട സമയത്ത് പുതിയ നേതാവിന് ഉണ്ടായിരുന്ന HW മൂല്യത്തിലേക്ക് അതിൻ്റെ ലോഗ് വെട്ടിച്ചുരുക്കുകയും ചെയ്യുന്നു. അത് പിന്നീട് പുതിയ നേതാവിന് ലഭിക്കാനുള്ള അഭ്യർത്ഥനകൾ അയയ്ക്കാൻ തുടങ്ങും. യഥാർത്ഥ നേതാവിൽ നിന്ന് പുതിയ നേതാവിലേക്ക് പകർത്താത്ത എല്ലാ റെക്കോർഡുകളും നഷ്‌ടമായി. അതായത്, രണ്ട് നേതാക്കൾ പ്രവർത്തിച്ചിരുന്ന ആ ഏതാനും നിമിഷങ്ങൾക്കുള്ളിൽ യഥാർത്ഥ നേതാവ് അംഗീകരിക്കാത്ത സന്ദേശങ്ങൾ നഷ്ടപ്പെടും.

അരി. 29. സാഹചര്യം 4. നെറ്റ്‌വർക്ക് പുനഃസ്ഥാപിച്ചതിന് ശേഷം ബ്രോക്കർ 1-ലെ നേതാവ് ഒരു ഫോളോവറായി മാറുന്നു

രംഗം 5: പിന്തുടരുന്നയാൾ മറ്റ് കാഫ്ക നോഡുകളിൽ നിന്നും സൂക്കീപ്പറിൽ നിന്നും തികച്ചും വ്യത്യസ്തമാണ്

പിന്തുടരുന്നയാൾ മറ്റ് കാഫ്ക നോഡുകളിൽ നിന്നും സൂക്കീപ്പറിൽ നിന്നും പൂർണ്ണമായും ഒറ്റപ്പെട്ടിരിക്കുന്നു. നെറ്റ്‌വർക്ക് പുനഃസ്ഥാപിക്കുന്നതുവരെ അവൻ ISR-ൽ നിന്ന് സ്വയം നീക്കം ചെയ്യുന്നു, തുടർന്ന് മറ്റുള്ളവരുമായി ബന്ധപ്പെടുന്നു.

അരി. 30. രംഗം 5: ഒറ്റപ്പെട്ട അനുയായിയെ ISR-ൽ നിന്ന് നീക്കം ചെയ്യുന്നു

രംഗം 6: ലീഡർ മറ്റ് കാഫ്ക നോഡുകളിൽ നിന്നും സൂക്കീപ്പറിൽ നിന്നും തികച്ചും വ്യത്യസ്തനാണ്

അരി. 31. സാഹചര്യം 6. നേതാവും രണ്ട് അനുയായികളും

നേതാവ് തൻ്റെ അനുയായികളിൽ നിന്നും കൺട്രോളറിൽ നിന്നും മൃഗപാലകനിൽ നിന്നും പൂർണ്ണമായും ഒറ്റപ്പെട്ടിരിക്കുന്നു. ഒരു ചെറിയ കാലയളവിലേക്ക് ഇത് എൻട്രികൾ സ്വീകരിക്കുന്നത് തുടരും അക്കുകൾ=1.

അരി. 32. രംഗം 6: മറ്റ് കാഫ്ക, സൂക്കീപ്പർ നോഡുകളിൽ നിന്ന് നേതാവിനെ ഒറ്റപ്പെടുത്തൽ

കാലാവധി കഴിഞ്ഞിട്ടും അഭ്യർത്ഥനകൾ ലഭിച്ചിട്ടില്ല replica.lag.time.max.ms, അത് ISR നെ സ്വയം ചുരുക്കാൻ ശ്രമിക്കും, പക്ഷേ Zookeeper-മായി ആശയവിനിമയം ഇല്ലാത്തതിനാൽ അത് ചെയ്യാൻ കഴിയില്ല, തുടർന്ന് അത് എഴുത്തുകൾ സ്വീകരിക്കുന്നത് നിർത്തും.

അതേസമയം, ഒറ്റപ്പെട്ട ബ്രോക്കറെ മരിച്ചതായി സൂക്കീപ്പർ അടയാളപ്പെടുത്തുകയും കൺട്രോളർ പുതിയ നേതാവിനെ തിരഞ്ഞെടുക്കുകയും ചെയ്യും.

അരി. 33. സാഹചര്യം 6. രണ്ട് നേതാക്കൾ

യഥാർത്ഥ നേതാവ് കുറച്ച് നിമിഷത്തേക്ക് എൻട്രികൾ സ്വീകരിച്ചേക്കാം, എന്നാൽ പിന്നീട് സന്ദേശങ്ങൾ സ്വീകരിക്കുന്നത് നിർത്തും. ഓരോ 60 സെക്കൻഡിലും ഏറ്റവും പുതിയ മെറ്റാഡാറ്റ ഉപയോഗിച്ച് ക്ലയൻ്റുകൾ അപ്‌ഡേറ്റ് ചെയ്യപ്പെടുന്നു. ലീഡർ മാറ്റത്തെ കുറിച്ച് അവരെ അറിയിക്കുകയും പുതിയ നേതാവിന് എൻട്രികൾ അയയ്ക്കാൻ തുടങ്ങുകയും ചെയ്യും.

അരി. 34. രംഗം 6: നിർമ്മാതാക്കൾ ഒരു പുതിയ നേതാവിലേക്ക് മാറുന്നു

കണക്റ്റിവിറ്റി നഷ്‌ടമായതിനാൽ യഥാർത്ഥ നേതാവ് നടത്തിയ എല്ലാ സ്ഥിരീകരിച്ച എൻട്രികളും നഷ്‌ടമാകും. നെറ്റ്‌വർക്ക് പുനഃസ്ഥാപിച്ചുകഴിഞ്ഞാൽ, യഥാർത്ഥ നേതാവ് ഇനി നേതാവല്ലെന്ന് സൂക്കീപ്പർ വഴി കണ്ടെത്തും. പിന്നീട് അത് തിരഞ്ഞെടുപ്പ് സമയത്ത് പുതിയ നേതാവിൻ്റെ എച്ച്ഡബ്ല്യുവിലേക്ക് അതിൻ്റെ ലോഗ് വെട്ടിച്ചുരുക്കുകയും അനുയായിയായി അഭ്യർത്ഥനകൾ അയയ്‌ക്കാൻ തുടങ്ങുകയും ചെയ്യും.

അരി. 35. സാഹചര്യം 6: നെറ്റ്‌വർക്ക് കണക്റ്റിവിറ്റി പുനഃസ്ഥാപിച്ചതിന് ശേഷം യഥാർത്ഥ നേതാവ് ഒരു അനുയായിയായി മാറുന്നു

ഈ സാഹചര്യത്തിൽ, ലോജിക്കൽ വേർപിരിയൽ ഒരു ചെറിയ കാലയളവിൽ സംഭവിക്കാം, പക്ഷേ എങ്കിൽ മാത്രം അക്കുകൾ=1 и min.insync.replicas കൂടാതെ 1. നെറ്റ്‌വർക്ക് പുനഃസ്ഥാപിച്ചതിന് ശേഷമോ, യഥാർത്ഥ നേതാവ് താൻ ഇനി നേതാവല്ലെന്ന് മനസ്സിലാക്കുമ്പോഴോ, അല്ലെങ്കിൽ എല്ലാ ക്ലയൻ്റുകളും ലീഡർ മാറിയെന്ന് മനസ്സിലാക്കി പുതിയ നേതാവിന് എഴുതാൻ തുടങ്ങുമ്പോഴോ - ലോജിക്കൽ വേർതിരിവ് യാന്ത്രികമായി അവസാനിക്കുന്നു - ഏതാണ് ആദ്യം സംഭവിക്കുന്നത്. ഏത് സാഹചര്യത്തിലും, ചില സന്ദേശങ്ങൾ നഷ്‌ടപ്പെടും, പക്ഷേ കൂടെ മാത്രം അക്കുകൾ=1.

നെറ്റ്‌വർക്ക് പിളരുന്നതിന് തൊട്ടുമുമ്പ്, അനുയായികൾ പിന്നോട്ട് പോകുകയും നേതാവ് ഐഎസ്ആറിനെ തനിക്കായി ചുരുക്കുകയും ചെയ്യുന്ന ഈ സാഹചര്യത്തിൻ്റെ മറ്റൊരു വകഭേദമുണ്ട്. പിന്നീട് കണക്ടിവിറ്റി നഷ്ടപ്പെടുന്നതിനാൽ ഒറ്റപ്പെട്ടുപോകുന്നു. ഒരു പുതിയ നേതാവ് തിരഞ്ഞെടുക്കപ്പെട്ടു, എന്നാൽ യഥാർത്ഥ നേതാവ് എൻട്രികൾ സ്വീകരിക്കുന്നത് തുടരുന്നു acks=എല്ലാം, കാരണം ISR ൽ അവനല്ലാതെ മറ്റാരുമില്ല. നെറ്റ്‌വർക്ക് പുനഃസ്ഥാപിക്കുമ്പോൾ ഈ റെക്കോർഡുകൾ നഷ്‌ടമാകും. ഈ ഓപ്ഷൻ ഒഴിവാക്കാനുള്ള ഒരേയൊരു മാർഗ്ഗം min.insync.replicas = 2.

സാഹചര്യം 7: കാഫ്ക കൺട്രോളർ നോഡിന് മറ്റൊരു കാഫ്ക നോഡ് കാണാൻ കഴിയില്ല

പൊതുവേ, ഒരു കാഫ്ക നോഡുമായുള്ള കണക്ഷൻ നഷ്ടപ്പെട്ടാൽ, കൺട്രോളറിന് ഏതെങ്കിലും നേതാവിനെ മാറ്റുന്നതിനുള്ള വിവരങ്ങൾ അതിലേക്ക് കൈമാറാൻ കഴിയില്ല. ഏറ്റവും മോശം സാഹചര്യത്തിൽ, 6-ാം രംഗം പോലെ, ഇത് ഒരു ഹ്രസ്വകാല ലോജിക്കൽ വേർപിരിയലിലേക്ക് നയിക്കും. മിക്കപ്പോഴും, രണ്ടാമത്തേത് പരാജയപ്പെടുകയാണെങ്കിൽ, ബ്രോക്കർ നേതൃത്വത്തിനുള്ള സ്ഥാനാർത്ഥിയാകില്ല.

രംഗം 8: കാഫ്ക കൺട്രോളർ മൃഗശാലാ സൂക്ഷിപ്പുകാരനെ കാണുന്നില്ല

വീണുപോയ കൺട്രോളറിൽ നിന്ന് മൃഗശാലാ സൂക്ഷിപ്പുകാരന് ഒരു പിംഗ് ലഭിക്കില്ല, കൺട്രോളറായി ഒരു പുതിയ കാഫ്ക നോഡ് തിരഞ്ഞെടുക്കും. ഒറിജിനൽ കൺട്രോളറിന് സ്വയം അവതരിപ്പിക്കുന്നത് തുടരാനാവും, പക്ഷേ അതിന് സൂക്കീപ്പറിൽ നിന്ന് അറിയിപ്പുകൾ ലഭിക്കുന്നില്ല, അതിനാൽ ഇതിന് ടാസ്‌ക്കുകളൊന്നും ചെയ്യാനില്ല. നെറ്റ്‌വർക്ക് പുനഃസ്ഥാപിച്ചുകഴിഞ്ഞാൽ, താൻ ഇനി ഒരു കൺട്രോളറല്ല, മറിച്ച് ഒരു സാധാരണ കാഫ്ക നോഡായി മാറിയെന്ന് അയാൾ മനസ്സിലാക്കും.

സാഹചര്യങ്ങളിൽ നിന്നുള്ള നിഗമനങ്ങൾ

ഫോളോവർ കണക്റ്റിവിറ്റി നഷ്ടപ്പെടുന്നത് സന്ദേശം നഷ്‌ടപ്പെടുന്നതിന് കാരണമാകുന്നില്ലെന്ന് ഞങ്ങൾ കാണുന്നു, പക്ഷേ നെറ്റ്‌വർക്ക് പുനഃസ്ഥാപിക്കുന്നതുവരെ ആവർത്തനം താൽക്കാലികമായി കുറയ്ക്കുന്നു. ഒന്നോ അതിലധികമോ നോഡുകൾ നഷ്‌ടപ്പെടുകയാണെങ്കിൽ ഇത് തീർച്ചയായും ഡാറ്റ നഷ്‌ടത്തിലേക്ക് നയിച്ചേക്കാം.

കണക്റ്റിവിറ്റി നഷ്‌ടമായതിനാൽ നേതാവ് സൂക്കീപ്പറിൽ നിന്ന് വേർപിരിഞ്ഞാൽ, ഇത് സന്ദേശങ്ങൾ നഷ്‌ടപ്പെടുന്നതിന് കാരണമാകും അക്കുകൾ=1. സൂക്കീപ്പറുമായുള്ള ആശയവിനിമയത്തിൻ്റെ അഭാവം രണ്ട് നേതാക്കളുമായി ഹ്രസ്വമായ ലോജിക്കൽ പിളർപ്പിന് കാരണമാകുന്നു. ഈ പ്രശ്നം പരാമീറ്റർ വഴി പരിഹരിക്കുന്നു acks=എല്ലാം.

പാരാമീറ്റർ min.insync.replicas രണ്ടോ അതിലധികമോ പകർപ്പുകളിലേക്ക് ഇത്തരം ഹ്രസ്വകാല സാഹചര്യങ്ങൾ രംഗം 6-ൽ ഉള്ളത് പോലെ സന്ദേശങ്ങൾ നഷ്‌ടപ്പെടാൻ ഇടയാക്കില്ല എന്നതിന് അധിക ഉറപ്പ് നൽകുന്നു.

നഷ്ടപ്പെട്ട സന്ദേശങ്ങളുടെ സംഗ്രഹം

കാഫ്കയിൽ നിങ്ങൾക്ക് ഡാറ്റ നഷ്‌ടപ്പെടുത്താൻ കഴിയുന്ന എല്ലാ വഴികളും പട്ടികപ്പെടുത്താം:

• സന്ദേശങ്ങൾ ഉപയോഗിച്ച് സ്ഥിരീകരിച്ചാൽ ഏതെങ്കിലും നേതാവിൻ്റെ പരാജയം അക്കുകൾ=1
• നേതൃത്വത്തിൻ്റെ ഏതെങ്കിലും അശുദ്ധമായ പരിവർത്തനം, അതായത്, ISR-ന് പുറത്തുള്ള ഒരു അനുയായി, കൂടെ acks=എല്ലാം
• സന്ദേശങ്ങൾ ഉപയോഗിച്ച് സ്ഥിരീകരിച്ചിട്ടുണ്ടെങ്കിൽ സൂക്കീപ്പറിൽ നിന്ന് നേതാവിനെ ഒറ്റപ്പെടുത്തുന്നു അക്കുകൾ=1
• ഇതിനകം തന്നെ ISR ഗ്രൂപ്പിനെ തന്നിലേക്ക് ചുരുക്കിയ നേതാവിൻ്റെ പൂർണ്ണമായ ഒറ്റപ്പെടൽ. എല്ലാ സന്ദേശങ്ങളും നഷ്‌ടമാകും, പോലും acks=എല്ലാം. എങ്കിൽ മാത്രമേ ഇത് ശരിയാകൂ min.insync.replicas=1.
• എല്ലാ പാർട്ടീഷൻ നോഡുകളുടെയും ഒരേസമയം പരാജയങ്ങൾ. മെമ്മറിയിൽ നിന്ന് സന്ദേശങ്ങൾ അംഗീകരിച്ചതിനാൽ, ചിലത് ഇതുവരെ ഡിസ്കിൽ എഴുതിയിട്ടുണ്ടാകില്ല. സെർവറുകൾ റീബൂട്ട് ചെയ്‌ത ശേഷം, ചില സന്ദേശങ്ങൾ നഷ്‌ടമായേക്കാം.

ഒന്നുകിൽ നിരോധിക്കുന്നതിലൂടെയോ കുറഞ്ഞത് രണ്ട് ആവർത്തനങ്ങളെങ്കിലും ഉറപ്പാക്കുന്നതിലൂടെയോ അശുദ്ധമായ നേതൃത്വ പരിവർത്തനങ്ങൾ ഒഴിവാക്കാനാകും. ഏറ്റവും മോടിയുള്ള കോൺഫിഗറേഷൻ ഒരു സംയോജനമാണ് acks=എല്ലാം и min.insync.replicas 1-ന് മുകളിൽ.

റാബിറ്റ്എംക്യു, കാഫ്ക എന്നിവയുടെ വിശ്വാസ്യതയുടെ നേരിട്ടുള്ള താരതമ്യം

വിശ്വാസ്യതയും ഉയർന്ന ലഭ്യതയും ഉറപ്പാക്കാൻ, രണ്ട് പ്ലാറ്റ്ഫോമുകളും ഒരു പ്രാഥമിക, ദ്വിതീയ പകർപ്പെടുക്കൽ സംവിധാനം നടപ്പിലാക്കുന്നു. എന്നിരുന്നാലും, റാബിറ്റ്എംക്യുവിന് അക്കില്ലസ് ഹീൽ ഉണ്ട്. ഒരു പരാജയത്തിന് ശേഷം വീണ്ടും കണക്റ്റുചെയ്യുമ്പോൾ, നോഡുകൾ അവയുടെ ഡാറ്റ നിരസിക്കുകയും സമന്വയം തടയുകയും ചെയ്യുന്നു. ഈ ഇരട്ടത്താപ്പ് റാബിറ്റ്എംക്യുവിലെ വലിയ ക്യൂകളുടെ ദീർഘായുസ്സിനെ ചോദ്യം ചെയ്യുന്നു. കുറഞ്ഞ ആവർത്തനം അല്ലെങ്കിൽ നീണ്ട തടയൽ സമയങ്ങൾ നിങ്ങൾ അംഗീകരിക്കേണ്ടിവരും. ആവർത്തനം കുറയ്ക്കുന്നത് വൻതോതിൽ ഡാറ്റാ നഷ്‌ടത്തിനുള്ള സാധ്യത വർദ്ധിപ്പിക്കുന്നു. എന്നാൽ ക്യൂകൾ ചെറുതാണെങ്കിൽ, ആവർത്തിച്ചുള്ള കണക്ഷൻ ശ്രമങ്ങൾ ഉപയോഗിച്ച്, ആവർത്തിച്ചുള്ള ലഭ്യതക്കുറവ് (കുറച്ച് നിമിഷങ്ങൾ) ഒഴിവാക്കുന്നതിന് വേണ്ടി കൈകാര്യം ചെയ്യാവുന്നതാണ്.

കാഫ്കയ്ക്ക് ഈ പ്രശ്നമില്ല. നേതാവും അനുയായിയും തമ്മിലുള്ള വ്യതിചലനത്തിൽ നിന്നുള്ള ഡാറ്റ മാത്രം ഇത് നിരസിക്കുന്നു. പങ്കിട്ട എല്ലാ ഡാറ്റയും സംരക്ഷിച്ചു. കൂടാതെ, റെപ്ലിക്കേഷൻ സിസ്റ്റത്തെ തടയുന്നില്ല. പുതിയ ഫോളോവർ എടുക്കുമ്പോൾ ലീഡർ പോസ്റ്റുകൾ സ്വീകരിക്കുന്നത് തുടരുന്നു, അതിനാൽ devops-നെ സംബന്ധിച്ചിടത്തോളം ക്ലസ്റ്ററിൽ ചേരുകയോ വീണ്ടും ചേരുകയോ ചെയ്യുന്നത് നിസ്സാരമായ ഒരു ജോലിയാണ്. തീർച്ചയായും, റിപ്ലിക്കേഷൻ സമയത്ത് നെറ്റ്‌വർക്ക് ബാൻഡ്‌വിഡ്ത്ത് പോലുള്ള പ്രശ്‌നങ്ങൾ ഇപ്പോഴും ഉണ്ട്. നിങ്ങൾ ഒരേ സമയം ഒന്നിലധികം അനുയായികളെ ചേർക്കുകയാണെങ്കിൽ, നിങ്ങൾക്ക് ഒരു ബാൻഡ്‌വിഡ്ത്ത് പരിധി നേരിടേണ്ടി വന്നേക്കാം.

ഒരു ക്ലസ്റ്ററിലെ ഒന്നിലധികം സെർവറുകൾ ഒരേ സമയം പരാജയപ്പെടുമ്പോൾ, വിശ്വാസ്യതയിൽ RabbitMQ കാഫ്കയെക്കാൾ മികച്ചതാണ്. ഞങ്ങൾ ഇതിനകം പറഞ്ഞതുപോലെ, മാസ്റ്ററും എല്ലാ മിററുകളും ഡിസ്കിലേക്ക് സന്ദേശം എഴുതിയതിനുശേഷം മാത്രമേ റാബിറ്റ്എംക്യു പ്രസാധകന് ഒരു സ്ഥിരീകരണം അയയ്ക്കൂ. എന്നാൽ ഇത് രണ്ട് കാരണങ്ങളാൽ അധിക ലേറ്റൻസി ചേർക്കുന്നു:

• ഓരോ നൂറുകണക്കിന് മില്ലിസെക്കൻഡിലും fsync
• ഓരോ നോഡിൻ്റെയും (നെറ്റ് ടിക്ക്) ലഭ്യത പരിശോധിക്കുന്ന പാക്കറ്റുകളുടെ ആയുസ്സ് കഴിഞ്ഞതിന് ശേഷം മാത്രമേ കണ്ണാടിയുടെ പരാജയം ശ്രദ്ധിക്കാൻ കഴിയൂ. കണ്ണാടി മന്ദഗതിയിലാകുകയോ വീഴുകയോ ചെയ്താൽ, ഇത് കാലതാമസം കൂട്ടുന്നു.

ഒരു സന്ദേശം ഒന്നിലധികം നോഡുകളിൽ സംഭരിച്ചിട്ടുണ്ടെങ്കിൽ, അത് മെമ്മറിയിൽ എത്തുമ്പോൾ തന്നെ സന്ദേശങ്ങൾ അംഗീകരിക്കാൻ കഴിയുമെന്നതാണ് കാഫ്കയുടെ പന്തയം. ഇക്കാരണത്താൽ, ഏതെങ്കിലും തരത്തിലുള്ള സന്ദേശങ്ങൾ നഷ്‌ടപ്പെടാനുള്ള സാധ്യതയുണ്ട് (പോലും acks=എല്ലാം, min.insync.replicas=2) ഒരേസമയം പരാജയപ്പെടുകയാണെങ്കിൽ.

മൊത്തത്തിൽ, കാഫ്ക മികച്ച സോഫ്‌റ്റ്‌വെയർ പ്രകടനം പ്രകടിപ്പിക്കുകയും ക്ലസ്റ്ററുകൾക്കായി ഗ്രൗണ്ട് അപ്പ് രൂപകൽപന ചെയ്യുകയും ചെയ്യുന്നു. വിശ്വാസ്യതയ്ക്കായി ആവശ്യമെങ്കിൽ പിന്തുടരുന്നവരുടെ എണ്ണം 11 ആയി ഉയർത്താം. റെപ്ലിക്കേഷൻ ഫാക്ടർ 5, സിൻക്രൊണൈസേഷനിലെ ഏറ്റവും കുറഞ്ഞ പകർപ്പുകളുടെ എണ്ണം min.insync.replicas=3 സന്ദേശം നഷ്ടപ്പെടുന്നത് വളരെ അപൂർവ സംഭവമാക്കും. നിങ്ങളുടെ ഇൻഫ്രാസ്ട്രക്ചറിന് ഈ പകർപ്പെടുക്കൽ അനുപാതവും ആവർത്തന നിലയും പിന്തുണയ്ക്കാൻ കഴിയുമെങ്കിൽ, നിങ്ങൾക്ക് ഈ ഓപ്ഷൻ തിരഞ്ഞെടുക്കാം.

ചെറിയ ക്യൂകൾക്ക് RabbitMQ ക്ലസ്റ്ററിംഗ് നല്ലതാണ്. എന്നാൽ വലിയ തിരക്കുള്ളപ്പോൾ ചെറിയ ക്യൂകൾ പോലും വേഗത്തിൽ വളരും. ക്യൂകൾ വലുതായിക്കഴിഞ്ഞാൽ, ലഭ്യതയും വിശ്വാസ്യതയും തമ്മിൽ നിങ്ങൾ കടുത്ത തിരഞ്ഞെടുപ്പുകൾ നടത്തേണ്ടിവരും. RabbitMQ ക്ലസ്റ്ററിംഗിൻ്റെ ഏത് ദോഷങ്ങളേയും മറികടക്കുന്ന RabbitMQ-ൻ്റെ ഫ്ലെക്സിബിലിറ്റിയുടെ ഗുണങ്ങൾ സാധാരണമല്ലാത്ത സാഹചര്യങ്ങൾക്ക് ഏറ്റവും അനുയോജ്യമാണ്.

RabbitMQ-ൻ്റെ വലിയ ക്യൂകളിലേക്കുള്ള അപകടസാധ്യതയ്ക്കുള്ള ഒരു മറുമരുന്ന് അവയെ നിരവധി ചെറിയ ക്യൂകളാക്കി മാറ്റുക എന്നതാണ്. നിങ്ങൾക്ക് മുഴുവൻ ക്യൂവിൻ്റെയും പൂർണ്ണമായ ഓർഡർ ആവശ്യമില്ലെങ്കിൽ, പ്രസക്തമായ സന്ദേശങ്ങൾ മാത്രം (ഉദാഹരണത്തിന്, ഒരു നിർദ്ദിഷ്ട ക്ലയൻ്റിൽ നിന്നുള്ള സന്ദേശങ്ങൾ), അല്ലെങ്കിൽ ഒന്നും ഓർഡർ ചെയ്യുന്നില്ലെങ്കിൽ, ഈ ഓപ്ഷൻ സ്വീകാര്യമാണ്: എൻ്റെ പ്രോജക്റ്റ് നോക്കുക റീബാലൻസർ ക്യൂ വിഭജിക്കാൻ (പദ്ധതി ഇപ്പോഴും പ്രാരംഭ ഘട്ടത്തിലാണ്).

അവസാനമായി, റാബിറ്റ്എംക്യു, കാഫ്ക എന്നിവയുടെ ക്ലസ്റ്ററിംഗ്, റെപ്ലിക്കേഷൻ സംവിധാനങ്ങളിലെ നിരവധി ബഗുകളെ കുറിച്ച് മറക്കരുത്. കാലക്രമേണ, സിസ്റ്റങ്ങൾ കൂടുതൽ പക്വത പ്രാപിക്കുകയും സുസ്ഥിരമാവുകയും ചെയ്തു, എന്നാൽ ഒരു സന്ദേശവും നഷ്ടത്തിൽ നിന്ന് 100% സുരക്ഷിതമാകില്ല! കൂടാതെ, ഡാറ്റാ സെൻ്ററുകളിൽ വലിയ തോതിലുള്ള അപകടങ്ങൾ സംഭവിക്കുന്നു!

എനിക്ക് എന്തെങ്കിലും നഷ്‌ടപ്പെടുകയോ തെറ്റ് ചെയ്യുകയോ അല്ലെങ്കിൽ ഏതെങ്കിലും പോയിൻ്റുകളോട് നിങ്ങൾ വിയോജിക്കുകയോ ചെയ്‌താൽ, ഒരു അഭിപ്രായം എഴുതാനോ എന്നെ ബന്ധപ്പെടാനോ മടിക്കേണ്ടതില്ല.

എന്നോട് പലപ്പോഴും ചോദിക്കാറുണ്ട്: "എന്താണ് തിരഞ്ഞെടുക്കേണ്ടത്, കാഫ്ക അല്ലെങ്കിൽ റാബിറ്റ്എംക്യു?", "ഏത് പ്ലാറ്റ്ഫോമാണ് നല്ലത്?". ഇത് നിങ്ങളുടെ സാഹചര്യം, നിലവിലെ അനുഭവം മുതലായവയെ ആശ്രയിച്ചിരിക്കുന്നു എന്നതാണ് സത്യം. എൻ്റെ അഭിപ്രായം പറയാൻ എനിക്ക് മടിയാണ്, കാരണം എല്ലാ ഉപയോഗ കേസുകൾക്കും സാധ്യമായ പരിമിതികൾക്കും ഒരു പ്ലാറ്റ്ഫോം ശുപാർശ ചെയ്യുന്നത് വളരെ ലളിതമാക്കും. നിങ്ങളുടെ സ്വന്തം അഭിപ്രായം രൂപീകരിക്കാൻ വേണ്ടിയാണ് ഞാൻ ഈ ലേഖന പരമ്പര എഴുതിയത്.

രണ്ട് സംവിധാനങ്ങളും ഈ മേഖലയിലെ നേതാക്കളാണെന്ന് ഞാൻ പറയാൻ ആഗ്രഹിക്കുന്നു. പ്രോജക്‌റ്റുകളുമായുള്ള എൻ്റെ അനുഭവത്തിൽ നിന്ന്, ഗ്യാരണ്ടീഡ് മെസേജ് ഓർഡറിംഗും വിശ്വാസ്യതയും പോലുള്ള കാര്യങ്ങൾ ഞാൻ വിലമതിക്കുന്നു എന്നതിനാൽ ഞാൻ അൽപ്പം പക്ഷപാതപരമായിരിക്കാം.

ഈ വിശ്വാസ്യതയും ഉറപ്പുള്ള ഓർഡറിംഗും ഇല്ലാത്ത മറ്റ് സാങ്കേതികവിദ്യകൾ ഞാൻ കാണുന്നു, തുടർന്ന് ഞാൻ റാബിറ്റ്എംക്യു, കാഫ്ക എന്നിവയിലേക്ക് നോക്കുകയും ഈ രണ്ട് സിസ്റ്റങ്ങളുടെയും അവിശ്വസനീയമായ മൂല്യം മനസ്സിലാക്കുകയും ചെയ്യുന്നു.

അവലംബം: www.habr.com