കുബർനെറ്റസിലെ കാഫ്ക നല്ലതാണോ?

ആശംസകൾ, ഹബർ!

ഒരു കാലത്ത്, റഷ്യൻ വിപണിയിൽ വിഷയം ആദ്യമായി അവതരിപ്പിച്ചത് ഞങ്ങളായിരുന്നു കാഫ്ക തുടരുക ട്രാക്ക് അതിന്റെ വികസനത്തിന്. പ്രത്യേകിച്ചും, കാഫ്കയും തമ്മിലുള്ള ഇടപെടലിന്റെ വിഷയം ഞങ്ങൾ കണ്ടെത്തി കുബേർനെറ്റ്. നിരീക്ഷിക്കാവുന്നതും (വളരെ ശ്രദ്ധയോടെയുള്ളതും) ഒരു ലേഖനം ഈ വിഷയം ഗ്വെൻ ഷാപിറയുടെ കർതൃത്വത്തിൽ കഴിഞ്ഞ വർഷം ഒക്ടോബറിൽ കോൺഫ്ലൂയന്റ് ബ്ലോഗിൽ പ്രസിദ്ധീകരിച്ചു. ശീർഷകത്തിൽ ഒരു ചോദ്യചിഹ്നമില്ലെങ്കിലും, രസകരമായ ലിങ്കുകളുള്ള വാചകത്തിനൊപ്പം വിഷയം കൂടുതൽ പ്രാധാന്യത്തോടെ പരിശോധിക്കുന്ന ജോഹാൻ ഗൈഗറിന്റെ ഏപ്രിലിൽ നിന്നുള്ള ഏറ്റവും പുതിയ ലേഖനത്തിലേക്ക് ഇന്ന് നിങ്ങളുടെ ശ്രദ്ധ ആകർഷിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. നിങ്ങൾക്ക് കഴിയുമെങ്കിൽ "ചോസ് മങ്കി" എന്നതിന്റെ സ്വതന്ത്ര വിവർത്തനം ഞങ്ങളോട് ക്ഷമിക്കൂ!

ആമുഖം

അവസ്ഥയില്ലാത്ത ജോലിഭാരം കൈകാര്യം ചെയ്യുന്നതിനാണ് കുബർനെറ്റസ് രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. സാധാരണഗതിയിൽ, അത്തരം ജോലിഭാരങ്ങൾ ഒരു മൈക്രോസർവീസ് ആർക്കിടെക്ചറിന്റെ രൂപത്തിലാണ് അവതരിപ്പിക്കുന്നത്, അവ ഭാരം കുറഞ്ഞതും നന്നായി തിരശ്ചീനമായി സ്കെയിൽ ചെയ്യുന്നതും 12-ഘടക ആപ്ലിക്കേഷനുകളുടെ തത്വങ്ങൾ പാലിക്കുന്നതും സർക്യൂട്ട് ബ്രേക്കറുകളുമായും കുഴപ്പമുള്ള കുരങ്ങുകളുമായും പ്രവർത്തിക്കാനും കഴിയും.

മറുവശത്ത്, കാഫ്ക അടിസ്ഥാനപരമായി ഒരു വിതരണം ചെയ്ത ഡാറ്റാബേസ് ആയി പ്രവർത്തിക്കുന്നു. അങ്ങനെ, ജോലി ചെയ്യുമ്പോൾ, നിങ്ങൾ സംസ്ഥാനവുമായി ഇടപെടണം, അത് ഒരു മൈക്രോസർവീസിനേക്കാൾ വളരെ ഭാരമുള്ളതാണ്. കുബെർനെറ്റസ് സ്റ്റേറ്റ്ഫുൾ ലോഡുകളെ പിന്തുണയ്ക്കുന്നു, എന്നാൽ കെൽസി ഹൈടവർ രണ്ട് ട്വീറ്റുകളിൽ ചൂണ്ടിക്കാണിച്ചതുപോലെ, അവ ശ്രദ്ധയോടെ കൈകാര്യം ചെയ്യണം:

നിങ്ങൾ കുബെർനെറ്റുകളെ ഒരു സംസ്ഥാനാധിഷ്ഠിത ജോലിഭാരത്തിലേക്ക് മാറ്റുകയാണെങ്കിൽ, അത് RDS-നെ വെല്ലുന്ന പൂർണ്ണമായി കൈകാര്യം ചെയ്യപ്പെടുന്ന ഒരു ഡാറ്റാബേസായി മാറുമെന്ന് ചില ആളുകൾ കരുതുന്നു. ഇത് തെറ്റാണ്. ഒരുപക്ഷേ, നിങ്ങൾ വേണ്ടത്ര കഠിനാധ്വാനം ചെയ്യുകയും കൂടുതൽ ഘടകങ്ങൾ ചേർക്കുകയും SRE എഞ്ചിനീയർമാരുടെ ഒരു ടീമിനെ ആകർഷിക്കുകയും ചെയ്താൽ, നിങ്ങൾക്ക് കുബർനെറ്റസിന്റെ മുകളിൽ RDS നിർമ്മിക്കാൻ കഴിയും.

Kubernetes-ൽ സ്റ്റേറ്റ്ഫുൾ വർക്ക്ലോഡുകൾ പ്രവർത്തിപ്പിക്കുമ്പോൾ എല്ലാവരും അതീവ ജാഗ്രത പാലിക്കണമെന്ന് ഞാൻ എപ്പോഴും ശുപാർശ ചെയ്യുന്നു. "എനിക്ക് കുബർനെറ്റുകളിൽ സ്‌റ്റേറ്റ്‌ഫുൾ വർക്ക്‌ലോഡുകൾ പ്രവർത്തിപ്പിക്കാമോ" എന്ന് ചോദിക്കുന്ന മിക്ക ആളുകൾക്കും കുബർനെറ്റുകളുമായി വേണ്ടത്ര അനുഭവം ഇല്ല, പലപ്പോഴും അവർ ചോദിക്കുന്ന ജോലിഭാരവും.

അതിനാൽ, നിങ്ങൾ കുബർനെറ്റസിൽ കാഫ്ക പ്രവർത്തിപ്പിക്കണോ? എതിർ ചോദ്യം: കുബർനെറ്റസ് ഇല്ലാതെ കാഫ്ക നന്നായി പ്രവർത്തിക്കുമോ? അതുകൊണ്ടാണ് ഈ ലേഖനത്തിൽ കാഫ്കയും കുബെർനെറ്റസും പരസ്പരം പൂരകമാകുന്നതെങ്ങനെയെന്നും അവയെ സംയോജിപ്പിക്കുമ്പോൾ എന്തെല്ലാം കുഴപ്പങ്ങൾ ഉണ്ടാകാമെന്നും ഹൈലൈറ്റ് ചെയ്യാൻ ഞാൻ ആഗ്രഹിക്കുന്നു.

പൂർത്തീകരണ സമയം

നമുക്ക് അടിസ്ഥാന കാര്യത്തെക്കുറിച്ച് സംസാരിക്കാം - റൺടൈം പരിസ്ഥിതി തന്നെ

പ്രക്രിയ

കാഫ്ക ബ്രോക്കർമാർ CPU സൗഹൃദമാണ്. TLS ചില ഓവർഹെഡ് അവതരിപ്പിച്ചേക്കാം. എന്നിരുന്നാലും, എൻക്രിപ്ഷൻ ഉപയോഗിക്കുകയാണെങ്കിൽ കാഫ്ക ക്ലയന്റുകൾ കൂടുതൽ CPU തീവ്രതയുള്ളവരായിരിക്കാം, എന്നാൽ ഇത് ബ്രോക്കർമാരെ ബാധിക്കില്ല.

മെമ്മറി

കാഫ്ക ബ്രോക്കർമാർ ഓർമ്മ നശിപ്പിക്കുന്നു. JVM ഹീപ്പ് വലുപ്പം സാധാരണയായി 4-5 GB ആയി പരിമിതപ്പെടുത്തിയിരിക്കുന്നു, എന്നാൽ കാഫ്ക പേജ് കാഷെ വളരെയധികം ഉപയോഗിക്കുന്നതിനാൽ നിങ്ങൾക്ക് ധാരാളം സിസ്റ്റം മെമ്മറിയും ആവശ്യമാണ്. കുബർനെറ്റസിൽ, കണ്ടെയ്‌നർ റിസോഴ്‌സ് സജ്ജീകരിച്ച് അതിനനുസരിച്ച് പരിധികൾ അഭ്യർത്ഥിക്കുക.

ഡാറ്റ സ്റ്റോർ

കണ്ടെയ്‌നറുകളിലെ ഡാറ്റ സംഭരണം എഫെമെറൽ ആണ് - പുനരാരംഭിക്കുമ്പോൾ ഡാറ്റ നഷ്‌ടപ്പെടും. കാഫ്ക ഡാറ്റയ്ക്കായി നിങ്ങൾക്ക് ഒരു വോളിയം ഉപയോഗിക്കാം emptyDir, ഫലവും സമാനമായിരിക്കും: പൂർത്തിയായതിന് ശേഷം നിങ്ങളുടെ ബ്രോക്കർ ഡാറ്റ നഷ്‌ടപ്പെടും. നിങ്ങളുടെ സന്ദേശങ്ങൾ ഇപ്പോഴും മറ്റ് ബ്രോക്കർമാരിൽ പകർപ്പുകളായി സംഭരിക്കാൻ കഴിയും. അതിനാൽ, പുനരാരംഭിച്ചതിന് ശേഷം, പരാജയപ്പെട്ട ബ്രോക്കർ ആദ്യം എല്ലാ ഡാറ്റയും ആവർത്തിക്കണം, ഈ പ്രക്രിയയ്ക്ക് വളരെയധികം സമയമെടുക്കും.

അതുകൊണ്ടാണ് നിങ്ങൾ ദീർഘകാല ഡാറ്റ സംഭരണം ഉപയോഗിക്കേണ്ടത്. ഇത് XFS ഫയൽ സിസ്റ്റത്തോടുകൂടിയ പ്രാദേശികമല്ലാത്ത ദീർഘകാല സംഭരണമായിരിക്കട്ടെ അല്ലെങ്കിൽ, കൂടുതൽ കൃത്യമായി പറഞ്ഞാൽ, ext4. NFS ഉപയോഗിക്കരുത്. ഞാൻ നിങ്ങൾക്ക് മുന്നറിയിപ്പ് നൽകി. NFS പതിപ്പുകൾ v3 അല്ലെങ്കിൽ v4 പ്രവർത്തിക്കില്ല. ചുരുക്കത്തിൽ, എൻഎഫ്എസിലെ "മണ്ടൻ പേരുമാറ്റം" പ്രശ്നം കാരണം ഡാറ്റ ഡയറക്ടറി ഇല്ലാതാക്കാൻ കഴിയുന്നില്ലെങ്കിൽ കാഫ്ക ബ്രോക്കർ ക്രാഷ് ചെയ്യും. ഞാൻ ഇതുവരെ നിങ്ങളെ ബോധ്യപ്പെടുത്തിയിട്ടില്ലെങ്കിൽ, വളരെ ശ്രദ്ധാപൂർവ്വം ഈ ലേഖനം വായിക്കുക. ഡാറ്റ സ്റ്റോർ പ്രാദേശികമല്ലാത്തതായിരിക്കണം, അതുവഴി കുബർനെറ്റുകൾക്ക് പുനരാരംഭിക്കുന്നതിനോ സ്ഥലം മാറ്റുന്നതിനോ ശേഷം ഒരു പുതിയ നോഡ് തിരഞ്ഞെടുക്കാനാകും.

നെറ്റ്വർക്ക്

മിക്ക ഡിസ്ട്രിബ്യൂഡ് സിസ്റ്റങ്ങളെയും പോലെ, കാഫ്കയുടെ പ്രകടനവും നെറ്റ്‌വർക്ക് ലേറ്റൻസി ഒരു മിനിമം ആയും ബാൻഡ്‌വിഡ്ത്ത് പരമാവധി ആയും നിലനിർത്തുന്നതിനെ ആശ്രയിച്ചിരിക്കുന്നു. എല്ലാ ബ്രോക്കർമാരെയും ഒരേ നോഡിൽ ഹോസ്റ്റ് ചെയ്യാൻ ശ്രമിക്കരുത്, കാരണം ഇത് ലഭ്യത കുറയ്ക്കും. ഒരു കുബർനെറ്റസ് നോഡ് പരാജയപ്പെടുകയാണെങ്കിൽ, മുഴുവൻ കാഫ്ക ക്ലസ്റ്ററും പരാജയപ്പെടും. കൂടാതെ, മുഴുവൻ ഡാറ്റാ സെന്ററുകളിലും കാഫ്ക ക്ലസ്റ്ററിനെ ചിതറിക്കരുത്. കുബർനെറ്റസ് ക്ലസ്റ്ററിനും ഇത് ബാധകമാണ്. ഈ കേസിൽ ഒരു നല്ല ഒത്തുതീർപ്പ് വ്യത്യസ്ത ലഭ്യത സോണുകൾ തിരഞ്ഞെടുക്കുന്നതാണ്.

കോൺഫിഗറേഷൻ

പതിവ് മാനിഫെസ്റ്റോകൾ

Kubernetes വെബ്സൈറ്റ് ഉണ്ട് വളരെ നല്ല വഴികാട്ടി മാനിഫെസ്റ്റുകൾ ഉപയോഗിച്ച് ZooKeeper എങ്ങനെ കോൺഫിഗർ ചെയ്യാം എന്നതിനെക്കുറിച്ച്. ZooKeeper കാഫ്കയുടെ ഭാഗമായതിനാൽ, കുബർനെറ്റസ് ആശയങ്ങൾ ഇവിടെ ബാധകമാകുന്ന പരിചിതമാകാൻ തുടങ്ങുന്നതിനുള്ള നല്ലൊരു സ്ഥലമാണിത്. നിങ്ങൾ ഇത് മനസ്സിലാക്കിക്കഴിഞ്ഞാൽ, നിങ്ങൾക്ക് കാഫ്ക ക്ലസ്റ്ററിനൊപ്പം സമാന ആശയങ്ങൾ ഉപയോഗിക്കാം.

• വഴി: കുബർനെറ്റസിലെ ഏറ്റവും ചെറിയ വിന്യസിക്കാവുന്ന യൂണിറ്റാണ് പോഡ്. ഒരു പോഡിൽ നിങ്ങളുടെ ജോലിഭാരം അടങ്ങിയിരിക്കുന്നു, പോഡ് തന്നെ നിങ്ങളുടെ ക്ലസ്റ്ററിലെ ഒരു പ്രക്രിയയുമായി പൊരുത്തപ്പെടുന്നു. ഒരു പോഡിൽ ഒന്നോ അതിലധികമോ കണ്ടെയ്നറുകൾ അടങ്ങിയിരിക്കുന്നു. സംഘത്തിലെ ഓരോ ZooKeeper സെർവറും കാഫ്ക ക്ലസ്റ്ററിലെ ഓരോ ബ്രോക്കറും ഒരു പ്രത്യേക പോഡിൽ പ്രവർത്തിക്കും.
• സ്റ്റേറ്റ്ഫുൾ സെറ്റ്: ഒരു സ്റ്റേറ്റ്ഫുൾസെറ്റ് എന്നത് ഒന്നിലധികം സ്റ്റേറ്റ്ഫുൾ വർക്ക്ലോഡുകൾ കൈകാര്യം ചെയ്യുന്ന ഒരു കുബർനെറ്റസ് ഒബ്ജക്റ്റാണ്, അത്തരം ജോലിഭാരങ്ങൾക്ക് ഏകോപനം ആവശ്യമാണ്. സ്‌റ്റേറ്റ്‌ഫുൾസെറ്റുകൾ പോഡുകളുടെ ക്രമവും അവയുടെ പ്രത്യേകതയും സംബന്ധിച്ച് ഗ്യാരണ്ടി നൽകുന്നു.
• തലയില്ലാത്ത സേവനങ്ങൾ: ലോജിക്കൽ നാമം ഉപയോഗിച്ച് ക്ലയന്റുകളിൽ നിന്ന് പോഡുകൾ വേർപെടുത്താൻ സേവനങ്ങൾ നിങ്ങളെ അനുവദിക്കുന്നു. ഈ കേസിൽ കുബെർനെറ്റസ് ലോഡ് ബാലൻസിന് ഉത്തരവാദിയാണ്. എന്നിരുന്നാലും, ZooKeeper, Kafka എന്നിവ പോലെയുള്ള സ്റ്റേറ്റ്ഫുൾ വർക്ക്ലോഡുകൾ പ്രവർത്തിപ്പിക്കുമ്പോൾ, ക്ലയന്റുകൾ ഒരു പ്രത്യേക സന്ദർഭത്തിൽ ആശയവിനിമയം നടത്തേണ്ടതുണ്ട്. ഇവിടെയാണ് ഹെഡ്‌ലെസ് സേവനങ്ങൾ ഉപയോഗപ്രദമാകുന്നത്: ഈ സാഹചര്യത്തിൽ, ക്ലയന്റിന് ഇപ്പോഴും ഒരു ലോജിക്കൽ പേര് ഉണ്ടായിരിക്കും, എന്നാൽ നിങ്ങൾ നേരിട്ട് പോഡുമായി ബന്ധപ്പെടേണ്ടതില്ല.
• ദീർഘകാല സംഭരണ ​​വോളിയം: മുകളിൽ സൂചിപ്പിച്ച നോൺ-ലോക്കൽ ബ്ലോക്ക് പെർസിസ്റ്റന്റ് സ്റ്റോറേജ് കോൺഫിഗർ ചെയ്യുന്നതിന് ഈ വോള്യങ്ങൾ ആവശ്യമാണ്.

ഓൺ യോലിയൻ Kubernetes-ൽ കാഫ്കയുമായി ആരംഭിക്കാൻ നിങ്ങളെ സഹായിക്കുന്നതിന് സമഗ്രമായ ഒരു കൂട്ടം മാനിഫെസ്റ്റുകൾ നൽകുന്നു.

ഹെൽം ചാർട്ടുകൾ

yum, apt, Homebrew അല്ലെങ്കിൽ Chocolatey പോലുള്ള OS പാക്കേജ് മാനേജർമാരുമായി താരതമ്യപ്പെടുത്താവുന്ന ഒരു കുബർനെറ്റിന്റെ പാക്കേജ് മാനേജരാണ് Helm. ഹെൽം ചാർട്ടുകളിൽ വിവരിച്ചിരിക്കുന്ന മുൻ‌നിശ്ചയിച്ച സോഫ്റ്റ്‌വെയർ പാക്കേജുകൾ ഇൻസ്റ്റാൾ ചെയ്യുന്നത് ഇത് എളുപ്പമാക്കുന്നു. നന്നായി തിരഞ്ഞെടുത്ത ഹെൽം ചാർട്ട്, കുബർനെറ്റസിൽ കാഫ്ക ഉപയോഗിക്കുന്നതിന് എല്ലാ പാരാമീറ്ററുകളും എങ്ങനെ ശരിയായി കോൺഫിഗർ ചെയ്യാം എന്ന ബുദ്ധിമുട്ടുള്ള ജോലി എളുപ്പമാക്കുന്നു. നിരവധി കാഫ്ക ഡയഗ്രമുകൾ ഉണ്ട്: ഔദ്യോഗികമായ ഒന്ന് സ്ഥിതിചെയ്യുന്നു ഇൻകുബേറ്റർ അവസ്ഥയിലാണ്, നിന്ന് ഒരെണ്ണം ഉണ്ട് സംഗമം, ഒന്ന് കൂടി - നിന്ന് ഓർഗ്.

ഓപ്പറേറ്റർമാർ

ഹെൽമിന് ചില പോരായ്മകൾ ഉള്ളതിനാൽ, മറ്റൊരു ഉപകരണം ഗണ്യമായ ജനപ്രീതി നേടുന്നു: കുബർനെറ്റസ് ഓപ്പറേറ്റർമാർ. ഓപ്പറേറ്റർ കുബെർനെറ്റസിനായി സോഫ്റ്റ്‌വെയർ പാക്കേജുചെയ്യുക മാത്രമല്ല, അത്തരം സോഫ്റ്റ്‌വെയർ വിന്യസിക്കാനും അത് നിയന്ത്രിക്കാനും നിങ്ങളെ അനുവദിക്കുന്നു.

പട്ടികയിൽ അത്ഭുതകരമായ ഓപ്പറേറ്റർമാർ കാഫ്കയുടെ രണ്ട് ഓപ്പറേറ്റർമാരെ പരാമർശിക്കുന്നു. അവരിൽ ഒരാൾ - സ്ട്രിംസി. സ്‌ട്രിംസി ഉപയോഗിച്ച്, നിങ്ങളുടെ കാഫ്ക ക്ലസ്റ്റർ മിനിറ്റുകൾക്കുള്ളിൽ പ്രവർത്തിപ്പിക്കുന്നത് എളുപ്പമാണ്. ഫലത്തിൽ കോൺഫിഗറേഷൻ ആവശ്യമില്ല, കൂടാതെ, ഓപ്പറേറ്റർ തന്നെ ചില നല്ല സവിശേഷതകൾ നൽകുന്നു, ഉദാഹരണത്തിന്, ക്ലസ്റ്ററിനുള്ളിൽ പോയിന്റ്-ടു-പോയിന്റ് TLS എൻക്രിപ്ഷൻ. സംഗമവും നൽകുന്നു സ്വന്തം ഓപ്പറേറ്റർ.

ഉത്പാദനക്ഷമത

നിങ്ങളുടെ കാഫ്ക ഉദാഹരണം ബെഞ്ച്മാർക്ക് ചെയ്ത് പ്രകടനം പരിശോധിക്കുന്നത് പ്രധാനമാണ്. പ്രശ്നങ്ങൾ ഉണ്ടാകുന്നതിന് മുമ്പ് സാധ്യതയുള്ള തടസ്സങ്ങൾ കണ്ടെത്താൻ അത്തരം പരിശോധനകൾ നിങ്ങളെ സഹായിക്കും. ഭാഗ്യവശാൽ, കാഫ്ക ഇതിനകം രണ്ട് പ്രകടന പരിശോധന ഉപകരണങ്ങൾ നൽകുന്നു: kafka-producer-perf-test.sh и kafka-consumer-perf-test.sh. അവ സജീവമായി ഉപയോഗിക്കുക. റഫറൻസിനായി, വിവരിച്ചിരിക്കുന്ന ഫലങ്ങൾ നിങ്ങൾക്ക് റഫർ ചെയ്യാം ഈ പോസ്റ്റ് ജെയ് ക്രെപ്സ്, അല്ലെങ്കിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുക ഈ അവലോകനം ആമസോൺ എം.എസ്.കെ.

പ്രവർത്തനങ്ങൾ

നിരീക്ഷിക്കുന്നു

സിസ്റ്റത്തിലെ സുതാര്യത വളരെ പ്രധാനമാണ് - അല്ലാത്തപക്ഷം അതിൽ എന്താണ് സംഭവിക്കുന്നതെന്ന് നിങ്ങൾക്ക് മനസ്സിലാകില്ല. ഇന്ന് ക്ലൗഡ് നേറ്റീവ് ശൈലിയിൽ മെട്രിക്സ് അടിസ്ഥാനമാക്കിയുള്ള നിരീക്ഷണം നൽകുന്ന ഒരു സോളിഡ് ടൂൾകിറ്റ് ഉണ്ട്. പ്രോമിത്യൂസും ഗ്രാഫാനയുമാണ് ഈ ആവശ്യത്തിനുള്ള രണ്ട് ജനപ്രിയ ഉപകരണങ്ങൾ. JMX എക്‌സ്‌പോർട്ടർ ഉപയോഗിച്ച് എല്ലാ ജാവ പ്രോസസ്സുകളിൽ നിന്നും (കാഫ്ക, സൂക്കീപ്പർ, കാഫ്ക കണക്റ്റ്) മെട്രിക്‌സ് ശേഖരിക്കാൻ പ്രോമിത്യൂസിന് കഴിയും - ഏറ്റവും ലളിതമായ രീതിയിൽ. നിങ്ങൾ cAdvisor മെട്രിക്‌സ് ചേർക്കുകയാണെങ്കിൽ, Kubernetes-ൽ വിഭവങ്ങൾ ഉപയോഗിക്കുന്നതെങ്ങനെയെന്ന് നിങ്ങൾക്ക് കൂടുതൽ പൂർണ്ണമായി മനസ്സിലാക്കാനാകും.

കാഫ്കയ്‌ക്കുള്ള ഗ്രാഫാന ഡാഷ്‌ബോർഡിന്റെ വളരെ സൗകര്യപ്രദമായ ഉദാഹരണം സ്ട്രിംസിക്കുണ്ട്. ഇത് പ്രധാന മെട്രിക്കുകൾ ദൃശ്യവൽക്കരിക്കുന്നു, ഉദാഹരണത്തിന്, പകർപ്പെടുക്കാത്ത മേഖലകളെക്കുറിച്ചോ ഓഫ്‌ലൈനിലുള്ളവയെക്കുറിച്ചോ. അവിടെ എല്ലാം വളരെ വ്യക്തമാണ്. ഈ അളവുകോലുകൾ വിഭവ വിനിയോഗവും പ്രകടന വിവരങ്ങളും കൂടാതെ സ്ഥിരത സൂചകങ്ങളും കൊണ്ട് പൂരകമാണ്. അതിനാൽ നിങ്ങൾക്ക് അടിസ്ഥാന കാഫ്ക ക്ലസ്റ്റർ നിരീക്ഷണം ഒന്നുമില്ല!

അവലംബം: streamzi.io/docs/master/#kafka_dashboard

ക്ലയന്റ് മോണിറ്ററിംഗും (ഉപഭോക്താക്കളെയും നിർമ്മാതാക്കളെയും കുറിച്ചുള്ള അളവുകൾ), ലേറ്റൻസി മോണിറ്ററിംഗും (ഇതിനായി ഉണ്ട് ഇൻഷുറൻസ്) കൂടാതെ എൻഡ്-ടു-എൻഡ് മോണിറ്ററിംഗ് - ഈ ഉപയോഗത്തിന് കാഫ്ക മോണിറ്റർ.

ലോഗിംഗ്

ലോഗിംഗ് മറ്റൊരു നിർണായക ജോലിയാണ്. നിങ്ങളുടെ കാഫ്ക ഇൻസ്റ്റാളേഷനിലെ എല്ലാ കണ്ടെയ്‌നറുകളും ലോഗിൻ ചെയ്തിട്ടുണ്ടെന്ന് ഉറപ്പാക്കുക stdout и stderr, കൂടാതെ നിങ്ങളുടെ കുബർനെറ്റസ് ക്ലസ്റ്റർ എല്ലാ ലോഗുകളും ഒരു സെൻട്രൽ ലോഗിംഗ് ഇൻഫ്രാസ്ട്രക്ചറിലേക്ക് കൂട്ടിച്ചേർക്കുന്നുവെന്ന് ഉറപ്പാക്കുക, ഉദാ. ഇലാസ്റ്റിസെര്ച്ച്.

പ്രവർത്തന ടെസ്റ്റിംഗ്

നിങ്ങളുടെ പോഡുകൾ സാധാരണ രീതിയിൽ പ്രവർത്തിക്കുന്നുണ്ടോയെന്ന് പരിശോധിക്കാൻ കുബെർനെറ്റസ് ലൈവ്‌നെസും റെഡിനെസ് പ്രോബുകളും ഉപയോഗിക്കുന്നു. ലൈവ്‌നെസ് പരിശോധന പരാജയപ്പെട്ടാൽ, കുബർനെറ്റസ് ആ കണ്ടെയ്‌നർ നിർത്തും, അതിനനുസരിച്ച് റീസ്റ്റാർട്ട് പോളിസി സജ്ജീകരിച്ചിട്ടുണ്ടെങ്കിൽ അത് സ്വയമേവ പുനരാരംഭിക്കും. സന്നദ്ധത പരിശോധന പരാജയപ്പെടുകയാണെങ്കിൽ, സേവന അഭ്യർത്ഥനകളിൽ നിന്ന് കുബർനെറ്റസ് പോഡിനെ വേർതിരിക്കുന്നു. അതിനാൽ, അത്തരം സന്ദർഭങ്ങളിൽ, മാനുവൽ ഇടപെടൽ ഇനി ആവശ്യമില്ല, ഇത് ഒരു വലിയ പ്ലസ് ആണ്.

അപ്‌ഡേറ്റുകൾ പുറത്തിറക്കുന്നു

സ്റ്റേറ്റ്ഫുൾസെറ്റുകൾ സ്വയമേവയുള്ള അപ്ഡേറ്റുകളെ പിന്തുണയ്ക്കുന്നു: നിങ്ങൾ RollingUpdate തന്ത്രം തിരഞ്ഞെടുക്കുകയാണെങ്കിൽ, കാഫ്കയ്ക്ക് കീഴിലുള്ള ഓരോന്നും ക്രമത്തിൽ അപ്ഡേറ്റ് ചെയ്യപ്പെടും. ഈ രീതിയിൽ, പ്രവർത്തനരഹിതമായ സമയം പൂജ്യമായി കുറയ്ക്കാൻ കഴിയും.

സ്കെയിലിംഗ്

ഒരു കാഫ്ക ക്ലസ്റ്റർ സ്കെയിൽ ചെയ്യുന്നത് എളുപ്പമുള്ള കാര്യമല്ല. എന്നിരുന്നാലും, ഒരു നിശ്ചിത എണ്ണം പകർപ്പുകളിലേക്ക് പോഡുകൾ സ്കെയിൽ ചെയ്യുന്നത് കുബർനെറ്റസ് വളരെ എളുപ്പമാക്കുന്നു, അതിനർത്ഥം നിങ്ങൾക്ക് ഇഷ്ടമുള്ളത്ര കാഫ്ക ബ്രോക്കർമാരെ നിർവചിക്കാനാകും എന്നാണ്. ഈ കേസിലെ ഏറ്റവും ബുദ്ധിമുട്ടുള്ള കാര്യം സ്കെയിൽ ചെയ്തതിന് ശേഷമോ സ്കെയിൽ ഡൗൺ ചെയ്യുന്നതിന് മുമ്പോ സെക്ടറുകൾ വീണ്ടും അസൈൻ ചെയ്യുക എന്നതാണ്. വീണ്ടും, ഈ ടാസ്ക്കിൽ Kubernetes നിങ്ങളെ സഹായിക്കും.

ഭരണകൂടം

നിങ്ങളുടെ കാഫ്‌ക ക്ലസ്റ്റർ നിർവ്വഹിക്കുന്നതുമായി ബന്ധപ്പെട്ട വിഷയങ്ങൾ സൃഷ്‌ടിക്കുക, സെക്‌ടറുകൾ വീണ്ടും അസൈൻ ചെയ്യുക തുടങ്ങിയ ജോലികൾ നിങ്ങളുടെ പോഡുകളിലെ കമാൻഡ് ലൈൻ ഇന്റർഫേസ് തുറന്ന് നിലവിലുള്ള ഷെൽ സ്‌ക്രിപ്റ്റുകൾ ഉപയോഗിച്ച് ചെയ്യാൻ കഴിയും. എന്നിരുന്നാലും, ഈ പരിഹാരം വളരെ മനോഹരമല്ല. വ്യത്യസ്‌ത ഓപ്പറേറ്റർ ഉപയോഗിച്ച് വിഷയങ്ങൾ കൈകാര്യം ചെയ്യുന്നതിനെ സ്‌ട്രിംസി പിന്തുണയ്‌ക്കുന്നു. ഇവിടെ മെച്ചപ്പെടുത്താൻ കുറച്ച് ഇടമുണ്ട്.

ബാക്കപ്പ് ചെയ്ത് പുനഃസ്ഥാപിക്കുക

ഇപ്പോൾ കാഫ്കയുടെ ലഭ്യതയും കുബർനെറ്റിന്റെ ലഭ്യതയെ ആശ്രയിച്ചിരിക്കും. നിങ്ങളുടെ കുബർനെറ്റസ് ക്ലസ്റ്റർ പരാജയപ്പെടുകയാണെങ്കിൽ, ഏറ്റവും മോശം സാഹചര്യത്തിൽ നിങ്ങളുടെ കാഫ്ക ക്ലസ്റ്ററും പരാജയപ്പെടും. മർഫിയുടെ നിയമമനുസരിച്ച്, ഇത് തീർച്ചയായും സംഭവിക്കും, നിങ്ങൾക്ക് ഡാറ്റ നഷ്ടപ്പെടും. ഇത്തരത്തിലുള്ള അപകടസാധ്യത കുറയ്ക്കുന്നതിന്, ഒരു നല്ല ബാക്കപ്പ് ആശയം ഉണ്ടായിരിക്കുക. നിങ്ങൾക്ക് MirrorMaker ഉപയോഗിക്കാം, ഇതിൽ വിവരിച്ചിരിക്കുന്നതുപോലെ S3 ഉപയോഗിക്കുക എന്നതാണ് മറ്റൊരു ഓപ്ഷൻ പോസ്റ്റ് സലാൻഡോയിൽ നിന്ന്.

തീരുമാനം

ചെറുതും ഇടത്തരവുമായ കാഫ്ക ക്ലസ്റ്ററുകളിൽ പ്രവർത്തിക്കുമ്പോൾ, കൂടുതൽ വഴക്കം നൽകുകയും ഓപ്പറേറ്റർ അനുഭവം ലളിതമാക്കുകയും ചെയ്യുന്നതിനാൽ, കുബർനെറ്റസ് ഉപയോഗിക്കുന്നത് തീർച്ചയായും മൂല്യവത്താണ്. നിങ്ങൾക്ക് വളരെ പ്രധാനപ്പെട്ട നോൺ-ഫങ്ഷണൽ ലേറ്റൻസിയും കൂടാതെ/അല്ലെങ്കിൽ ത്രൂപുട്ട് ആവശ്യകതകളും ഉണ്ടെങ്കിൽ, മറ്റ് ചില വിന്യാസ ഓപ്ഷൻ പരിഗണിക്കുന്നത് നന്നായിരിക്കും.

അവലംബം: www.habr.com