ക്ലോയിസ്റ്റർ → ലളിതമായ OTP ക്ലസ്റ്റർ മാനേജ്മെന്റ്

മിക്കവാറും എല്ലാ വിജയകരമായ ബിസിനസ്സ് ആപ്ലിക്കേഷനും താമസിയാതെ അല്ലെങ്കിൽ പിന്നീട് തിരശ്ചീന സ്കെയിലിംഗ് ആവശ്യമായ ഒരു ഘട്ടത്തിലേക്ക് പ്രവേശിക്കുന്നു. മിക്ക കേസുകളിലും, നിങ്ങൾക്ക് ഒരു പുതിയ ഉദാഹരണം ആരംഭിക്കാനും ലോഡ് ശരാശരി കുറയ്ക്കാനും കഴിയും. എന്നാൽ വ്യത്യസ്ത നോഡുകൾ പരസ്പരം അറിയുകയും ജോലിഭാരം ശ്രദ്ധാപൂർവം വിതരണം ചെയ്യുകയും ചെയ്യുന്നുണ്ടെന്ന് ഉറപ്പാക്കേണ്ട നിസ്സാരമായ കേസുകളും ഉണ്ട്.

അത് വളരെ ഭാഗ്യമായി മാറി എർലാങ്, അതിന്റെ മനോഹരമായ വാക്യഘടനയ്ക്കും ചുറ്റുമുള്ള ഹൈപ്പിനുമായി ഞങ്ങൾ തിരഞ്ഞെടുത്തതിന് ഒരു ഫസ്റ്റ് ക്ലാസ് ഉണ്ട് വിതരണം ചെയ്ത സിസ്റ്റങ്ങൾക്കുള്ള പിന്തുണ. സിദ്ധാന്തത്തിൽ, ഇത് തികച്ചും നിസ്സാരമെന്ന് തോന്നുന്നു:

വ്യത്യസ്ത നോഡുകളിലെ പ്രക്രിയകൾക്കിടയിലും ലിങ്കുകൾക്കും മോണിറ്ററുകൾക്കുമിടയിൽ സന്ദേശം കടന്നുപോകുന്നത് സുതാര്യമാണ് […]

പ്രായോഗികമായി, എല്ലാം കുറച്ചുകൂടി സങ്കീർണ്ണമാണ്. വിതരണം ചെയ്തു എർലാങ് "കണ്ടെയ്‌നർ" എന്നത് ഷിപ്പിംഗിനുള്ള ഒരു വലിയ ഇരുമ്പ് പെട്ടി എന്ന അർത്ഥത്തിലാണ് വികസിപ്പിച്ചത്, കൂടാതെ "ഡോക്കർ" എന്നത് ലോംഗ്‌ഷോർമാൻ എന്നതിന്റെ പര്യായപദമാണ്. IN IP4 നിരവധി ആളില്ലാത്ത വിലാസങ്ങൾ ഉണ്ടായിരുന്നു, സാധാരണയായി എലികൾ കേബിളിലൂടെ ചവച്ചരച്ചതാണ് നെറ്റ്‌വർക്ക് ബ്രേക്കുകൾക്ക് കാരണം, കൂടാതെ ഉൽപാദന സംവിധാനത്തിന്റെ ശരാശരി പ്രവർത്തനസമയം പതിറ്റാണ്ടുകളായി കണക്കാക്കി.

ഇപ്പോൾ നാമെല്ലാവരും അവിശ്വസനീയമാംവിധം സ്വയംപര്യാപ്തരാണ്, പാക്കേജുചെയ്തിരിക്കുന്നു, വിതരണം ചെയ്യപ്പെടുന്നു എർലാങ് വലിയ ക്രമരഹിതത എന്ന തത്വത്തിൽ ഡൈനാമിക് ഐപി വിലാസങ്ങൾ കൈമാറുന്ന ഒരു പരിതസ്ഥിതിയിൽ, ഷെഡ്യൂളറുടെ ഇടത് കുതികാൽ ഇഷ്ടാനുസരണം നോഡുകൾ പ്രത്യക്ഷപ്പെടുകയും അപ്രത്യക്ഷമാവുകയും ചെയ്യും. വിതരണം ചെയ്യുന്ന എല്ലാ പ്രോജക്റ്റുകളിലും ബോയിലർ പ്ലേറ്റ് കോഡിന്റെ കൂമ്പാരങ്ങൾ ഒഴിവാക്കാൻ എർലാങ്, ശത്രുതാപരമായ അന്തരീക്ഷത്തെ ചെറുക്കുന്നതിന്, സഹായം ആവശ്യമാണ്.

അഭിപായപ്പെടുക: ഉണ്ടെന്ന് എനിക്കറിയാം libcluster. ഇത് ശരിക്കും രസകരമാണ്, ഇതിന് ആയിരത്തിലധികം നക്ഷത്രങ്ങളുണ്ട്, രചയിതാവ് സമൂഹത്തിൽ പ്രശസ്തനാണ്, അതെല്ലാം. ഒരു ക്ലസ്റ്റർ സൃഷ്ടിക്കുന്നതിനും പരിപാലിക്കുന്നതിനും ഈ പാക്കേജ് വാഗ്ദാനം ചെയ്യുന്ന രീതികൾ നിങ്ങൾക്ക് മതിയെങ്കിൽ, ഞാൻ നിങ്ങൾക്ക് സന്തോഷവാനാണ്. നിർഭാഗ്യവശാൽ, എനിക്ക് കൂടുതൽ ആവശ്യമാണ്. ക്ലസ്റ്റർ പുനഃസംഘടനയുടെ തീയറ്ററിൽ സജ്ജീകരണം വിശദമായി നിയന്ത്രിക്കാനും പുറത്തുള്ള കാഴ്ചക്കാരനാകാതിരിക്കാനും ഞാൻ ആഗ്രഹിക്കുന്നു.

ആവശ്യകതകൾ

എനിക്ക് വ്യക്തിപരമായി ആവശ്യമായിരുന്നത് ക്ലസ്റ്ററിന്റെ മാനേജ്‌മെന്റ് ഏറ്റെടുക്കുന്ന ഒരു ലൈബ്രറിയാണ്, അത് ഇനിപ്പറയുന്ന ഗുണങ്ങളുള്ളതാണ്:

• നോഡുകളുടെ ഹാർഡ്-കോഡഡ് ലിസ്റ്റിനൊപ്പം സുതാര്യമായ ജോലിയും സേവനങ്ങളിലൂടെ ചലനാത്മകമായ കണ്ടെത്തലും എർലാങ്;
• എല്ലാ ടോപ്പോളജി മാറ്റത്തിനും പൂർണ്ണമായും പ്രവർത്തനക്ഷമമായ കോൾബാക്ക് (നോഡ്, ഇവിടെ നോഡ്, നെറ്റ്‌വർക്ക് അസ്ഥിരത, വിഭജനം);
• ദീർഘവും ഹ്രസ്വവുമായ പേരുകളുള്ള ഒരു ക്ലസ്റ്റർ സമാരംഭിക്കുന്നതിനുള്ള സുതാര്യമായ ഇന്റർഫേസ് :nonode@nohost;
• ഇൻഫ്രാസ്ട്രക്ചർ കോഡ് എഴുതാതെ തന്നെ ഡോക്കർ പിന്തുണ ബോക്സിന് പുറത്ത്.

രണ്ടാമത്തേത് അർത്ഥമാക്കുന്നത് ഞാൻ ആപ്ലിക്കേഷൻ പ്രാദേശികമായി പരിശോധിച്ചതിന് ശേഷം എന്നാണ് :nonode@nohost, അല്ലെങ്കിൽ ഉപയോഗിച്ച് കൃത്രിമമായി വിതരണം ചെയ്ത പരിതസ്ഥിതിയിൽ test_cluster_task, എനിക്ക് ഓടണം docker-compose up --scale my_app=3 കോഡ് മാറ്റങ്ങളൊന്നും കൂടാതെ ഡോക്കറിൽ ഇത് എങ്ങനെ മൂന്ന് സംഭവങ്ങൾ നടപ്പിലാക്കുന്നുവെന്ന് കാണുക. പോലുള്ള ആശ്രിത ആപ്ലിക്കേഷനുകളും എനിക്ക് വേണം mnesia - ടോപ്പോളജി മാറുമ്പോൾ, തിരശ്ശീലയ്ക്ക് പിന്നിൽ, ആപ്ലിക്കേഷനിൽ നിന്ന് അധിക കിക്ക് ഇല്ലാതെ അവർ ക്ലസ്റ്റർ ലൈവ് പുനർനിർമ്മിക്കുന്നു.

ക്ലോയിസ്റ്റർ ഒരു ക്ലസ്റ്ററിനെ പിന്തുണയ്ക്കുന്നത് മുതൽ കാപ്പി ഉണ്ടാക്കുന്നത് വരെ കഴിവുള്ള ഒരു ലൈബ്രറി ആകാൻ ഉദ്ദേശിച്ചിരുന്നില്ല. സാധ്യമായ എല്ലാ കേസുകളും ഉൾക്കൊള്ളാൻ ലക്ഷ്യമിടുന്ന ഒരു വെള്ളി ബുള്ളറ്റല്ല ഇത്, അല്ലെങ്കിൽ സൈദ്ധാന്തികരുടെ അർത്ഥത്തിൽ അക്കാദമികമായി പൂർണ്ണമായ ഒരു പരിഹാരമാകുക. CS ഈ പദത്തിൽ ഉൾപ്പെടുത്തുക. ഈ ലൈബ്രറി രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത് വളരെ വ്യക്തമായ ഒരു ഉദ്ദേശ്യം നിറവേറ്റുന്നതിനാണ്, എന്നാൽ അതിന്റെ വളരെ വലുതല്ലാത്ത ജോലി കൃത്യമായി ചെയ്യുക. ഈ ലക്ഷ്യം പ്രാദേശിക വികസന പരിതസ്ഥിതിക്കും ശത്രുതാപരമായ പാത്രങ്ങൾ നിറഞ്ഞ ഒരു വിതരണം ചെയ്ത ഇലാസ്റ്റിക് അന്തരീക്ഷത്തിനും ഇടയിൽ പൂർണ്ണമായ സുതാര്യത പ്രദാനം ചെയ്യുന്നതായിരിക്കും.

തിരഞ്ഞെടുത്ത സമീപനം

ക്ലോയിസ്റ്റർ നൂതന ഉപയോക്താക്കൾക്ക് നേരിട്ട് പ്രവർത്തിപ്പിച്ച് ക്ലസ്റ്ററിന്റെ അസംബ്ലിയും മെയിന്റനൻസും സ്വമേധയാ പ്രവർത്തിക്കാമെങ്കിലും, ഒരു ആപ്ലിക്കേഷനായി പ്രവർത്തിപ്പിക്കാനാണ് ഉദ്ദേശിക്കുന്നത്. Cloister.Manager ടാർഗെറ്റ് ആപ്ലിക്കേഷന്റെ സൂപ്പർവൈസർ ട്രീയിൽ.

ഒരു ആപ്ലിക്കേഷനായി പ്രവർത്തിക്കുമ്പോൾ, ലൈബ്രറി ആശ്രയിക്കുന്നു config, അതിൽ നിന്ന് ഇനിപ്പറയുന്ന അടിസ്ഥാന മൂല്യങ്ങൾ വായിക്കുന്നു:

config :cloister,
  otp_app: :my_app,
  sentry: :"cloister.local", # or ~w|n1@foo n2@bar|a
  consensus: 3,              # number of nodes to consider
                             #    the cluster is up
  listener: MyApp.Listener   # listener to be called when
                             #    the ring has changed

മുകളിലുള്ള പാരാമീറ്ററുകൾ അക്ഷരാർത്ഥത്തിൽ ഇനിപ്പറയുന്നവയാണ് അർത്ഥമാക്കുന്നത്: ക്ലോയിസ്റ്റർ OTP ആപ്ലിക്കേഷനായി ഉപയോഗിക്കുന്നു :my_app, ഉപയോഗിക്കുന്നു എർലാങ് സർവീസ് കണ്ടെത്തൽ നോഡുകൾ ബന്ധിപ്പിക്കുന്നതിന്, കുറഞ്ഞത് മൂന്ന്, ഒപ്പം MyApp.Listener മൊഡ്യൂൾ (നടപ്പാക്കുന്നു @behaviour Cloister.Listener) ടോപ്പോളജി മാറ്റങ്ങളെക്കുറിച്ചുള്ള അറിയിപ്പുകൾ സ്വീകരിക്കുന്നതിന് ക്രമീകരിച്ചിരിക്കുന്നു. പൂർണ്ണമായ കോൺഫിഗറേഷന്റെ വിശദമായ വിവരണം ഇതിൽ കാണാം പ്രമാണീകരണം.

ഈ കോൺഫിഗറേഷൻ ഉപയോഗിച്ച്, ആപ്ലിക്കേഷൻ ക്ലോയിസ്റ്റർ ആയിരിക്കും ഘട്ടങ്ങളിൽ വിക്ഷേപണം, സമവായത്തിലെത്തുന്നതുവരെ പ്രധാന ആപ്ലിക്കേഷൻ ആരംഭിക്കുന്ന പ്രക്രിയ വൈകിപ്പിക്കുന്നു (മുകളിലുള്ള ഉദാഹരണത്തിലെന്നപോലെ മൂന്ന് നോഡുകൾ ബന്ധിപ്പിച്ച് ബന്ധിപ്പിച്ചിരിക്കുന്നു.) ഇത് ആരംഭിക്കുമ്പോൾ, ക്ലസ്റ്റർ ഇതിനകം ലഭ്യമാണെന്ന് അനുമാനിക്കാൻ ഇത് പ്രധാന ആപ്ലിക്കേഷന് അവസരം നൽകുന്നു. ടോപ്പോളജി മാറുമ്പോഴെല്ലാം (അവയിൽ പലതും ഉണ്ടാകും, കാരണം നോഡുകൾ പൂർണ്ണമായും സമന്വയത്തോടെ ആരംഭിക്കുന്നില്ല), ഹാൻഡ്‌ലറെ വിളിക്കും MyApp.Listener.on_state_change/2. ഒരു സ്റ്റാറ്റസ് സന്ദേശം ലഭിക്കുമ്പോൾ മിക്കപ്പോഴും ഞങ്ങൾ ഒരു പ്രവൃത്തി ചെയ്യുന്നു %Cloister.Monitor{status: :up}, അതിനർത്ഥം: "ഹലോ, ക്ലസ്റ്റർ ഒത്തുചേർന്നു."

മിക്ക കേസുകളിലും, ഇൻസ്റ്റാളേഷൻ consensus: 3 ഒപ്റ്റിമൽ ആണ്, കാരണം കൂടുതൽ നോഡുകൾ കണക്റ്റുചെയ്യുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നുവെങ്കിലും, കോൾബാക്ക് കടന്നുപോകും status: :rehashing → status: :up പുതുതായി ചേർത്തതോ നീക്കം ചെയ്തതോ ആയ ഏതെങ്കിലും നോഡിൽ.

വികസന മോഡിൽ ആരംഭിക്കുമ്പോൾ, നിങ്ങൾ സജ്ജീകരിക്കേണ്ടതുണ്ട് consensus: 1 и ക്ലോയിസ്റ്റർ കാണുമ്പോൾ ക്ലസ്റ്റർ അസംബ്ലിക്കായുള്ള കാത്തിരിപ്പ് സന്തോഷത്തോടെ ഒഴിവാക്കും :nonode@nohost, അല്ലെങ്കിൽ :node@host, അല്ലെങ്കിൽ :[email protected] - നോഡ് എങ്ങനെ ക്രമീകരിച്ചു എന്നതിനെ ആശ്രയിച്ച് (:none | :shortnames | :longnames).

വിതരണം ചെയ്ത ആപ്ലിക്കേഷൻ മാനേജ്മെന്റ്

ഒരു ശൂന്യതയിൽ അല്ലാത്ത ഡിസ്ട്രിബ്യൂട്ടഡ് ആപ്ലിക്കേഷനുകളിൽ സാധാരണയായി വിതരണം ചെയ്ത ഡിപൻഡൻസികൾ ഉൾപ്പെടുന്നു mnesia. അതേ കോൾബാക്കിൽ നിന്ന് അവരുടെ പുനർക്രമീകരണം കൈകാര്യം ചെയ്യുന്നത് ഞങ്ങൾക്ക് എളുപ്പമാണ് on_state_change/2. ഇവിടെ, ഉദാഹരണത്തിന്, എങ്ങനെ പുനഃക്രമീകരിക്കാം എന്നതിന്റെ വിശദമായ വിവരണം mnesia അകത്തേക്ക് പറക്കുമ്പോൾ പ്രമാണീകരണം ക്ലോയിസ്റ്റർ.

ഉപയോഗിക്കുന്നതിന്റെ പ്രധാന നേട്ടം ക്ലോയിസ്റ്റർ ടോപ്പോളജി മാറ്റത്തിന് ശേഷം ക്ലസ്റ്റർ പുനർനിർമ്മിക്കുന്നതിന് ആവശ്യമായ എല്ലാ പ്രവർത്തനങ്ങളും ഇത് ചെയ്യുന്നു എന്നതാണ് മേൽക്കുര്യുടെ അടിയിൽ. IP വിലാസങ്ങളും അതിനാൽ നോഡിന്റെ പേരുകളും ഞങ്ങൾക്ക് മുൻകൂട്ടി അറിയാമോ, അല്ലെങ്കിൽ അവ ചലനാത്മകമായി അസൈൻ ചെയ്‌തിട്ടുണ്ടോ/മാറ്റപ്പെട്ടിട്ടുണ്ടോ എന്നത് പരിഗണിക്കാതെ തന്നെ, എല്ലാ നോഡുകളും ബന്ധിപ്പിച്ച്, ഇതിനകം തയ്യാറാക്കിയ വിതരണം ചെയ്ത പരിതസ്ഥിതിയിൽ ആപ്ലിക്കേഷൻ പ്രവർത്തിക്കുന്നു. ഇതിന് പ്രത്യേക ഡോക്കർ കോൺഫിഗറേഷൻ ക്രമീകരണങ്ങളൊന്നും ആവശ്യമില്ല, കൂടാതെ ഒരു ആപ്ലിക്കേഷൻ ഡെവലപ്പറുടെ വീക്ഷണകോണിൽ, വിതരണം ചെയ്ത പരിതസ്ഥിതിയിൽ പ്രവർത്തിക്കുന്നതും പ്രാദേശികമായി പ്രവർത്തിക്കുന്നതും തമ്മിൽ വ്യത്യാസമില്ല. :nonode@nohost. നിങ്ങൾക്ക് ഇതിനെക്കുറിച്ച് കൂടുതൽ വായിക്കാം പ്രമാണീകരണം.

ടോപ്പോളജി മാറ്റങ്ങളുടെ സങ്കീർണ്ണമായ കൈകാര്യം ചെയ്യൽ ഒരു ഇഷ്‌ടാനുസൃത നടപ്പാക്കലിലൂടെ സാധ്യമാണെങ്കിലും MyApp.Listener, ഈ ലൈബ്രറി പരിമിതികളും കോൺഫിഗറേഷൻ പക്ഷപാതങ്ങളും നടപ്പിലാക്കുന്നതിന്റെ മൂലക്കല്ലുകളാണെന്ന് തെളിയിക്കുന്ന എഡ്ജ് കേസുകൾ എല്ലായ്പ്പോഴും ഉണ്ടായേക്കാം. കുഴപ്പമില്ല, മുകളിൽ പറഞ്ഞവ എടുത്താൽ മതി libcluster, ഇത് കൂടുതൽ പൊതുവായ ഉദ്ദേശ്യമാണ്, അല്ലെങ്കിൽ താഴ്ന്ന നിലയിലുള്ള ക്ലസ്റ്റർ സ്വയം കൈകാര്യം ചെയ്യുക. ഈ കോഡ് ലൈബ്രറിയുടെ ലക്ഷ്യം സാധ്യമായ എല്ലാ സാഹചര്യങ്ങളും മറയ്ക്കുകയല്ല, മറിച്ച് അനാവശ്യമായ വേദനയും ബുദ്ധിമുട്ടുള്ള കോപ്പി-പേസ്റ്റും കൂടാതെ ഏറ്റവും സാധാരണമായ സാഹചര്യം ഉപയോഗിക്കുക എന്നതാണ്.

കുറിപ്പ്: ഒറിജിനലിൽ ഈ ഘട്ടത്തിൽ “ഹാപ്പി ക്ലസ്റ്ററിംഗ്!” എന്ന വാചകം ഉണ്ടായിരുന്നു, കൂടാതെ ഞാൻ വിവർത്തനം ചെയ്യുന്ന യാൻഡെക്സ് (എനിക്ക് നിഘണ്ടുകളിലൂടെ പോകേണ്ടതില്ല), “ഹാപ്പി ക്ലസ്റ്ററിംഗ്!” എന്ന ഓപ്ഷൻ എനിക്ക് വാഗ്ദാനം ചെയ്തു. ഒരു മികച്ച വിവർത്തനം സങ്കൽപ്പിക്കുക ഒരുപക്ഷേ അസാധ്യമാണ്, പ്രത്യേകിച്ച് നിലവിലെ ജിയോപൊളിറ്റിക്കൽ സാഹചര്യത്തിന്റെ വെളിച്ചത്തിൽ.

അവലംബം: www.habr.com