വിതരണം ചെയ്ത ആപ്ലിക്കേഷനുകളുടെ നിർമ്മാണ ബ്ലോക്കുകൾ. പൂജ്യം ഏകദേശം

ലോകം നിശ്ചലമായി നിൽക്കുന്നില്ല. പുരോഗതി പുതിയ സാങ്കേതിക വെല്ലുവിളികൾ സൃഷ്ടിക്കുന്നു. മാറുന്ന ആവശ്യകതകൾക്ക് അനുസൃതമായി, വിവര സംവിധാനങ്ങളുടെ വാസ്തുവിദ്യ വികസിക്കണം. ഇന്ന് നമ്മൾ ഇവന്റ്-ഡ്രൈവ് ആർക്കിടെക്ചർ, കൺകറൻസി, കൺകറൻസി, അസിൻക്രണി എന്നിവയെ കുറിച്ചും എർലാങ്ങിൽ നിങ്ങൾക്ക് എങ്ങനെ സമാധാനപരമായി ജീവിക്കാം എന്നതിനെ കുറിച്ചും സംസാരിക്കും.

ആമുഖം

രൂപകൽപ്പന ചെയ്ത സിസ്റ്റത്തിന്റെ വലുപ്പവും അതിനുള്ള ആവശ്യകതകളും അനുസരിച്ച്, ഞങ്ങൾ, ഡവലപ്പർമാർ, സിസ്റ്റത്തിലെ വിവരങ്ങൾ കൈമാറുന്ന രീതി തിരഞ്ഞെടുക്കുന്നു. മിക്ക കേസുകളിലും, സേവനങ്ങളുടെ ഇടപെടൽ സംഘടിപ്പിക്കുന്നതിന്, ഒരു പ്രവർത്തന ഓപ്ഷൻ ഒരു ബ്രോക്കറുമായുള്ള ഒരു സ്കീമായിരിക്കാം, ഉദാഹരണത്തിന്, RabbitMQ അല്ലെങ്കിൽ kafka അടിസ്ഥാനമാക്കി. എന്നാൽ ചിലപ്പോൾ ഇവന്റുകളുടെ ഒഴുക്ക്, SLA, സിസ്റ്റത്തിന്റെ മേലുള്ള നിയന്ത്രണ നിലവാരം എന്നിവ റെഡിമെയ്ഡ് സന്ദേശമയയ്‌ക്കൽ ഞങ്ങൾക്ക് അനുയോജ്യമല്ല. തീർച്ചയായും, ഗതാഗത പാളിയുടെയും ക്ലസ്റ്റർ രൂപീകരണത്തിന്റെയും ഉത്തരവാദിത്തം ഏറ്റെടുത്ത് നിങ്ങൾക്ക് സിസ്റ്റത്തെ അൽപ്പം സങ്കീർണ്ണമാക്കാൻ കഴിയും, ഉദാഹരണത്തിന് ZeroMQ അല്ലെങ്കിൽ nanomsg ഉപയോഗിച്ച്. എന്നാൽ സിസ്റ്റത്തിന് ഒരു സാധാരണ എർലാങ് ക്ലസ്റ്ററിന്റെ മതിയായ ത്രൂപുട്ടും കഴിവുകളും ഉണ്ടെങ്കിൽ, ഒരു അധിക എന്റിറ്റി അവതരിപ്പിക്കുന്നതിനുള്ള പ്രശ്നത്തിന് വിശദമായ പഠനവും സാമ്പത്തിക ന്യായീകരണവും ആവശ്യമാണ്.

റിയാക്ടീവ് ഡിസ്ട്രിബ്യൂട്ടഡ് ആപ്ലിക്കേഷനുകളുടെ വിഷയം വളരെ വിശാലമാണ്. ലേഖനത്തിന്റെ ഫോർമാറ്റിൽ സൂക്ഷിക്കാൻ, ഇന്നത്തെ ചർച്ചയുടെ വിഷയം Erlang/Elixir-ൽ നിർമ്മിച്ച ഏകതാനമായ അന്തരീക്ഷം മാത്രമായിരിക്കും. Erlang/OTP ഇക്കോസിസ്റ്റം നിങ്ങളെ ഏറ്റവും കുറഞ്ഞ പ്രയത്നത്തിൽ ഒരു റിയാക്ടീവ് ആർക്കിടെക്ചർ നടപ്പിലാക്കാൻ അനുവദിക്കുന്നു. എന്നാൽ ഏത് സാഹചര്യത്തിലും, ഞങ്ങൾക്ക് ഒരു സന്ദേശമയയ്‌ക്കൽ ലെയർ ആവശ്യമാണ്.

സൈദ്ധാന്തിക അടിസ്ഥാനം

ലക്ഷ്യങ്ങളും നിയന്ത്രണങ്ങളും നിർവചിച്ചുകൊണ്ടാണ് ഡിസൈൻ ആരംഭിക്കുന്നത്. വികസനത്തിന് വേണ്ടിയുള്ള വികസന മേഖലയിലല്ല പ്രധാന ലക്ഷ്യം. നമുക്ക് സൃഷ്ടിക്കാനും ഏറ്റവും പ്രധാനമായി വിവിധ തലങ്ങളിലുള്ള ആധുനിക ആപ്ലിക്കേഷനുകൾ വികസിപ്പിക്കാനും കഴിയുന്ന സുരക്ഷിതവും അളക്കാവുന്നതുമായ ഒരു ഉപകരണം നേടേണ്ടതുണ്ട്: ഒരു ചെറിയ പ്രേക്ഷകരെ സേവിക്കുന്ന സിംഗിൾ-സെർവർ ആപ്ലിക്കേഷനുകളിൽ നിന്ന് ആരംഭിച്ച്, അത് പിന്നീട് 50 വരെ ക്ലസ്റ്ററുകളായി വികസിക്കും. -60 നോഡുകൾ, ക്ലസ്റ്റർ ഫെഡറേഷനുകളിൽ അവസാനിക്കുന്നു. അങ്ങനെ, അന്തിമ സംവിധാനത്തിന്റെ വികസനത്തിന്റെയും ഉടമസ്ഥതയുടെയും ചെലവ് കുറച്ചുകൊണ്ട് ലാഭം പരമാവധിയാക്കുക എന്നതാണ് പ്രധാന ലക്ഷ്യം.

അന്തിമ സംവിധാനത്തിനുള്ള 4 പ്രധാന ആവശ്യകതകൾ നമുക്ക് ഹൈലൈറ്റ് ചെയ്യാം:

• Сഇവന്റ്-ഓറിയന്റഡ്.
  സംഭവങ്ങളുടെ പ്രവാഹത്തിലൂടെ കടന്നുപോകാനും ആവശ്യമായ പ്രവർത്തനങ്ങൾ നടത്താനും സിസ്റ്റം എപ്പോഴും തയ്യാറാണ്;
• Мസ്കേലബിളിറ്റി.
  വ്യക്തിഗത ബ്ലോക്കുകൾ ലംബമായും തിരശ്ചീനമായും സ്കെയിൽ ചെയ്യാൻ കഴിയും. മുഴുവൻ സിസ്റ്റവും അനന്തമായ തിരശ്ചീന വളർച്ചയ്ക്ക് പ്രാപ്തമായിരിക്കണം;
• Оതെറ്റ് സഹിഷ്ണുത.
  എല്ലാ തലങ്ങൾക്കും എല്ലാ സേവനങ്ങൾക്കും പരാജയങ്ങളിൽ നിന്ന് സ്വയമേവ വീണ്ടെടുക്കാൻ കഴിയണം;
• Гഉറപ്പുള്ള പ്രതികരണ സമയം.
  സമയം വിലപ്പെട്ടതാണ്, ഉപയോക്താക്കൾ അധികം കാത്തിരിക്കേണ്ടതില്ല.

"കഴിയുന്ന ചെറിയ എഞ്ചിൻ" എന്ന പഴയ യക്ഷിക്കഥ ഓർക്കുന്നുണ്ടോ? രൂപകൽപ്പന ചെയ്ത സിസ്റ്റം പ്രോട്ടോടൈപ്പ് ഘട്ടത്തിൽ നിന്ന് വിജയകരമായി പുറത്തുകടക്കുന്നതിനും പുരോഗമനപരമാകുന്നതിനും, അതിന്റെ അടിസ്ഥാനം ഏറ്റവും കുറഞ്ഞ ആവശ്യകതകൾ പാലിക്കണം. SMOG.

ഒരു ഇൻഫ്രാസ്ട്രക്ചർ ഉപകരണമായും എല്ലാ സേവനങ്ങളുടെയും അടിസ്ഥാനമായും സന്ദേശമയയ്‌ക്കുന്നതിന് ഒരു പോയിന്റ് കൂടി ചേർത്തിരിക്കുന്നു: പ്രോഗ്രാമർമാർക്കുള്ള ഉപയോഗ എളുപ്പം.

ഇവന്റ്-ഓറിയന്റഡ്

ഒരൊറ്റ സെർവറിൽ നിന്ന് ഒരു ക്ലസ്റ്ററിലേക്ക് ഒരു ആപ്ലിക്കേഷൻ വളരുന്നതിന്, അതിന്റെ ആർക്കിടെക്ചർ ലൂസ് കപ്ലിംഗിനെ പിന്തുണയ്ക്കണം. അസിൻക്രണസ് മോഡൽ ഈ ആവശ്യകത നിറവേറ്റുന്നു. അതിൽ, അയച്ചയാളും സ്വീകർത്താവും സന്ദേശത്തിന്റെ വിവര ലോഡിനെക്കുറിച്ച് ശ്രദ്ധിക്കുന്നു, കൂടാതെ സിസ്റ്റത്തിനുള്ളിൽ പ്രക്ഷേപണത്തെയും റൂട്ടിംഗിനെയും കുറിച്ച് വിഷമിക്കേണ്ടതില്ല.

സ്കേലബിളിറ്റി

സ്കേലബിളിറ്റിയും സിസ്റ്റം കാര്യക്ഷമതയും പരസ്പരം അടുത്താണ്. ലഭ്യമായ എല്ലാ ഉറവിടങ്ങളും ഉപയോഗപ്പെടുത്താൻ ആപ്ലിക്കേഷൻ ഘടകങ്ങൾക്ക് കഴിയണം. കൂടുതൽ കാര്യക്ഷമമായി നമുക്ക് കപ്പാസിറ്റി പ്രയോജനപ്പെടുത്താനും കൂടുതൽ ഒപ്റ്റിമൽ പ്രോസസ്സിംഗ് രീതികൾ ഉപയോഗിക്കാനും കഴിയും, ഉപകരണങ്ങൾക്കായി ഞങ്ങൾ ചെലവഴിക്കുന്ന പണം കുറവാണ്.

ഒരൊറ്റ യന്ത്രത്തിനുള്ളിൽ, എർലാങ് ഉയർന്ന മത്സര അന്തരീക്ഷം സൃഷ്ടിക്കുന്നു. എർലാങ് വിഎമ്മിന് ലഭ്യമായ ഓപ്പറേറ്റിംഗ് സിസ്റ്റം ത്രെഡുകളുടെ എണ്ണവും ഈ ത്രെഡുകൾ ഉപയോഗിക്കുന്ന ഷെഡ്യൂളറുകളുടെ എണ്ണവും തിരഞ്ഞെടുത്ത് കൺകറൻസിയും പാരലലിസവും തമ്മിലുള്ള സന്തുലിതാവസ്ഥ സജ്ജമാക്കാൻ കഴിയും.
Erlang പ്രക്രിയകൾ സംസ്ഥാനം പങ്കിടുന്നില്ല കൂടാതെ നോൺ-ബ്ലോക്കിംഗ് മോഡിൽ പ്രവർത്തിക്കുന്നു. ഇത് പരമ്പരാഗത തടയൽ അടിസ്ഥാനമാക്കിയുള്ള ആപ്ലിക്കേഷനുകളേക്കാൾ താരതമ്യേന കുറഞ്ഞ ലേറ്റൻസിയും ഉയർന്ന ത്രൂപുട്ടും നൽകുന്നു. Erlang-ന്റെ ഷെഡ്യൂളർ CPU, IO എന്നിവയുടെ ന്യായമായ അലോക്കേഷൻ ഉറപ്പാക്കുന്നു, കൂടാതെ ബ്ലോക്കിംഗിന്റെ അഭാവം പീക്ക് ലോഡുകളിലോ പരാജയങ്ങളിലോ പോലും പ്രതികരിക്കാൻ അപ്ലിക്കേഷനെ അനുവദിക്കുന്നു.

ക്ലസ്റ്റർ തലത്തിലും മാലിന്യം നീക്കം ചെയ്യാനുള്ള പ്രശ്നമുണ്ട്. ക്ലസ്റ്ററിലെ എല്ലാ മെഷീനുകളും തുല്യമായി ലോഡുചെയ്യുന്നതും നെറ്റ്‌വർക്ക് ഓവർലോഡ് ചെയ്യാത്തതും പ്രധാനമാണ്. നമുക്ക് ഒരു സാഹചര്യം സങ്കൽപ്പിക്കാം: ഇൻകമിംഗ് ബാലൻസറുകളിൽ (haproxy, nginx, മുതലായവ) ഉപയോക്തൃ ട്രാഫിക് ഇറങ്ങുന്നു, അവർ ലഭ്യമായ ബാക്കെൻഡുകളുടെ കൂട്ടത്തിൽ പ്രോസസ്സിംഗ് അഭ്യർത്ഥനകൾ കഴിയുന്നത്ര തുല്യമായി വിതരണം ചെയ്യുന്നു. ആപ്ലിക്കേഷൻ ഇൻഫ്രാസ്ട്രക്ചറിനുള്ളിൽ, ആവശ്യമായ ഇന്റർഫേസ് നടപ്പിലാക്കുന്ന സേവനം അവസാന മൈൽ മാത്രമാണ്, പ്രാരംഭ അഭ്യർത്ഥനയോട് പ്രതികരിക്കാൻ മറ്റ് നിരവധി സേവനങ്ങൾ അഭ്യർത്ഥിക്കേണ്ടതുണ്ട്. ആന്തരിക അഭ്യർത്ഥനകൾക്ക് റൂട്ടിംഗും ബാലൻസിംഗും ആവശ്യമാണ്.
ഡാറ്റാ ഫ്ലോകൾ ഫലപ്രദമായി നിയന്ത്രിക്കുന്നതിന്, റൂട്ടിംഗും ലോഡ് ബാലൻസിംഗും കൈകാര്യം ചെയ്യുന്നതിനുള്ള ഒരു ഇന്റർഫേസ് സന്ദേശമയയ്‌ക്കൽ ഡെവലപ്പർമാർക്ക് നൽകണം. ഇതിന് നന്ദി, മൈക്രോസർവീസ് പാറ്റേണുകൾ (അഗ്രഗേറ്റർ, പ്രോക്സി, ചെയിൻ, ബ്രാഞ്ച് മുതലായവ) ഉപയോഗിച്ച് ഡെവലപ്പർമാർക്ക് സാധാരണ പ്രശ്നങ്ങളും അപൂർവ്വമായി ഉണ്ടാകുന്ന പ്രശ്നങ്ങളും പരിഹരിക്കാൻ കഴിയും.

ഒരു ബിസിനസ്സ് കാഴ്ചപ്പാടിൽ, റിസ്ക് മാനേജ്മെന്റ് ടൂളുകളിൽ ഒന്നാണ് സ്കേലബിളിറ്റി. ഉപകരണങ്ങൾ ഒപ്റ്റിമൽ ഉപയോഗിച്ച് ഉപഭോക്തൃ അഭ്യർത്ഥനകൾ നിറവേറ്റുക എന്നതാണ് പ്രധാന കാര്യം:

• പുരോഗതിയുടെ ഫലമായി ഉപകരണങ്ങളുടെ ശക്തി വർദ്ധിക്കുമ്പോൾ. അപൂർണ്ണമായ സോഫ്‌റ്റ്‌വെയർ കാരണം ഇത് നിഷ്‌ക്രിയമായിരിക്കില്ല. Erlang നന്നായി ലംബമായി സ്കെയിലുചെയ്യുന്നു, എല്ലായ്‌പ്പോഴും എല്ലാ CPU കോറുകളും ലഭ്യമായ മെമ്മറിയും ഉപയോഗിക്കാൻ കഴിയും;
• ക്ലൗഡ് പരിതസ്ഥിതികളിൽ, നിലവിലെ അല്ലെങ്കിൽ പ്രവചിച്ച ലോഡിനെ ആശ്രയിച്ച് ഞങ്ങൾക്ക് ഉപകരണങ്ങളുടെ അളവ് നിയന്ത്രിക്കാനും SLA ഉറപ്പ് നൽകാനും കഴിയും.

തെറ്റ് സഹിഷ്ണുത

നമുക്ക് രണ്ട് സിദ്ധാന്തങ്ങൾ പരിഗണിക്കാം: "പരാജയങ്ങൾ അസ്വീകാര്യമാണ്", "എപ്പോഴും പരാജയങ്ങൾ ഉണ്ടാകും." ഒരു ബിസിനസ്സിനെ സംബന്ധിച്ചിടത്തോളം, സോഫ്‌റ്റ്‌വെയർ പരാജയം എന്നാൽ പണനഷ്ടം എന്നാണ് അർത്ഥമാക്കുന്നത്, ഏറ്റവും മോശമായ കാര്യം, പ്രശസ്തി നഷ്ടപ്പെടുന്നു. സാധ്യമായ നഷ്ടങ്ങളും തെറ്റ്-സഹിഷ്ണുതയുള്ള സോഫ്റ്റ്വെയർ വികസിപ്പിക്കുന്നതിനുള്ള ചെലവും തമ്മിലുള്ള സന്തുലിതാവസ്ഥ, ഒരു വിട്ടുവീഴ്ച പലപ്പോഴും കണ്ടെത്താൻ കഴിയും.

ഹ്രസ്വകാലത്തേക്ക്, തെറ്റ് സഹിഷ്ണുത ഉൾക്കൊള്ളുന്ന ഒരു ആർക്കിടെക്ചർ ഓഫ്-ദി-ഷെൽഫ് ക്ലസ്റ്ററിംഗ് സൊല്യൂഷനുകൾ വാങ്ങുന്നതിൽ പണം ലാഭിക്കുന്നു. അവ വിലയേറിയതും അവയ്ക്ക് ബഗുകളും ഉണ്ട്.
ദീർഘകാലാടിസ്ഥാനത്തിൽ, ഒരു തെറ്റ്-സഹിഷ്ണുതയുള്ള വാസ്തുവിദ്യ വികസനത്തിന്റെ എല്ലാ ഘട്ടങ്ങളിലും പല മടങ്ങ് പ്രതിഫലം നൽകുന്നു.
കോഡ് ബേസിനുള്ളിൽ സന്ദേശമയയ്‌ക്കൽ വികസന ഘട്ടത്തിൽ സിസ്റ്റത്തിനുള്ളിലെ ഘടകങ്ങളുടെ ഇടപെടൽ വിശദമായി പ്രവർത്തിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. എല്ലാ നിർണായക ഘടകങ്ങളും പരാജയങ്ങൾ കൈകാര്യം ചെയ്യുന്നതിനാൽ, തത്ഫലമായുണ്ടാകുന്ന സിസ്റ്റത്തിന് ഡിസൈൻ പ്രകാരം ഒരു പരാജയത്തിന് ശേഷം എങ്ങനെ യാന്ത്രികമായി സാധാരണ നിലയിലേക്ക് മടങ്ങാമെന്ന് അറിയുന്നതിനാൽ, പരാജയങ്ങളെ പ്രതികരിക്കുന്നതിനും നിയന്ത്രിക്കുന്നതിനുമുള്ള ചുമതല ഇത് ലളിതമാക്കുന്നു.

ഉത്തരവാദിത്തം

പരാജയങ്ങൾ പരിഗണിക്കാതെ തന്നെ, അപേക്ഷ അഭ്യർത്ഥനകളോട് പ്രതികരിക്കുകയും SLA-യെ കാണുകയും വേണം. ആളുകൾ കാത്തിരിക്കാൻ ആഗ്രഹിക്കുന്നില്ല എന്നതാണ് യാഥാർത്ഥ്യം, അതിനാൽ ബിസിനസുകൾ അതിനനുസരിച്ച് പൊരുത്തപ്പെടണം. കൂടുതൽ കൂടുതൽ ആപ്ലിക്കേഷനുകൾ വളരെ പ്രതികരിക്കുമെന്ന് പ്രതീക്ഷിക്കുന്നു.
പ്രതികരിക്കുന്ന ആപ്ലിക്കേഷനുകൾ തത്സമയം പ്രവർത്തിക്കുന്നു. എർലാങ് വിഎം സോഫ്റ്റ് റിയൽ ടൈം മോഡിൽ പ്രവർത്തിക്കുന്നു. സ്റ്റോക്ക് ട്രേഡിംഗ്, മെഡിസിൻ, വ്യാവസായിക ഉപകരണ നിയന്ത്രണം എന്നിങ്ങനെയുള്ള ചില മേഖലകൾക്ക് ഹാർഡ് റിയൽ-ടൈം മോഡ് പ്രധാനമാണ്.
റെസ്‌പോൺസീവ് സിസ്റ്റങ്ങൾ യുഎക്‌സ് മെച്ചപ്പെടുത്തുകയും ബിസിനസ്സിന് ഗുണം ചെയ്യുകയും ചെയ്യുന്നു.

പ്രാഥമിക സംഗ്രഹം

ഈ ലേഖനം ആസൂത്രണം ചെയ്യുമ്പോൾ, ഒരു സന്ദേശമയയ്‌ക്കൽ ബ്രോക്കർ സൃഷ്‌ടിക്കുന്നതിനും അതിനെ അടിസ്ഥാനമാക്കി സങ്കീർണ്ണമായ സംവിധാനങ്ങൾ നിർമ്മിക്കുന്നതിനുമുള്ള എന്റെ അനുഭവം പങ്കിടാൻ ഞാൻ ആഗ്രഹിച്ചു. എന്നാൽ സൈദ്ധാന്തികവും പ്രചോദനാത്മകവുമായ ഭാഗം വളരെ വിപുലമായതായി മാറി.
ലേഖനത്തിന്റെ രണ്ടാം ഭാഗത്ത്, എക്സ്ചേഞ്ച് പോയിന്റുകൾ, സന്ദേശമയയ്‌ക്കൽ പാറ്റേണുകൾ, അവയുടെ പ്രയോഗം എന്നിവ നടപ്പിലാക്കുന്നതിന്റെ സൂക്ഷ്മതകളെക്കുറിച്ച് ഞാൻ സംസാരിക്കും.
മൂന്നാം ഭാഗത്ത് സേവനങ്ങൾ സംഘടിപ്പിക്കുക, റൂട്ടിംഗ്, ബാലൻസ് ചെയ്യൽ എന്നിവയുടെ പൊതുവായ പ്രശ്നങ്ങൾ ഞങ്ങൾ പരിഗണിക്കും. സിസ്റ്റങ്ങളുടെ സ്കേലബിളിറ്റിയുടെയും തെറ്റ് സഹിഷ്ണുതയുടെയും പ്രായോഗിക വശത്തെക്കുറിച്ച് നമുക്ക് സംസാരിക്കാം.

ആദ്യ ഭാഗത്തിന്റെ അവസാനം.

ഫോട്ടോ @ലൂകാബ്രാവോ.

അവലംബം: www.habr.com