ലേഖനത്തിന്റെ വിവർത്തനം: എൻവോയ് ത്രെഡിംഗ് മോഡൽ - https://blog.envoyproxy.io/envoy-threading-model-a8d44b922310

ഈ ലേഖനം എനിക്ക് വളരെ രസകരമായി തോന്നി, കൂടാതെ എൻവോയ് മിക്കപ്പോഴും "ഇസ്റ്റിയോ" യുടെ ഭാഗമായി അല്ലെങ്കിൽ കുബർനെറ്റുകളുടെ "ഇൻഗ്രെസ്സ് കൺട്രോളർ" ആയിട്ടാണ് ഉപയോഗിക്കുന്നത്, അതിനാൽ മിക്ക ആളുകളും സാധാരണക്കാരുമായി നേരിട്ട് ഇടപെടുന്നില്ല. Nginx അല്ലെങ്കിൽ Haproxy ഇൻസ്റ്റാളേഷനുകൾ. എന്നിരുന്നാലും, എന്തെങ്കിലും തകർന്നാൽ, അത് ഉള്ളിൽ നിന്ന് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് മനസിലാക്കുന്നത് നന്നായിരിക്കും. പ്രത്യേക വാക്കുകൾ ഉൾപ്പെടെ റഷ്യൻ ഭാഷയിലേക്ക് കഴിയുന്നത്ര വാചകം വിവർത്തനം ചെയ്യാൻ ഞാൻ ശ്രമിച്ചു, നോക്കുന്നത് വേദനാജനകമെന്ന് തോന്നുന്നവർക്കായി, ഞാൻ ഒറിജിനൽ ബ്രാക്കറ്റിൽ ഉപേക്ഷിച്ചു. പൂച്ചയുടെ കീഴിൽ സ്വാഗതം.

എൻവോയ് കോഡ്ബേസിലെ താഴ്ന്ന നിലവാരത്തിലുള്ള സാങ്കേതിക ഡോക്യുമെന്റേഷൻ നിലവിൽ വളരെ വിരളമാണ്. ഇത് പരിഹരിക്കാൻ, വിവിധ എൻവോയ് സബ്സിസ്റ്റങ്ങളെക്കുറിച്ച് ബ്ലോഗ് പോസ്റ്റുകളുടെ ഒരു പരമ്പര ചെയ്യാൻ ഞാൻ പദ്ധതിയിടുന്നു. ഇത് ആദ്യത്തെ ലേഖനമായതിനാൽ, ഭാവിയിലെ ലേഖനങ്ങളിൽ നിങ്ങൾ എന്താണ് ചിന്തിക്കുന്നതെന്നും നിങ്ങൾക്ക് താൽപ്പര്യമുള്ളതെന്താണെന്നും ദയവായി എന്നെ അറിയിക്കുക.

എൻവോയിയെക്കുറിച്ച് എനിക്ക് ലഭിക്കുന്ന ഏറ്റവും സാധാരണമായ സാങ്കേതിക ചോദ്യങ്ങളിലൊന്ന്, ഉപയോഗിക്കുന്ന ത്രെഡിംഗ് മോഡലിന്റെ താഴ്ന്ന നിലയിലുള്ള വിവരണത്തിനുള്ള അഭ്യർത്ഥനയാണ്. ഈ പോസ്റ്റിൽ, എൻവോയ് എങ്ങനെയാണ് ത്രെഡുകളിലേക്കുള്ള കണക്ഷനുകൾ മാപ്പ് ചെയ്യുന്നതെന്നും കോഡ് കൂടുതൽ സമാന്തരവും പ്രവർത്തനക്ഷമവുമാക്കാൻ ആന്തരികമായി ഉപയോഗിക്കുന്ന ത്രെഡ് ലോക്കൽ സ്റ്റോറേജ് സിസ്റ്റത്തിന്റെ വിവരണവും ഞാൻ വിവരിക്കും.

ത്രെഡുകളുടെ വിവരണം (ത്രെഡിംഗ് അവലോകനം)

ദൂതൻ മൂന്ന് വ്യത്യസ്ത തരം സ്ട്രീമുകൾ ഉപയോഗിക്കുന്നു:

• പ്രധാനം (പ്രധാനം): ഈ ത്രെഡ് പ്രോസസ്സിന്റെ തുടക്കവും അവസാനവും നിയന്ത്രിക്കുന്നു, എല്ലാ XDS (xDiscovery Service) API പ്രോസസ്സിംഗ്, DNS, ഹെൽത്ത് ചെക്കിംഗ്, ജനറൽ ക്ലസ്റ്റർ, സർവീസ് പ്രോസസ് മാനേജ്‌മെന്റ് (റൺടൈം), സ്റ്റാറ്റിസ്റ്റിക്‌സ് റീസെറ്റ്, അഡ്മിനിസ്ട്രേഷൻ, ജനറൽ പ്രോസസ്സ് മാനേജ്‌മെന്റ് - Linux സിഗ്നലുകൾ, ഹോട്ട് റീസ്റ്റാർട്ട് , മുതലായവ. ഈ ത്രെഡിൽ സംഭവിക്കുന്നതെല്ലാം അസമന്വിതവും "നോൺ-ബ്ലോക്കിംഗ്" ആണ്. പൊതുവേ, പ്രധാന ത്രെഡ് പൂർത്തിയാക്കാൻ ധാരാളം CPU-കൾ ആവശ്യമില്ലാത്ത പ്രവർത്തനത്തിന്റെ എല്ലാ നിർണായക പ്രക്രിയകളെയും ഏകോപിപ്പിക്കുന്നു. മിക്ക നിയന്ത്രണ കോഡുകളും ഒറ്റ-ത്രെഡ് പോലെ എഴുതാൻ ഇത് അനുവദിക്കുന്നു.
• തൊഴിലാളി: സ്ഥിരസ്ഥിതിയായി, സിസ്റ്റത്തിലെ എല്ലാ ഹാർഡ്‌വെയർ ത്രെഡിനും എൻവോയ് ഒരു വർക്കർ ത്രെഡ് സൃഷ്‌ടിക്കുന്നു, ഇത് ഓപ്‌ഷൻ ഉപയോഗിച്ച് നിയന്ത്രിക്കാനാകും --concurrency. ഓരോ വർക്കർ ത്രെഡും ഒരു "നോൺ-ബ്ലോക്കിംഗ്" ഇവന്റ് ലൂപ്പ് (ഇവന്റ് ലൂപ്പ്) ആരംഭിക്കുന്നു, അത് ഓരോ ശ്രോതാവിനെയും (ശ്രോതാവിനെ) കേൾക്കുന്നതിന് (കേൾക്കുന്നതിന്) ഉത്തരവാദിയാണ്, എഴുതുന്ന സമയത്ത് (ജൂലൈ 29, 2017) ഷാർഡിംഗ് (ഷാർഡിംഗ്) ഇല്ല ശ്രോതാവിന്റെ (ശ്രോതാവിന്റെ), പുതിയ കണക്ഷനുകൾ സ്വീകരിക്കുക, കണക്ഷനുള്ള ഫിൽട്ടർ സ്റ്റാക്ക് ഇൻസ്റ്റൻഷ്യേറ്റ് ചെയ്യുക, കണക്ഷന്റെ ജീവിതകാലത്ത് എല്ലാ ഇൻപുട്ട്/ഔട്ട്പുട്ട് (IO) പ്രവർത്തനങ്ങളും കൈകാര്യം ചെയ്യുക. വീണ്ടും, മിക്ക കണക്ഷൻ ഹാൻഡ്‌ലിംഗ് കോഡുകളും ഒറ്റ-ത്രെഡ് പോലെ എഴുതാൻ ഇത് അനുവദിക്കുന്നു.
• ഫയൽ (ഫയൽ ഫ്ലഷർ): എൻവോയ് എഴുതുന്ന എല്ലാ ഫയലുകൾക്കും, മിക്കവാറും ആക്സസ് ലോഗുകൾ, നിലവിൽ ഒരു സ്വതന്ത്ര തടയൽ ത്രെഡ് ഉണ്ട്. ഉപയോഗിക്കുമ്പോൾ പോലും ഫയൽ സിസ്റ്റം കാഷെ ചെയ്ത ഫയലുകളിലേക്ക് എഴുതുന്നതാണ് ഇതിന് കാരണം O_NONBLOCK ചിലപ്പോൾ തടയാം (നിശ്വാസം). വർക്കർ ത്രെഡുകൾക്ക് ഒരു ഫയലിലേക്ക് എഴുതേണ്ടിവരുമ്പോൾ, ഡാറ്റ യഥാർത്ഥത്തിൽ മെമ്മറിയിലെ ഒരു ബഫറിലേക്ക് മാറ്റുന്നു, അവിടെ അത് ഒടുവിൽ ത്രെഡിലൂടെ ഫ്ലഷ് ചെയ്യുന്നു. ഫയൽ ഫ്ലഷ്. മെമ്മറി ബഫർ പൂരിപ്പിക്കാൻ ശ്രമിക്കുമ്പോൾ സാങ്കേതികമായി എല്ലാ വർക്കർ ത്രെഡുകൾക്കും ഒരേ ലോക്ക് തടയാൻ കഴിയുന്ന കോഡിന്റെ ഒരു മേഖലയാണിത്.

കണക്ഷൻ കൈകാര്യം ചെയ്യൽ

മുകളിൽ സംക്ഷിപ്തമായി ചർച്ച ചെയ്തതുപോലെ, എല്ലാ തൊഴിലാളി ത്രെഡുകളും ഒരു വിഭജനവുമില്ലാതെ എല്ലാ ശ്രോതാക്കളെയും ശ്രദ്ധിക്കുന്നു. അങ്ങനെ, ലഭിച്ച സോക്കറ്റുകൾ വർക്കർ ത്രെഡുകളിലേക്ക് ബുദ്ധിപരമായി അയയ്ക്കാൻ കേർണൽ ഉപയോഗിക്കുന്നു. ആധുനിക കേർണലുകൾ സാധാരണയായി ഇതിൽ വളരെ മികച്ചതാണ്, അതേ സോക്കറ്റിൽ കേൾക്കുന്ന മറ്റ് ത്രെഡുകൾ ഉപയോഗിക്കാൻ തുടങ്ങുന്നതിന് മുമ്പ് ഒരു ത്രെഡ് വർക്ക് ഉപയോഗിച്ച് പൂരിപ്പിക്കാൻ I/O മുൻഗണന ബൂസ്റ്റ് പോലുള്ള സവിശേഷതകൾ ഉപയോഗിക്കുന്നു, കൂടാതെ സ്പിൻലോക്ക് (സ്പിൻലോക്ക്) ഉപയോഗിക്കില്ല. ഓരോ അഭ്യർത്ഥനയും പ്രോസസ്സ് ചെയ്യുക.
ഒരു വർക്കർ ത്രെഡിൽ ഒരു കണക്ഷൻ സ്വീകരിച്ചുകഴിഞ്ഞാൽ, അത് ഒരിക്കലും ആ ത്രെഡിൽ നിന്ന് പുറത്തുപോകില്ല. ഏതെങ്കിലും ഫോർവേഡിംഗ് പെരുമാറ്റം ഉൾപ്പെടെ, കണക്ഷന്റെ എല്ലാ തുടർന്നുള്ള പ്രോസസ്സിംഗും പൂർണ്ണമായും വർക്കർ ത്രെഡിലാണ് കൈകാര്യം ചെയ്യുന്നത്.

ഇതിന് നിരവധി സുപ്രധാന പ്രത്യാഘാതങ്ങളുണ്ട്:

• എൻവോയിയിലെ എല്ലാ കണക്ഷൻ പൂളുകളും ഓരോ തൊഴിലാളി ത്രെഡിലാണ്. അങ്ങനെ, HTTP/2 കണക്ഷൻ പൂളുകൾ ഓരോ അപ്‌സ്ട്രീം ഹോസ്റ്റിലേക്കും ഒരു സമയം ഒരു കണക്ഷൻ മാത്രമേ നൽകുന്നുള്ളൂ എങ്കിലും, നാല് വർക്കർ ത്രെഡുകൾ ഉണ്ടെങ്കിൽ, ഒരു സ്ഥിരമായ അവസ്ഥയിൽ ഒരു അപ്‌സ്ട്രീം ഹോസ്റ്റിന് നാല് HTTP/2 കണക്ഷനുകൾ ഉണ്ടാകും.
• എൻവോയ് ഈ രീതിയിൽ പ്രവർത്തിക്കുന്നതിന്റെ കാരണം, എല്ലാം ഒരൊറ്റ വർക്കർ ത്രെഡിൽ സൂക്ഷിക്കുന്നതിലൂടെ, മിക്കവാറും എല്ലാ കോഡുകളും ബ്ലോക്ക്-ഫ്രീയും ഒറ്റ-ത്രെഡ് പോലെയും എഴുതാൻ കഴിയും എന്നതാണ്. ഏതാണ്ട് പരിധിയില്ലാത്ത വർക്കർ ത്രെഡുകൾക്കായി ധാരാളം കോഡുകളും സ്കെയിലുകളും അവിശ്വസനീയമാംവിധം നന്നായി എഴുതുന്നത് ഈ ഡിസൈൻ എളുപ്പമാക്കുന്നു.
• എന്നിരുന്നാലും, പ്രധാന കണ്ടെത്തലുകളിലൊന്ന്, മെമ്മറി പൂളിന്റെയും കണക്ഷനുകളുടെയും കാര്യക്ഷമതയുടെ കാര്യത്തിൽ, പാരാമീറ്റർ ട്യൂൺ ചെയ്യുന്നത് വളരെ പ്രധാനമാണ്. --concurrency. ആവശ്യത്തിലധികം വർക്കർ ത്രെഡുകൾ ഉള്ളത് മെമ്മറി പാഴാക്കുകയും കൂടുതൽ നിഷ്‌ക്രിയ കണക്ഷനുകൾ സൃഷ്ടിക്കുകയും കണക്ഷൻ പൂൾ ഹിറ്റ് നിരക്ക് മന്ദഗതിയിലാക്കുകയും ചെയ്യും. ലിഫ്റ്റിൽ, ഞങ്ങളുടെ ദൂതൻ സൈഡ്‌കാർ കണ്ടെയ്‌നറുകൾ വളരെ കുറഞ്ഞ കൺകറൻസിയിലാണ് പ്രവർത്തിക്കുന്നത്, അതിനാൽ പ്രകടനം അവർ അടുത്തിരിക്കുന്ന സേവനങ്ങൾക്ക് തുല്യമാണ്. ഞങ്ങൾ എൻവോയ് ഒരു എഡ്ജ് പ്രോക്സി ആയി പരമാവധി കൺകറൻസിയിൽ മാത്രം പ്രവർത്തിപ്പിക്കുന്നു.

തടയാത്തത് എന്താണ് അർത്ഥമാക്കുന്നത്

പ്രധാന, തൊഴിലാളി ത്രെഡുകൾ എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് ചർച്ചചെയ്യുമ്പോൾ "നോൺ-ബ്ലോക്കിംഗ്" എന്ന പദം ഇതുവരെ കുറച്ച് തവണ ഉപയോഗിച്ചിട്ടുണ്ട്. ഒന്നും ഒരിക്കലും തടയില്ല എന്ന അനുമാനത്തിലാണ് എല്ലാ കോഡുകളും എഴുതിയിരിക്കുന്നത്. എന്നിരുന്നാലും, ഇത് തികച്ചും ശരിയല്ല (എന്താണ് ശരിയല്ല?).

ദൂതൻ നിരവധി നീണ്ട പ്രോസസ്സ് ലോക്കുകൾ ഉപയോഗിക്കുന്നു:

• നേരത്തെ ചർച്ച ചെയ്തതുപോലെ, ആക്‌സസ് ലോഗുകൾ എഴുതുമ്പോൾ, ഇൻ-മെമ്മറി ലോഗ് ബഫർ പൂരിപ്പിക്കുന്നതിന് മുമ്പ് എല്ലാ വർക്കർ ത്രെഡുകളും ഒരേ ലോക്ക് നേടുന്നു. ലോക്ക് ഹോൾഡ് സമയം വളരെ കുറവായിരിക്കണം, എന്നാൽ ഈ ലോക്ക് ഉയർന്ന കൺകറൻസിയിലും ഉയർന്ന ത്രൂപുട്ടിലും മത്സരിക്കപ്പെടാൻ സാധ്യതയുണ്ട്.
• ഒരു ത്രെഡിന് പ്രാദേശികമായ സ്ഥിതിവിവരക്കണക്കുകൾ കൈകാര്യം ചെയ്യാൻ എൻവോയ് വളരെ സങ്കീർണ്ണമായ ഒരു സംവിധാനം ഉപയോഗിക്കുന്നു. ഇത് ഒരു പ്രത്യേക പോസ്റ്റിന്റെ വിഷയമായിരിക്കും. എന്നിരുന്നാലും, ത്രെഡ് സ്ഥിതിവിവരക്കണക്കുകളുടെ പ്രാദേശിക പ്രോസസ്സിംഗിന്റെ ഭാഗമായി, ഒരു കേന്ദ്ര "സ്റ്റാറ്റിസ്റ്റിക്സ് സ്റ്റോറിൽ" ഒരു ലോക്ക് ഏറ്റെടുക്കേണ്ടത് ചിലപ്പോൾ ആവശ്യമാണെന്ന് ഞാൻ ചുരുക്കമായി സൂചിപ്പിക്കും. ഈ ലോക്ക് ഒരിക്കലും ആവശ്യമില്ല.
• പ്രധാന ത്രെഡ് കാലാകാലങ്ങളിൽ എല്ലാ വർക്കർ ത്രെഡുകളുമായും ഏകോപിപ്പിക്കേണ്ടതുണ്ട്. പ്രധാന ത്രെഡിൽ നിന്ന് വർക്കർ ത്രെഡുകളിലേക്കും ചിലപ്പോൾ വർക്കർ ത്രെഡുകളിൽ നിന്ന് പ്രധാന ത്രെഡിലേക്കും "പോസ്‌റ്റ്" ചെയ്താണ് ഇത് ചെയ്യുന്നത്. അയയ്‌ക്കുന്നതിന് ഒരു ലോക്ക് ആവശ്യമാണ്, അതിനാൽ പ്രസിദ്ധീകരിച്ച സന്ദേശം പിന്നീടുള്ള ഡെലിവറിക്കായി ക്യൂവിൽ നിർത്താനാകും. ഈ പൂട്ടുകൾ ഒരിക്കലും ശക്തമായി തർക്കിക്കാൻ പാടില്ല, പക്ഷേ അവ സാങ്കേതികമായി പൂട്ടാൻ കഴിയും.
• സിസ്റ്റം പിശക് സ്ട്രീമിലേക്ക് എൻവോയ് ഒരു ലോഗ് എഴുതുമ്പോൾ (സ്റ്റാൻഡേർഡ് പിശക്), അത് പ്രോസസ്സ്-വൈഡ് ലോക്ക് നേടുന്നു. പൊതുവേ, എൻവോയിയുടെ പ്രാദേശിക ലോഗിംഗ് പ്രകടനത്തിന്റെ കാര്യത്തിൽ ഭയങ്കരമായി കണക്കാക്കപ്പെടുന്നു, അതിനാൽ ഇത് മെച്ചപ്പെടുത്തുന്നതിൽ കൂടുതൽ ശ്രദ്ധ ചെലുത്തുന്നില്ല.
• മറ്റ് ചില ക്രമരഹിതമായ ലോക്കുകൾ ഉണ്ട്, എന്നാൽ അവയൊന്നും പ്രകടന-നിർണ്ണായകമല്ല, ഒരിക്കലും തർക്കിക്കാൻ പാടില്ല.

ത്രെഡ് പ്രാദേശിക സംഭരണം

എൻവോയ് പ്രധാന ത്രെഡ് ഉത്തരവാദിത്തങ്ങളെ വർക്കർ ത്രെഡ് ഉത്തരവാദിത്തങ്ങളിൽ നിന്ന് വേർതിരിക്കുന്ന രീതി കാരണം, പ്രധാന ത്രെഡിൽ സങ്കീർണ്ണമായ പ്രോസസ്സിംഗ് നടത്താനും തുടർന്ന് ഓരോ വർക്കർ ത്രെഡിനും ഉയർന്ന തോതിലുള്ള കൺകറൻസി നൽകാനും കഴിയും. ഈ വിഭാഗം ഉയർന്ന തലത്തിലുള്ള എൻവോയ് ത്രെഡ് ലോക്കൽ സ്റ്റോറേജ് (TLS) സിസ്റ്റത്തെ വിവരിക്കുന്നു. അടുത്ത വിഭാഗത്തിൽ, ഒരു ക്ലസ്റ്റർ കൈകാര്യം ചെയ്യാൻ ഇത് എങ്ങനെ ഉപയോഗിക്കുമെന്ന് ഞാൻ വിവരിക്കും.


ഇതിനകം വിവരിച്ചതുപോലെ, എൻവോയ് പ്രോസസിലെ മിക്കവാറും എല്ലാ മാനേജുമെന്റ്, കൺട്രോൾ പ്ലെയിൻ പ്രവർത്തനങ്ങളും പ്രധാന ത്രെഡ് കൈകാര്യം ചെയ്യുന്നു. കൺട്രോൾ പ്ലെയിൻ ഇവിടെ അൽപ്പം അമിതമാണ്, എന്നാൽ എൻവോയ് പ്രോസസിനുള്ളിൽ തന്നെ കാണുകയും വർക്കർ ത്രെഡുകൾ നടത്തുന്ന ഫോർവേഡിംഗുമായി താരതമ്യപ്പെടുത്തുകയും ചെയ്യുമ്പോൾ, അത് അർത്ഥവത്താണ്. ഒരു പൊതു നിയമം എന്ന നിലയിൽ, പ്രധാന ത്രെഡ് പ്രോസസ്സ് ചില ജോലികൾ ചെയ്യുന്നു, തുടർന്ന് ഈ ജോലിയുടെ ഫലം അനുസരിച്ച് ഓരോ വർക്കർ ത്രെഡും അപ്ഡേറ്റ് ചെയ്യേണ്ടതുണ്ട്, വർക്കർ ത്രെഡിന് ഓരോ പ്രവേശനത്തിലും ഒരു ലോക്ക് സ്ഥാപിക്കേണ്ടതില്ല.

TLS (ത്രെഡ് ലോക്കൽ സ്റ്റോറേജ്) എൻവോയ് സിസ്റ്റം ഇനിപ്പറയുന്ന രീതിയിൽ പ്രവർത്തിക്കുന്നു:

• പ്രധാന ത്രെഡിൽ പ്രവർത്തിക്കുന്ന കോഡിന് മുഴുവൻ പ്രക്രിയയ്ക്കും ഒരു TLS സ്ലോട്ട് അനുവദിക്കാൻ കഴിയും. ഇത് അമൂർത്തമാണെങ്കിലും, പ്രായോഗികമായി ഇത് ഒരു വെക്റ്ററിലേക്കുള്ള ഒരു സൂചികയാണ്, ഇത് O(1) ആക്സസ് നൽകുന്നു.
• പ്രധാന ത്രെഡിന് അനിയന്ത്രിതമായ ഡാറ്റ അതിന്റെ സ്ലോട്ടിലേക്ക് സജ്ജമാക്കാൻ കഴിയും. ഇത് പൂർത്തിയാകുമ്പോൾ, ഇവന്റ് ലൂപ്പിലെ ഒരു സാധാരണ സംഭവമായി ഓരോ തൊഴിലാളി ത്രെഡിലേക്കും ഡാറ്റ പ്രസിദ്ധീകരിക്കും.
• വർക്കർ ത്രെഡുകൾക്ക് അവരുടെ TLS സ്ലോട്ടിൽ നിന്ന് വായിക്കാനും അവിടെ ലഭ്യമായ ഏതെങ്കിലും ത്രെഡ്-ലോക്കൽ ഡാറ്റ വീണ്ടെടുക്കാനും കഴിയും.

ഇത് വളരെ ലളിതവും അവിശ്വസനീയമാംവിധം ശക്തവുമായ മാതൃകയാണെങ്കിലും, RCU (റീഡ്-കോപ്പി-അപ്‌ഡേറ്റ്) തടയൽ ആശയവുമായി വളരെ സാമ്യമുണ്ട്. അടിസ്ഥാനപരമായി, വർക്ക് പ്രവർത്തിക്കുമ്പോൾ TLS സ്ലോട്ടുകളിൽ വർക്കർ ത്രെഡുകൾ ഒരിക്കലും ഡാറ്റ മാറ്റങ്ങളൊന്നും കാണില്ല. ജോലി സംഭവങ്ങൾക്കിടയിലുള്ള പ്രവർത്തനരഹിതമായ കാലയളവിൽ മാത്രമാണ് മാറ്റം സംഭവിക്കുന്നത്.

ദൂതൻ ഇത് രണ്ട് വ്യത്യസ്ത രീതികളിൽ ഉപയോഗിക്കുന്നു:

• ഓരോ വർക്കർ ത്രെഡിലും വ്യത്യസ്‌ത ഡാറ്റ സംഭരിക്കുന്നതിലൂടെ, ഈ ഡാറ്റ ഒരു തടയലും കൂടാതെ ആക്‌സസ് ചെയ്യപ്പെടും.
• ഓരോ വർക്കർ ത്രെഡിലും റീഡ്-ഒൺലി മോഡിൽ ആഗോള ഡാറ്റയിലേക്കുള്ള ഒരു പങ്കിട്ട പോയിന്റർ സൂക്ഷിക്കുന്നതിലൂടെ. അതിനാൽ, ഓരോ വർക്കർ ത്രെഡിലും ഒരു ഡാറ്റ റഫറൻസ് കൗണ്ട് ഉണ്ട്, അത് ജോലി ചെയ്യുമ്പോൾ അത് കുറയ്ക്കാൻ കഴിയില്ല. എല്ലാ തൊഴിലാളികളും ശാന്തരായി പുതിയ പങ്കിട്ട ഡാറ്റ അപ്‌ലോഡ് ചെയ്യുമ്പോൾ മാത്രമേ പഴയ ഡാറ്റ നശിപ്പിക്കപ്പെടുകയുള്ളൂ. ഇത് ആർസിയുവിന് സമാനമാണ്.

ക്ലസ്റ്റർ അപ്ഡേറ്റ് ത്രെഡിംഗ്

ഈ വിഭാഗത്തിൽ, ഒരു ക്ലസ്റ്റർ മാനേജ് ചെയ്യാൻ TLS (ത്രെഡ് ലോക്കൽ സ്റ്റോറേജ്) എങ്ങനെയാണ് ഉപയോഗിക്കുന്നത് എന്ന് ഞാൻ വിവരിക്കും. ക്ലസ്റ്റർ മാനേജ്‌മെന്റിൽ xDS കൂടാതെ/അല്ലെങ്കിൽ DNS API പ്രോസസ്സിംഗും ആരോഗ്യ പരിശോധനയും ഉൾപ്പെടുന്നു.


ക്ലസ്റ്റർ ഫ്ലോ മാനേജ്മെന്റിൽ ഇനിപ്പറയുന്ന ഘടകങ്ങളും ഘട്ടങ്ങളും ഉൾപ്പെടുന്നു:

1. അറിയപ്പെടുന്ന എല്ലാ ക്ലസ്റ്റർ അപ്‌സ്ട്രീമുകളും, CDS (ക്ലസ്റ്റർ ഡിസ്‌കവറി സർവീസ്) API, SDS (സീക്രട്ട് ഡിസ്‌കവറി സർവീസ്), EDS (എൻഡ്‌പോയിന്റ് ഡിസ്‌കവറി സർവീസ്) API-കൾ, DNS, സജീവമായ ബാഹ്യ പരിശോധനകൾ എന്നിവ നിയന്ത്രിക്കുന്ന എൻവോയ്‌ക്കുള്ളിലെ ഒരു ഘടകമാണ് ക്ലസ്റ്റർ മാനേജർ. ആരോഗ്യ പരിശോധന. ഓരോ അപ്‌സ്ട്രീം ക്ലസ്റ്ററിനും "ഒടുവിൽ സ്ഥിരതയുള്ള" കാഴ്‌ച സൃഷ്‌ടിക്കുന്നതിന് ഇത് ഉത്തരവാദിയാണ്, അതിൽ കണ്ടെത്തിയ ഹോസ്റ്റുകളും ആരോഗ്യ നിലയും ഉൾപ്പെടുന്നു.
2. ഹെൽത്ത് ചെക്കർ സജീവമായ ആരോഗ്യ പരിശോധന നടത്തുകയും ആരോഗ്യ നില മാറ്റങ്ങൾ ക്ലസ്റ്റർ മാനേജർക്ക് റിപ്പോർട്ട് ചെയ്യുകയും ചെയ്യുന്നു.
3. CDS (Cluster Discovery Service) / SDS (Secret Discovery Service) / EDS (Endpoint Discovery Service) / DNS എന്നിവ ക്ലസ്റ്റർ അംഗത്വം നിർണ്ണയിക്കാൻ നടത്തുന്നു. സംസ്ഥാന മാറ്റം ക്ലസ്റ്റർ മാനേജർക്ക് തിരികെ നൽകും.
4. ഓരോ തൊഴിലാളി ത്രെഡും നിരന്തരം ഒരു ഇവന്റ് ലൂപ്പ് എക്സിക്യൂട്ട് ചെയ്യുന്നു.
5. ക്ലസ്റ്ററിന്റെ അവസ്ഥ മാറിയെന്ന് ക്ലസ്റ്റർ മാനേജർ നിർണ്ണയിക്കുമ്പോൾ, അത് ക്ലസ്റ്ററിന്റെ ഒരു പുതിയ റീഡ്-ഒൺലി സ്‌നാപ്പ്‌ഷോട്ട് സൃഷ്‌ടിക്കുകയും അത് ഓരോ വർക്കർ ത്രെഡിലേക്കും അയയ്ക്കുകയും ചെയ്യുന്നു.
6. അടുത്ത പ്രവർത്തനരഹിതമായ കാലയളവിൽ, അനുവദിച്ച TLS സ്ലോട്ടിൽ വർക്കർ ത്രെഡ് സ്നാപ്പ്ഷോട്ട് അപ്ഡേറ്റ് ചെയ്യും.
7. ബാലൻസ് ലോഡുചെയ്യാൻ ഹോസ്റ്റിനെ നിർണ്ണയിക്കേണ്ട ഒരു I/O ഇവന്റിൽ, ഹോസ്റ്റിനെക്കുറിച്ചുള്ള വിവരങ്ങൾക്കായി ലോഡ് ബാലൻസർ TLS (ത്രെഡ് ലോക്കൽ സ്റ്റോറേജ്) സ്ലോട്ടിൽ അന്വേഷിക്കും. ഇതിന് ലോക്കുകൾ ആവശ്യമില്ല. റിഫ്രഷിൽ ഇവന്റുകൾ തീർക്കാനും TLS-ന് കഴിയുമെന്നതും ശ്രദ്ധിക്കുക, അതുവഴി ലോഡ് ബാലൻസറുകൾക്കും മറ്റ് ഘടകങ്ങൾക്കും കാഷെകൾ, ഡാറ്റാ ഘടനകൾ മുതലായവ വീണ്ടും കണക്കാക്കാൻ കഴിയും. ഇത് ഈ പോസ്റ്റിന്റെ പരിധിക്ക് പുറത്താണ്, എന്നാൽ കോഡിലെ വിവിധ സ്ഥലങ്ങളിൽ ഇത് ഉപയോഗിക്കുന്നു.

മുകളിലെ നടപടിക്രമം ഉപയോഗിച്ച്, എൻവോയ്‌ക്ക് ഓരോ അഭ്യർത്ഥനയും തടയാതെ തന്നെ (മുമ്പ് വിവരിച്ചവ ഒഴികെ) പ്രോസസ്സ് ചെയ്യാൻ കഴിയും. TLS കോഡിന്റെ സങ്കീർണ്ണത മാറ്റിനിർത്തിയാൽ, മിക്ക കോഡുകളും മൾട്ടിത്രെഡിംഗ് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്നും സിംഗിൾ ത്രെഡഡ് മോഡിൽ എഴുതാമെന്നും മനസ്സിലാക്കേണ്ടതില്ല. മികച്ച പ്രകടനത്തിന് പുറമേ മിക്ക കോഡുകളും എഴുതുന്നത് ഇത് എളുപ്പമാക്കുന്നു.

TLS ഉപയോഗിക്കുന്ന മറ്റ് ഉപസിസ്റ്റങ്ങൾ

TLS (ത്രെഡ് ലോക്കൽ സ്റ്റോറേജ്), RCU (കോപ്പി അപ്‌ഡേറ്റ് വായിക്കുക) എന്നിവ എൻവോയിൽ വ്യാപകമായി ഉപയോഗിക്കുന്നു.

ഉപയോഗത്തിനുള്ള ഉദാഹരണങ്ങൾ:

• എക്സിക്യൂഷൻ സമയത്ത് പ്രവർത്തനം മാറ്റുന്നതിനുള്ള സംവിധാനം: പ്രവർത്തനക്ഷമമാക്കിയ സവിശേഷതകളുടെ നിലവിലെ ലിസ്റ്റ് പ്രധാന ത്രെഡിൽ വിലയിരുത്തുന്നു. ഓരോ വർക്കർ ത്രെഡിനും RCU സെമാന്റിക്‌സ് ഉപയോഗിച്ച് വായിക്കാൻ മാത്രമുള്ള സ്‌നാപ്പ്‌ഷോട്ട് നൽകുന്നു.
• റൂട്ട് ടേബിളുകൾ മാറ്റിസ്ഥാപിക്കുന്നു: RDS (റൂട്ട് ഡിസ്കവറി സർവീസ്) നൽകുന്ന റൂട്ട് ടേബിളുകൾക്കായി, പ്രധാന ത്രെഡിൽ റൂട്ട് ടേബിളുകൾ സൃഷ്ടിക്കപ്പെടുന്നു. RCU (പകർപ്പ് അപ്‌ഡേറ്റ് വായിക്കുക) സെമാന്റിക്‌സ് ഉപയോഗിച്ച് ഓരോ വർക്കർ ത്രെഡിനും വായന-മാത്രം സ്‌നാപ്പ്‌ഷോട്ട് നൽകും. ഇത് റൂട്ട് ടേബിളുകൾ മാറ്റുന്നത് ആറ്റോമികമായി കാര്യക്ഷമമാക്കുന്നു.
• HTTP ഹെഡർ കാഷിംഗ്: ഇത് മാറുന്നത് പോലെ, ഓരോ അഭ്യർത്ഥന HTTP തലക്കെട്ട് കണക്കുകൂട്ടൽ (കോറിന് ~25K+ RPS) വളരെ ചെലവേറിയതാണ്. ദൂതൻ കേന്ദ്രീകൃതമായി ഓരോ അര സെക്കൻഡിലും ഒരു തലക്കെട്ട് കണക്കാക്കുകയും അത് TLS, RCU എന്നിവ വഴി ഓരോ തൊഴിലാളിക്കും നൽകുകയും ചെയ്യുന്നു.

മറ്റ് കേസുകളുണ്ട്, എന്നാൽ മുമ്പത്തെ ഉദാഹരണങ്ങൾ TLS എന്തിനുവേണ്ടിയാണ് ഉപയോഗിക്കുന്നത് എന്നതിനെക്കുറിച്ച് നല്ല ധാരണ നൽകണം.

അറിയപ്പെടുന്ന പ്രകടനത്തിലെ പിഴവുകൾ

എൻവോയ് മൊത്തത്തിൽ മികച്ച പ്രകടനം കാഴ്ചവെക്കുന്നുണ്ടെങ്കിലും, വളരെ ഉയർന്ന കൺകറൻസിയിലും ത്രൂപുട്ടിലും ഉപയോഗിക്കുമ്പോൾ ശ്രദ്ധിക്കേണ്ട ചില ശ്രദ്ധേയമായ മേഖലകളുണ്ട്:

• ഈ ലേഖനത്തിൽ ഇതിനകം വിവരിച്ചിരിക്കുന്നതുപോലെ, ആക്സസ് ലോഗ് മെമ്മറി ബഫറിലേക്ക് എഴുതുമ്പോൾ നിലവിൽ എല്ലാ വർക്കർ ത്രെഡുകളും ഒരു ലോക്ക് നേടുന്നു. അന്തിമ ഫയലിലേക്ക് എഴുതുമ്പോൾ ഔട്ട്-ഓഫ്-ഓർഡർ ഡെലിവറി ചെലവിൽ ഓരോ വർക്കർ ത്രെഡിന്റെയും ആക്‌സസ് ലോഗുകൾ ബാച്ച് ചെയ്യേണ്ടതുണ്ട്. പകരമായി, നിങ്ങൾക്ക് ഓരോ വർക്കർ ത്രെഡിനും പ്രത്യേക ആക്സസ് ലോഗ് സൃഷ്ടിക്കാൻ കഴിയും.
• സ്ഥിതിവിവരക്കണക്കുകൾ വളരെ ഒപ്റ്റിമൈസ് ചെയ്തിട്ടുണ്ടെങ്കിലും, വളരെ ഉയർന്ന സമന്വയവും ത്രൂപുട്ടും ഉള്ളതിനാൽ, വ്യക്തിഗത സ്ഥിതിവിവരക്കണക്കുകളിൽ ആറ്റോമിക് തർക്കമുണ്ടാകാൻ സാധ്യതയുണ്ട്. ഈ പ്രശ്നത്തിനുള്ള പരിഹാരം സെൻട്രൽ കൗണ്ടറുകളുടെ ആനുകാലിക പുനഃസജ്ജീകരണത്തോടുകൂടിയ ഓരോ തൊഴിലാളി ത്രെഡിലും കൗണ്ടറുകൾ ആണ്. ഇത് തുടർന്നുള്ള പോസ്റ്റിൽ ചർച്ച ചെയ്യും.
• പ്രോസസ്സ് ചെയ്യുന്നതിന് കാര്യമായ ഉറവിടങ്ങൾ ആവശ്യമുള്ള വളരെ കുറച്ച് കണക്ഷനുകൾ ഉള്ള ഒരു സാഹചര്യത്തിൽ ദൂതനെ വിന്യസിച്ചാൽ നിലവിലെ ആർക്കിടെക്ചർ നന്നായി പ്രവർത്തിക്കില്ല. വർക്കർ ത്രെഡുകൾക്കിടയിൽ ലിങ്കുകൾ തുല്യമായി വിതരണം ചെയ്യപ്പെടുമെന്ന് യാതൊരു ഉറപ്പുമില്ല. വർക്കർ കണക്ഷൻ ബാലൻസിംഗ് നടപ്പിലാക്കുന്നതിലൂടെ ഇത് പരിഹരിക്കാനാകും, ഇത് തൊഴിലാളി ത്രെഡുകൾ തമ്മിലുള്ള കണക്ഷനുകളുടെ കൈമാറ്റം അനുവദിക്കും.

ഉപസംഹാരം

എൻവോയ് ത്രെഡിംഗ് മോഡൽ രൂപകല്പന ചെയ്തിരിക്കുന്നത് പ്രോഗ്രാമിംഗ് എളുപ്പമാക്കുന്നതിനും, ശരിയായി ക്രമീകരിച്ചിട്ടില്ലെങ്കിൽ, പാഴായിപ്പോകാൻ സാധ്യതയുള്ള മെമ്മറിയുടെയും കണക്ഷനുകളുടെയും ചെലവിൽ വലിയ സമാന്തരതയ്ക്കും വേണ്ടിയാണ്. വളരെ ഉയർന്ന ത്രെഡ് കൗണ്ടുകളിലും ത്രൂപുട്ടുകളിലും മികച്ച പ്രകടനം നടത്താൻ ഈ മോഡൽ അനുവദിക്കുന്നു.
ട്വിറ്ററിൽ ഞാൻ സംക്ഷിപ്തമായി സൂചിപ്പിച്ചതുപോലെ, ഡിസൈനിന് DPDK (ഡാറ്റ പ്ലെയിൻ ഡെവലപ്‌മെന്റ് കിറ്റ്) പോലുള്ള ഒരു പൂർണ്ണ ഫീച്ചർ ചെയ്ത ഉപയോക്തൃ-മോഡ് നെറ്റ്‌വർക്കിംഗ് സ്റ്റാക്കിന് മുകളിൽ പ്രവർത്തിക്കാൻ കഴിയും, ഇത് പൂർണ്ണ L7 പ്രോസസ്സിംഗ് ഉപയോഗിച്ച് സെക്കൻഡിൽ ദശലക്ഷക്കണക്കിന് അഭ്യർത്ഥനകൾ കൈകാര്യം ചെയ്യാൻ സാധാരണ സെർവറുകൾക്ക് കാരണമാകും. . അടുത്ത കുറച്ച് വർഷങ്ങളിൽ എന്താണ് നിർമ്മിക്കുന്നത് എന്നത് വളരെ രസകരമായിരിക്കും.
അവസാനത്തെ പെട്ടെന്നുള്ള ഒരു അഭിപ്രായം: എന്തുകൊണ്ടാണ് ഞങ്ങൾ എൻവോയ്‌ക്കായി C++ തിരഞ്ഞെടുത്തതെന്ന് എന്നോട് പലതവണ ചോദിച്ചിട്ടുണ്ട്. കാരണം, ഈ പോസ്റ്റിൽ വിവരിച്ചിരിക്കുന്ന വാസ്തുവിദ്യ നിർമ്മിക്കാൻ ഇപ്പോഴും വ്യാപകമായി ഉപയോഗിക്കുന്ന പ്രൊഡക്ഷൻ ലെവൽ ഭാഷ ഇതാണ്. C++ തീർച്ചയായും എല്ലാ അല്ലെങ്കിൽ പല പ്രോജക്റ്റുകൾക്കും അനുയോജ്യമല്ല, എന്നാൽ ചില ഉപയോഗ സന്ദർഭങ്ങളിൽ ഇത് ഇപ്പോഴും ജോലി ചെയ്യാനുള്ള ഒരേയൊരു ഉപകരണമാണ്.

കോഡിലേക്കുള്ള ലിങ്കുകൾ

ഈ പോസ്റ്റിൽ ചർച്ച ചെയ്തിട്ടുള്ള ഇന്റർഫേസുകളുള്ള ഫയലുകളിലേക്കുള്ള ലിങ്കുകളും തലക്കെട്ടുകൾ നടപ്പിലാക്കുന്നതും:

• github.com/lyft/envoy/blob/master/include/envoy/thread_local/thread_local.h
• github.com/lyft/envoy/blob/master/source/common/thread_local/thread_local_impl.h
• github.com/lyft/envoy/blob/master/include/envoy/upstream/cluster_manager.h
• github.com/lyft/envoy/blob/master/source/common/upstream/cluster_manager_impl.h

അവലംബം: www.habr.com