Linux contrack നിങ്ങളുടെ സുഹൃത്തല്ലെങ്കിൽ

ലിനക്സ് കേർണൽ നെറ്റ്‌വർക്കിംഗ് സ്റ്റാക്കിന്റെ ഒരു പ്രധാന സവിശേഷതയാണ് കണക്ഷൻ ട്രാക്കിംഗ് ("കൺട്രാക്ക്"). എല്ലാ ലോജിക്കൽ നെറ്റ്‌വർക്ക് കണക്ഷനുകളുടെയും ഫ്ലോകളുടെയും ട്രാക്ക് സൂക്ഷിക്കാൻ ഇത് കേർണലിനെ അനുവദിക്കുന്നു, അതുവഴി ഓരോ ഫ്ലോയും ഉണ്ടാക്കുന്ന എല്ലാ പാക്കറ്റുകളും തിരിച്ചറിയാനും അങ്ങനെ അവ തുടർച്ചയായി ഒരുമിച്ച് പ്രോസസ്സ് ചെയ്യാനും കഴിയും.

ചില അടിസ്ഥാന സന്ദർഭങ്ങളിൽ ഉപയോഗിക്കുന്ന ഒരു പ്രധാന കേർണൽ സവിശേഷതയാണ് Contrack:

• NAT കോൺട്രാക്കിൽ നിന്നുള്ള വിവരങ്ങളെ ആശ്രയിക്കുന്നു, അതിനാൽ ഒരേ സ്ട്രീമിൽ നിന്നുള്ള എല്ലാ പാക്കറ്റുകളും തുല്യമായി കൈകാര്യം ചെയ്യാൻ ഇതിന് കഴിയും. ഉദാഹരണത്തിന്, ഒരു പോഡ് ഒരു കുബർനെറ്റസ് സേവനത്തിലേക്ക് പ്രവേശിക്കുമ്പോൾ, ക്ലസ്റ്ററിനുള്ളിലെ ഒരു നിർദ്ദിഷ്ട പോഡിലേക്ക് ട്രാഫിക്ക് നയിക്കാൻ kube-proxy ലോഡ് ബാലൻസർ NAT ഉപയോഗിക്കുന്നു. തന്നിരിക്കുന്ന ഒരു കണക്ഷനായി, IP സേവനത്തിലേക്കുള്ള എല്ലാ പാക്കറ്റുകളും ഒരേ പോഡിലേക്ക് അയയ്‌ക്കണമെന്നും ബാക്കെൻഡ് പോഡ് തിരികെ നൽകുന്ന പാക്കറ്റുകൾ അഭ്യർത്ഥന വന്ന പോഡിലേക്ക് തിരികെ നൽകണമെന്നും Contrack രേഖപ്പെടുത്തുന്നു.
• കാലിക്കോ പോലുള്ള സ്‌റ്റേറ്റ്‌ഫുൾ ഫയർവാളുകൾ കണക്‌റ്റ്‌ട്രാക്കിൽ നിന്ന് വൈറ്റ്‌ലിസ്റ്റ് “പ്രതികരണ” ട്രാഫിക്കിലേക്കുള്ള വിവരങ്ങളെ ആശ്രയിക്കുന്നു. പ്രതികരണ ട്രാഫിക്കിനെ വ്യക്തമായി അനുവദിക്കുന്നതിന് ഒരു നയം എഴുതാതെ തന്നെ "ഏതെങ്കിലും വിദൂര IP വിലാസത്തിലേക്ക് കണക്റ്റുചെയ്യാൻ എന്റെ പോഡിനെ അനുവദിക്കുക" എന്ന് പറയുന്ന ഒരു നെറ്റ്‌വർക്ക് നയം എഴുതാൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു. (ഇത് കൂടാതെ, "ഏത് ഐപിയിൽ നിന്നും എന്റെ പോഡിലേക്ക് പാക്കറ്റുകൾ അനുവദിക്കുക" എന്ന റൂൾ വളരെ കുറഞ്ഞ സുരക്ഷിതത്വം നിങ്ങൾ ചേർക്കേണ്ടതുണ്ട്.)

കൂടാതെ, ഒരു സ്ട്രീമിലെ ആദ്യത്തെ പാക്കറ്റ് മാത്രമായതിനാൽ കോൺട്രാക്ക് സാധാരണയായി സിസ്റ്റം പ്രകടനം മെച്ചപ്പെടുത്തുന്നു (സിപിയു ഉപഭോഗവും പാക്കറ്റ് ലേറ്റൻസിയും കുറയ്ക്കുന്നതിലൂടെ).
ഇത് എന്തുചെയ്യണമെന്ന് നിർണ്ണയിക്കാൻ മുഴുവൻ നെറ്റ്‌വർക്ക് സ്റ്റാക്കിലൂടെയും പോകണം. പോസ്റ്റ് കാണുക"ക്യൂബ്-പ്രോക്സി മോഡുകളുടെ താരതമ്യം"ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതിന്റെ ഒരു ഉദാഹരണം കാണാൻ.

എന്നിരുന്നാലും, കോൺട്രാക്കിന് അതിന്റെ പരിമിതികളുണ്ട് ...

അപ്പോൾ അതെല്ലാം എവിടെയാണ് പിഴച്ചത്?

കോൺട്രാക്ക് ടേബിളിന് കോൺഫിഗർ ചെയ്യാവുന്ന പരമാവധി വലുപ്പമുണ്ട്, അത് നിറയുകയാണെങ്കിൽ, കണക്ഷനുകൾ സാധാരണയായി നിരസിക്കപ്പെടുകയോ ഉപേക്ഷിക്കുകയോ ചെയ്യാൻ തുടങ്ങുന്നു. മിക്ക ആപ്ലിക്കേഷനുകളുടെയും ട്രാഫിക് കൈകാര്യം ചെയ്യാൻ മതിയായ ഇടം പട്ടികയിൽ ഉണ്ട്, ഇത് ഒരിക്കലും ഒരു പ്രശ്നമാകില്ല. എന്നിരുന്നാലും, കോൺട്രാക്ക് ടേബിൾ ഉപയോഗിക്കുന്നത് പരിഗണിക്കേണ്ട ചില സാഹചര്യങ്ങളുണ്ട്:

• നിങ്ങളുടെ സെർവർ വളരെ വലിയ എണ്ണം ഒരേസമയം സജീവമായ കണക്ഷനുകൾ കൈകാര്യം ചെയ്യുന്നു എന്നതാണ് ഏറ്റവും വ്യക്തമായ കേസ്. ഉദാഹരണത്തിന്, നിങ്ങളുടെ കോൺട്രാക്ക് ടേബിൾ 128k എൻട്രികൾക്കായി കോൺഫിഗർ ചെയ്തിട്ടുണ്ടെങ്കിലും നിങ്ങൾക്ക് > 128k കൺകറന്റ് കണക്ഷനുകൾ ഉണ്ടെങ്കിൽ, നിങ്ങൾ തീർച്ചയായും ഒരു പ്രശ്നത്തിലാകും!
• കുറച്ചുകൂടി വ്യക്തമായ ഒരു കേസ്: നിങ്ങളുടെ സെർവർ സെക്കൻഡിൽ വളരെ വലിയ കണക്ഷനുകൾ പ്രോസസ്സ് ചെയ്യുന്നുവെങ്കിൽ. കണക്ഷനുകൾ ഹ്രസ്വകാലമാണെങ്കിൽപ്പോലും, കുറച്ച് സമയത്തേക്ക് അവ Linux നിരീക്ഷിക്കുന്നത് തുടരുന്നു (സ്ഥിരമായി 120 സെക്കൻഡ്). ഉദാഹരണത്തിന്, നിങ്ങളുടെ കോൺട്രാക്ക് ടേബിൾ 128k എൻട്രികൾക്കായി കോൺഫിഗർ ചെയ്‌തിരിക്കുകയും നിങ്ങൾ സെക്കൻഡിൽ 1100 കണക്ഷനുകൾ കൈകാര്യം ചെയ്യാൻ ശ്രമിക്കുകയും ചെയ്യുന്നുവെങ്കിൽ, കണക്ഷനുകൾ വളരെ ഹ്രസ്വകാലമാണെങ്കിൽപ്പോലും അവ കോൺട്രാക്ക് ടേബിളിന്റെ വലുപ്പം കവിയും (128k/120s = 1092 കണക്ഷനുകൾ/സെ. ).

ഈ വിഭാഗങ്ങളിൽ പെടുന്ന നിരവധി തരം ആപ്പുകൾ ഉണ്ട്. കൂടാതെ, നിങ്ങൾക്ക് ധാരാളം മോശം അഭിനേതാക്കൾ ഉണ്ടെങ്കിൽ, നിങ്ങളുടെ സെർവറിന്റെ കോൺട്രാക്ക് ടേബിളിൽ പകുതി തുറന്ന കണക്ഷനുകൾ നിറയ്ക്കുന്നത് സേവന നിഷേധത്തിന്റെ (DOS) ആക്രമണത്തിന്റെ ഭാഗമായി ഉപയോഗിക്കാം. രണ്ട് സാഹചര്യങ്ങളിലും, കോൺട്രാക്ക് നിങ്ങളുടെ സിസ്റ്റത്തിൽ പരിമിതപ്പെടുത്തുന്ന തടസ്സമായി മാറിയേക്കാം. ചില സന്ദർഭങ്ങളിൽ, കോൺട്രാക്ക് ടേബിൾ പാരാമീറ്ററുകൾ ക്രമീകരിക്കുന്നത് നിങ്ങളുടെ ആവശ്യങ്ങൾ നിറവേറ്റാൻ മതിയാകും - വലിപ്പം കൂട്ടുകയോ അല്ലെങ്കിൽ കോൺട്രാക്ക് ടൈംഔട്ടുകൾ കുറയ്ക്കുകയോ ചെയ്തുകൊണ്ട് (എന്നാൽ നിങ്ങൾ അത് തെറ്റായി ചെയ്താൽ, നിങ്ങൾ ഒരുപാട് പ്രശ്‌നങ്ങളിൽ അകപ്പെടും). മറ്റ് സന്ദർഭങ്ങളിൽ, ആക്രമണാത്മക ട്രാഫിക്കിനായി കോൺട്രാക്ക് മറികടക്കേണ്ടത് ആവശ്യമാണ്.

യഥാർത്ഥ ഉദാഹരണം

നമുക്ക് ഒരു പ്രത്യേക ഉദാഹരണം നൽകാം: ഞങ്ങൾ പ്രവർത്തിച്ചിരുന്ന ഒരു വലിയ SaaS ദാതാവിന് ഹോസ്റ്റുകളിൽ (വെർച്വൽ മെഷീനുകളല്ല) മെംകാഷ് ചെയ്ത നിരവധി സെർവറുകൾ ഉണ്ടായിരുന്നു, അവയിൽ ഓരോന്നും സെക്കൻഡിൽ 50K+ ഹ്രസ്വകാല കണക്ഷനുകൾ പ്രോസസ്സ് ചെയ്തു.

അവർ കോൺട്രാക്ക് കോൺഫിഗറേഷൻ പരീക്ഷിച്ചു, പട്ടികയുടെ വലുപ്പം കൂട്ടുകയും ട്രാക്കിംഗ് സമയം കുറയ്ക്കുകയും ചെയ്തു, എന്നാൽ കോൺഫിഗറേഷൻ വിശ്വസനീയമല്ല, റാം ഉപഭോഗം ഗണ്യമായി വർദ്ധിച്ചു, ഇത് ഒരു പ്രശ്‌നമായിരുന്നു (ജിബിറ്റുകളുടെ ക്രമത്തിൽ!), കണക്ഷനുകൾ വളരെ ചെറുതായിരുന്നു, കോൺട്രാക്ക് ചെയ്യാത്തത് അതിന്റെ സാധാരണ പ്രകടന ആനുകൂല്യം (ഉപഭോഗം കുറയ്ക്കുന്ന CPU അല്ലെങ്കിൽ പാക്കറ്റ് ലേറ്റൻസി) സൃഷ്ടിക്കുക.

ബദലായി അവർ കാലിക്കോയിലേക്ക് തിരിഞ്ഞു. ചില തരത്തിലുള്ള ട്രാഫിക്കിനായി (doNotTrack പോളിസി ഓപ്ഷൻ ഉപയോഗിച്ച്) കോൺട്രാക്ക് ഉപയോഗിക്കാതിരിക്കാൻ കാലിക്കോ നെറ്റ്‌വർക്ക് നയങ്ങൾ നിങ്ങളെ അനുവദിക്കുന്നു. ഇത് അവർക്ക് ആവശ്യമായ പ്രകടന നിലവാരവും കാലിക്കോ നൽകിയ സുരക്ഷയുടെ അധിക തലവും നൽകി.

കോൺട്രാക്ക് മറികടക്കാൻ നിങ്ങൾ എത്ര ദൂരം പോകണം?

• നെറ്റ്‌വർക്ക് ട്രാക്ക് ചെയ്യരുത് നയങ്ങൾ പൊതുവെ സമമിതി ആയിരിക്കണം. SaaS ദാതാവിന്റെ കാര്യത്തിൽ: അവരുടെ ആപ്ലിക്കേഷനുകൾ ഒരു സംരക്ഷിത മേഖലയ്ക്കുള്ളിലാണ് പ്രവർത്തിക്കുന്നത്, അതിനാൽ, നെറ്റ്‌വർക്ക് നയം ഉപയോഗിച്ച്, memcached-ലേക്ക് ആക്‌സസ് അനുവദിച്ചിട്ടുള്ള മറ്റ് നിർദ്ദിഷ്ട ആപ്ലിക്കേഷനുകളിൽ നിന്നുള്ള ട്രാഫിക്ക് വൈറ്റ്‌ലിസ്റ്റ് ചെയ്യാൻ അവർക്ക് കഴിയും.
• ട്രാക്ക് ചെയ്യരുത് നയം കണക്ഷന്റെ ദിശ കണക്കിലെടുക്കുന്നില്ല. അതിനാൽ, memcached സെർവർ ഹാക്ക് ചെയ്യപ്പെടുകയാണെങ്കിൽ, ശരിയായ സോഴ്സ് പോർട്ട് ഉപയോഗിക്കുന്നിടത്തോളം കാലം നിങ്ങൾക്ക് സൈദ്ധാന്തികമായി ഏതെങ്കിലും memcached ക്ലയന്റുകളിലേക്ക് കണക്റ്റുചെയ്യാൻ ശ്രമിക്കാവുന്നതാണ്. എന്നിരുന്നാലും, നിങ്ങളുടെ മെംകാഷ് ചെയ്ത ക്ലയന്റുകളുടെ നെറ്റ്‌വർക്ക് നയം നിങ്ങൾ ശരിയായി നിർവചിച്ചിട്ടുണ്ടെങ്കിൽ, ക്ലയന്റ് ഭാഗത്ത് ഈ കണക്ഷൻ ശ്രമങ്ങൾ ഇപ്പോഴും നിരസിക്കപ്പെടും.
• ഒരു ഫ്ലോയിലെ ആദ്യത്തെ പാക്കറ്റിന് മാത്രം ബാധകമാകുന്ന സാധാരണ പോളിസികളിൽ നിന്ന് വ്യത്യസ്തമായി, ട്രാക്ക് ചെയ്യരുത് എന്ന നയം എല്ലാ പാക്കറ്റിനും ബാധകമാണ്. ഓരോ പാക്കറ്റിനും പോളിസി പ്രയോഗിക്കേണ്ടതിനാൽ ഇത് ഓരോ പാക്കറ്റിനും CPU ഉപഭോഗം വർദ്ധിപ്പിക്കും. എന്നാൽ ഹ്രസ്വകാല കണക്ഷനുകൾക്ക്, കോൺട്രാക്ക് പ്രോസസ്സിംഗിനുള്ള വിഭവ ഉപഭോഗം കുറയ്ക്കുന്നതിലൂടെ ഈ ചെലവ് സന്തുലിതമാണ്. ഉദാഹരണത്തിന്, ഒരു SaaS ദാതാവിന്റെ കാര്യത്തിൽ, ഓരോ കണക്ഷനുമുള്ള പാക്കറ്റുകളുടെ എണ്ണം വളരെ കുറവായിരുന്നു, അതിനാൽ ഓരോ പാക്കറ്റിനും പോളിസികൾ പ്രയോഗിക്കുമ്പോൾ അധിക സിപിയു ഉപഭോഗം ന്യായീകരിക്കപ്പെടുന്നു.

നമുക്ക് പരീക്ഷണം തുടങ്ങാം

ഒരു മെംകാഷ്ഡ് സെർവറും റിമോട്ട് നോഡുകളിൽ പ്രവർത്തിക്കുന്ന ഒന്നിലധികം മെംകാഷ്ഡ് ക്ലയന്റ് പോഡുകളും ഉള്ള ഒരൊറ്റ പോഡിൽ ഞങ്ങൾ ടെസ്റ്റ് നടത്തി, അങ്ങനെ ഞങ്ങൾക്ക് സെക്കൻഡിൽ വളരെയധികം കണക്ഷനുകൾ പ്രവർത്തിപ്പിക്കാൻ കഴിയും. മെംകാഷ് ചെയ്ത സെർവർ പോഡുള്ള സെർവറിന് കോൺട്രാക്ക് ടേബിളിൽ 8 കോറുകളും 512 കെ എൻട്രികളും ഉണ്ടായിരുന്നു (ഹോസ്റ്റിനുള്ള സ്റ്റാൻഡേർഡ് കോൺഫിഗർ ചെയ്‌ത പട്ടിക വലുപ്പം).
ഞങ്ങൾ തമ്മിലുള്ള പ്രകടന വ്യത്യാസം അളന്നു: നെറ്റ്‌വർക്ക് നയമില്ല; പതിവ് കാലിക്കോ നയം; കാലിക്കോ ട്രാക്ക് ചെയ്യരുത് നയവും.

ആദ്യ ടെസ്റ്റിനായി, ഞങ്ങൾ കണക്ഷനുകളുടെ എണ്ണം സെക്കൻഡിൽ 4.000 ആയി സജ്ജീകരിച്ചു, അതിനാൽ CPU ഉപഭോഗത്തിലെ വ്യത്യാസത്തിൽ ഞങ്ങൾക്ക് ശ്രദ്ധ കേന്ദ്രീകരിക്കാം. പോളിസിയും റെഗുലർ പോളിസിയും തമ്മിൽ കാര്യമായ വ്യത്യാസങ്ങളൊന്നും ഉണ്ടായിരുന്നില്ല, എന്നാൽ 20% വർദ്ധിച്ച CPU ഉപഭോഗം ട്രാക്ക് ചെയ്യരുത്:

രണ്ടാമത്തെ ടെസ്റ്റിൽ, ഞങ്ങളുടെ ക്ലയന്റുകൾക്ക് സൃഷ്‌ടിക്കാൻ കഴിയുന്നത്ര കണക്ഷനുകൾ ഞങ്ങൾ സമാരംഭിക്കുകയും ഞങ്ങളുടെ മെംകാഷ് ചെയ്‌ത സെർവറിന് കൈകാര്യം ചെയ്യാൻ കഴിയുന്ന സെക്കൻഡിൽ പരമാവധി കണക്ഷനുകൾ അളക്കുകയും ചെയ്തു. പ്രതീക്ഷിച്ചതുപോലെ, "നോ പോളിസി", "റെഗുലർ പോളിസി" എന്നീ രണ്ട് കേസുകളും സെക്കൻഡിൽ 4,000 കണക്ഷനുകളുടെ (512k / 120s = 4,369 കണക്ഷനുകൾ/സെ) കോൺട്രാക്ക് പരിധിയിലെത്തി. ട്രാക്ക് ചെയ്യരുത് എന്ന നയം ഉപയോഗിച്ച്, ഞങ്ങളുടെ ക്ലയന്റുകൾ സെക്കൻഡിൽ 60,000 കണക്ഷനുകൾ പ്രശ്‌നങ്ങളില്ലാതെ അയച്ചു. കൂടുതൽ ക്ലയന്റുകളെ ചേർത്തുകൊണ്ട് ഈ സംഖ്യ വർധിപ്പിക്കാനാകുമെന്ന് ഞങ്ങൾക്ക് ഉറപ്പുണ്ട്, എന്നാൽ ഈ ലേഖനത്തിന്റെ പോയിന്റ് വ്യക്തമാക്കാൻ ഈ സംഖ്യകൾ മതിയെന്ന് ഞങ്ങൾക്ക് തോന്നുന്നു!

തീരുമാനം

Contrack ഒരു പ്രധാന കേർണൽ സവിശേഷതയാണ്. അവൻ തന്റെ ജോലി തികച്ചും ചെയ്യുന്നു. പ്രധാന സിസ്റ്റം ഘടകങ്ങൾ ഇത് പലപ്പോഴും ഉപയോഗിക്കുന്നു. എന്നിരുന്നാലും, ചില പ്രത്യേക സാഹചര്യങ്ങളിൽ, കോൺട്രാക്ക് മൂലമുണ്ടാകുന്ന തിരക്ക് അത് നൽകുന്ന സാധാരണ ആനുകൂല്യങ്ങളെക്കാൾ കൂടുതലാണ്. ഈ സാഹചര്യത്തിൽ, നെറ്റ്‌വർക്ക് സുരക്ഷ വർദ്ധിപ്പിക്കുമ്പോൾ കോൺട്രാക്കിന്റെ ഉപയോഗം തിരഞ്ഞെടുത്ത് പ്രവർത്തനരഹിതമാക്കാൻ കാലിക്കോ നെറ്റ്‌വർക്ക് നയങ്ങൾ ഉപയോഗിക്കാം. മറ്റെല്ലാ ട്രാഫിക്കിലും, കോൺട്രാക്ക് നിങ്ങളുടെ സുഹൃത്തായി തുടരുന്നു!

ഞങ്ങളുടെ ബ്ലോഗിലെ മറ്റ് ലേഖനങ്ങളും വായിക്കുക:

• Nginx-നായി ഡൈനാമിക് മൊഡ്യൂളുകൾ നിർമ്മിക്കുന്നു
• ഹാഷികോർപ്പ് കോൺസലിന്റെ കുബർനെറ്റസ് ഓതറൈസേഷന്റെ ആമുഖം
• കുബെർനെറ്റസിലെ സ്റ്റേറ്റ്ഫുൾ ബാക്കപ്പുകൾ
• ധാരാളം വൈവിധ്യമാർന്ന വെബ് പ്രോജക്റ്റുകളുടെ ബാക്കപ്പ്
• Redmine-നുള്ള ടെലിഗ്രാം ബോട്ട്. നിങ്ങൾക്കും മറ്റുള്ളവർക്കുമായി ജീവിതം എങ്ങനെ ലളിതമാക്കാം

അവലംബം: www.habr.com