വെബ് ഹൈലോഡ് - പതിനായിരക്കണക്കിന് ഡൊമെയ്‌നുകൾക്കായി ഞങ്ങൾ എങ്ങനെയാണ് ട്രാഫിക് നിയന്ത്രിക്കുന്നത്

DDoS-Guard നെറ്റ്‌വർക്കിലെ നിയമാനുസൃത ട്രാഫിക് അടുത്തിടെ സെക്കൻഡിൽ നൂറ് ജിഗാബൈറ്റുകൾ കവിഞ്ഞു. നിലവിൽ, ഞങ്ങളുടെ എല്ലാ ട്രാഫിക്കിന്റെയും 50% ക്ലയന്റ് വെബ് സേവനങ്ങളിൽ നിന്നാണ് സൃഷ്ടിക്കുന്നത്. ഇവ പതിനായിരക്കണക്കിന് ഡൊമെയ്‌നുകളാണ്, വളരെ വ്യത്യസ്തവും മിക്ക കേസുകളിലും ഒരു വ്യക്തിഗത സമീപനം ആവശ്യമാണ്.

ഞങ്ങൾ എങ്ങനെയാണ് ഫ്രണ്ട് നോഡുകൾ കൈകാര്യം ചെയ്യുന്നതെന്നും ലക്ഷക്കണക്കിന് സൈറ്റുകൾക്കായി SSL സർട്ടിഫിക്കറ്റുകൾ നൽകുന്നതെന്നും കട്ടിന് താഴെയുണ്ട്.

ഒരു സൈറ്റിനായി ഒരു ഫ്രണ്ട് സജ്ജീകരിക്കുന്നത്, വളരെ വലുത് പോലും, എളുപ്പമാണ്. ഞങ്ങൾ nginx അല്ലെങ്കിൽ haproxy അല്ലെങ്കിൽ lighttpd എടുക്കുന്നു, ഗൈഡുകൾ അനുസരിച്ച് അത് ക്രമീകരിക്കുകയും അതിനെക്കുറിച്ച് മറക്കുകയും ചെയ്യുന്നു. എന്തെങ്കിലും മാറ്റണമെങ്കിൽ, ഞങ്ങൾ ഒരു റീലോഡ് ചെയ്ത് വീണ്ടും മറക്കും.

നിങ്ങൾ ഫ്ലൈയിൽ വലിയ അളവിലുള്ള ട്രാഫിക് പ്രോസസ്സ് ചെയ്യുമ്പോൾ, അഭ്യർത്ഥനകളുടെ നിയമസാധുത വിലയിരുത്തുക, ഉപയോക്തൃ ഉള്ളടക്കം കംപ്രസ്സുചെയ്യുക, കാഷെ ചെയ്യുക, അതേ സമയം സെക്കൻഡിൽ നിരവധി തവണ പാരാമീറ്ററുകൾ മാറ്റുമ്പോൾ എല്ലാം മാറുന്നു. ഉപയോക്താവ് തന്റെ സ്വകാര്യ അക്കൗണ്ടിലെ ക്രമീകരണങ്ങൾ മാറ്റിയ ഉടൻ തന്നെ എല്ലാ ബാഹ്യ നോഡുകളിലും ഫലം കാണാൻ ആഗ്രഹിക്കുന്നു. എപിഐ വഴി വ്യക്തിഗത ട്രാഫിക് പ്രോസസ്സിംഗ് പാരാമീറ്ററുകൾ ഉപയോഗിച്ച് ഒരു ഉപയോക്താവിന് ആയിരക്കണക്കിന് (ചിലപ്പോൾ പതിനായിരക്കണക്കിന്) ഡൊമെയ്‌നുകൾ ഡൗൺലോഡ് ചെയ്യാനും കഴിയും. അമേരിക്കയിലും യൂറോപ്പിലും ഏഷ്യയിലും ഇതെല്ലാം ഉടനടി പ്രവർത്തിക്കണം - മോസ്കോയിൽ മാത്രം ശാരീരികമായി വേർതിരിച്ച നിരവധി ഫിൽട്ടറേഷൻ നോഡുകൾ ഉള്ളതിനാൽ ചുമതല ഏറ്റവും നിസ്സാരമല്ല.

എന്തുകൊണ്ടാണ് ലോകമെമ്പാടുമുള്ള നിരവധി വലിയ വിശ്വസനീയമായ നോഡുകൾ ഉള്ളത്?

• ക്ലയന്റ് ട്രാഫിക്കിനായുള്ള സേവനത്തിന്റെ ഗുണനിലവാരം - യു‌എസ്‌എയിൽ നിന്നുള്ള അഭ്യർത്ഥനകൾ യു‌എസ്‌എയിൽ പ്രോസസ്സ് ചെയ്യേണ്ടതുണ്ട് (ആക്രമണങ്ങൾ, പാഴ്‌സിംഗ്, മറ്റ് അപാകതകൾ എന്നിവ ഉൾപ്പെടെ), മോസ്കോയിലേക്കോ യൂറോപ്പിലേക്കോ വലിച്ചിടരുത്, ഇത് പ്രോസസ്സിംഗ് കാലതാമസം പ്രവചനാതീതമായി വർദ്ധിപ്പിക്കുന്നു.

• ആക്രമണ ട്രാഫിക് പ്രാദേശികവൽക്കരിക്കണം - ആക്രമണസമയത്ത് ട്രാൻസിറ്റ് ഓപ്പറേറ്റർമാർക്ക് ഡീഗ്രേഡ് ചെയ്യാം, ഇതിന്റെ അളവ് പലപ്പോഴും 1Tbps കവിയുന്നു. അറ്റ്ലാന്റിക് അല്ലെങ്കിൽ ട്രാൻസ് ഏഷ്യൻ ലിങ്കുകളിലൂടെ ആക്രമണ ട്രാഫിക് കൊണ്ടുപോകുന്നത് നല്ല ആശയമല്ല. ടയർ-1 ഓപ്പറേറ്റർമാർ പറഞ്ഞപ്പോൾ ഞങ്ങൾക്ക് യഥാർത്ഥ കേസുകൾ ഉണ്ടായിരുന്നു: "നിങ്ങൾക്ക് ലഭിക്കുന്ന ആക്രമണങ്ങളുടെ അളവ് ഞങ്ങൾക്ക് അപകടകരമാണ്." അതുകൊണ്ടാണ് ഇൻകമിംഗ് സ്ട്രീമുകൾ അവയുടെ ഉറവിടങ്ങളോട് കഴിയുന്നത്ര അടുത്ത് ഞങ്ങൾ സ്വീകരിക്കുന്നത്.

• സേവനത്തിന്റെ തുടർച്ചയ്ക്കുള്ള കർശനമായ ആവശ്യകതകൾ - ശുചീകരണ കേന്ദ്രങ്ങൾ അതിവേഗം മാറിക്കൊണ്ടിരിക്കുന്ന നമ്മുടെ ലോകത്ത് പരസ്പരം അല്ലെങ്കിൽ പ്രാദേശിക സംഭവങ്ങളെ ആശ്രയിക്കരുത്. MMTS-11-ന്റെ എല്ലാ 9 നിലകളിലുമുള്ള വൈദ്യുതി നിങ്ങൾ ഒരാഴ്ചത്തേക്ക് വിച്ഛേദിച്ചോ? - ഒരു പ്രശ്നവുമില്ല. ഈ പ്രത്യേക ലൊക്കേഷനിൽ ഫിസിക്കൽ കണക്ഷൻ ഇല്ലാത്ത ഒരു ക്ലയന്റ് പോലും കഷ്ടപ്പെടില്ല, ഒരു സാഹചര്യത്തിലും വെബ് സേവനങ്ങൾ ബാധിക്കില്ല.

ഇതെല്ലാം എങ്ങനെ കൈകാര്യം ചെയ്യാം?

സേവന കോൺഫിഗറേഷനുകൾ എല്ലാ ഫ്രണ്ട് നോഡുകളിലേക്കും കഴിയുന്നത്ര വേഗത്തിൽ വിതരണം ചെയ്യണം (അനുയോജ്യമായ തൽക്ഷണം). നിങ്ങൾക്ക് ടെക്സ്റ്റ് കോൺഫിഗറുകൾ എടുക്കാനും പുനർനിർമ്മിക്കാനും ഓരോ മാറ്റത്തിലും ഡെമണുകൾ റീബൂട്ട് ചെയ്യാനും കഴിയില്ല - അതേ nginx കുറച്ച് മിനിറ്റ് കൂടി (അല്ലെങ്കിൽ ദൈർഘ്യമേറിയ വെബ്‌സോക്കറ്റ് സെഷനുകൾ ഉണ്ടെങ്കിൽ മണിക്കൂറുകളോളം) പ്രക്രിയകൾ ഷട്ട് ഡൗൺ (തൊഴിലാളി ഷട്ട്ഡൗൺ ചെയ്യുന്നു) നിലനിർത്തുന്നു.

nginx കോൺഫിഗറേഷൻ വീണ്ടും ലോഡുചെയ്യുമ്പോൾ, ഇനിപ്പറയുന്ന ചിത്രം തികച്ചും സാധാരണമാണ്:

മെമ്മറി ഉപയോഗത്തെക്കുറിച്ച്:

കണക്ഷനുകളുടെ എണ്ണത്തെ രേഖീയമായി ആശ്രയിക്കാത്ത മെമ്മറി ഉൾപ്പെടെ പഴയ തൊഴിലാളികൾ മെമ്മറി കഴിക്കുന്നു - ഇത് സാധാരണമാണ്. ക്ലയന്റ് കണക്ഷനുകൾ അടയ്ക്കുമ്പോൾ, ഈ മെമ്മറി സ്വതന്ത്രമാകും.

nginx ആരംഭിക്കുമ്പോൾ എന്തുകൊണ്ട് ഇത് ഒരു പ്രശ്നമായിരുന്നില്ല? HTTP/2, വെബ്‌സോക്കറ്റ്, വൻതോതിലുള്ള ലോംഗ് കീപ്-ലൈവ് കണക്ഷനുകൾ എന്നിവ ഉണ്ടായിരുന്നില്ല. ഞങ്ങളുടെ വെബ് ട്രാഫിക്കിന്റെ 70% HTTP/2 ആണ്, അതായത് വളരെ നീണ്ട കണക്ഷനുകൾ.

പരിഹാരം ലളിതമാണ് - nginx ഉപയോഗിക്കരുത്, ടെക്‌സ്‌റ്റ് ഫയലുകളെ അടിസ്ഥാനമാക്കി ഫ്രണ്ടുകൾ നിയന്ത്രിക്കരുത്, കൂടാതെ ട്രാൻസ്‌പാസിഫിക് ചാനലുകളിലൂടെ തീർച്ചയായും zip ചെയ്‌ത ടെക്‌സ്‌റ്റ് കോൺഫിഗറേഷനുകൾ അയയ്‌ക്കരുത്. ചാനലുകൾ തീർച്ചയായും ഗ്യാരണ്ടിയും കരുതലും ഉള്ളവയാണ്, എന്നാൽ അത് അവയെ ഭൂഖണ്ഡാന്തരമാക്കുന്നില്ല.

ഞങ്ങൾക്ക് ഞങ്ങളുടെ സ്വന്തം ഫ്രണ്ട് സെർവർ-ബാലൻസറുണ്ട്, അതിന്റെ ഇന്റേണലുകൾ ഞാൻ ഇനിപ്പറയുന്ന ലേഖനങ്ങളിൽ സംസാരിക്കും. റീസ്റ്റാർട്ട് ചെയ്യാതെ, റീലോഡ് ചെയ്യാതെ, മെമ്മറി ഉപഭോഗത്തിൽ പെട്ടെന്നുള്ള വർദ്ധനവ്, കൂടാതെ എല്ലാം കൂടാതെ ഫ്ലൈയിൽ സെക്കൻഡിൽ ആയിരക്കണക്കിന് കോൺഫിഗറേഷൻ മാറ്റങ്ങൾ പ്രയോഗിക്കുക എന്നതാണ് ഇതിന് ചെയ്യാൻ കഴിയുന്ന പ്രധാന കാര്യം. ഇത് ഹോട്ട് കോഡ് റീലോഡിനോട് വളരെ സാമ്യമുള്ളതാണ്, ഉദാഹരണത്തിന് എർലാങ്ങിൽ. ജിയോ ഡിസ്ട്രിബ്യൂട്ടഡ് കീ-വാല്യൂ ഡാറ്റാബേസിൽ ഡാറ്റ സംഭരിക്കുകയും ഫ്രണ്ട് ആക്യുവേറ്ററുകൾ ഉടൻ വായിക്കുകയും ചെയ്യുന്നു. ആ. മോസ്കോയിലെ വെബ് ഇന്റർഫേസ് അല്ലെങ്കിൽ API വഴി നിങ്ങൾ SSL സർട്ടിഫിക്കറ്റ് അപ്‌ലോഡ് ചെയ്യൂ, കുറച്ച് നിമിഷങ്ങൾക്കുള്ളിൽ അത് ലോസ് ഏഞ്ചൽസിലെ ഞങ്ങളുടെ ക്ലീനിംഗ് സെന്ററിലേക്ക് പോകാൻ തയ്യാറാണ്. പെട്ടെന്ന് ഒരു ലോകമഹായുദ്ധം സംഭവിക്കുകയും ലോകമെമ്പാടും ഇന്റർനെറ്റ് അപ്രത്യക്ഷമാവുകയും ചെയ്താൽ, ലോസ് ഏഞ്ചൽസ്-ആംസ്റ്റർഡാം-മോസ്കോ, മോസ്കോ-ആംസ്റ്റർഡാം-ഹോങ്കോങ്ങ്- എന്ന സമർപ്പിത ചാനലുകളിലൊന്നായ ഉടൻ തന്നെ ഞങ്ങളുടെ നോഡുകൾ സ്വയംഭരണാധികാരത്തോടെ പ്രവർത്തിക്കുകയും തലച്ചോറിന്റെ പിളർപ്പ് നന്നാക്കുകയും ചെയ്യും. ലോസ്-ലോസ് ലഭ്യമാകുന്നു. ഏഞ്ചൽസ് അല്ലെങ്കിൽ കുറഞ്ഞത് GRE ബാക്കപ്പ് ഓവർലേകളിൽ ഒന്ന്.

എൻക്രിപ്റ്റ് ചെയ്യട്ടെ സർട്ടിഫിക്കറ്റുകൾ തൽക്ഷണം നൽകാനും പുതുക്കാനും ഇതേ സംവിധാനം ഞങ്ങളെ അനുവദിക്കുന്നു. വളരെ ലളിതമായി ഇത് ഇതുപോലെ പ്രവർത്തിക്കുന്നു:

1. ഒരു സർട്ടിഫിക്കറ്റ് ഇല്ലാതെ (അല്ലെങ്കിൽ കാലഹരണപ്പെട്ട സർട്ടിഫിക്കറ്റിനൊപ്പം) ഞങ്ങളുടെ ക്ലയന്റിന്റെ ഡൊമെയ്‌നിനായി കുറഞ്ഞത് ഒരു HTTPS അഭ്യർത്ഥനയെങ്കിലും ഞങ്ങൾ കാണുമ്പോൾ, അഭ്യർത്ഥന സ്വീകരിച്ച ബാഹ്യ നോഡ് ഇത് ആന്തരിക സർട്ടിഫിക്കേഷൻ അതോറിറ്റിയെ അറിയിക്കുന്നു.

   

2. ലെറ്റ്സ് എൻക്രിപ്റ്റ് നൽകുന്നത് ഉപയോക്താവ് നിരോധിച്ചിട്ടില്ലെങ്കിൽ, സർട്ടിഫിക്കേഷൻ അതോറിറ്റി ഒരു CSR സൃഷ്ടിക്കുകയും LE-യിൽ നിന്ന് ഒരു സ്ഥിരീകരണ ടോക്കൺ സ്വീകരിക്കുകയും ഒരു എൻക്രിപ്റ്റ് ചെയ്ത ചാനലിലൂടെ എല്ലാ മുന്നണികളിലേക്കും അയയ്ക്കുകയും ചെയ്യുന്നു. ഇപ്പോൾ ഏത് നോഡിനും LE-ൽ നിന്നുള്ള സാധൂകരണ അഭ്യർത്ഥന സ്ഥിരീകരിക്കാൻ കഴിയും.

   

3. കുറച്ച് നിമിഷങ്ങൾക്കുള്ളിൽ, ഞങ്ങൾക്ക് ശരിയായ സർട്ടിഫിക്കറ്റും പ്രൈവറ്റ് കീയും ലഭിക്കുകയും അതേ രീതിയിൽ മുന്നണികളിലേക്ക് അയയ്ക്കുകയും ചെയ്യും. വീണ്ടും, ഡെമണുകൾ പുനരാരംഭിക്കാതെ

   

4. കാലഹരണപ്പെടൽ തീയതിക്ക് 7 ദിവസം മുമ്പ്, സർട്ടിഫിക്കറ്റ് വീണ്ടും സ്വീകരിക്കുന്നതിനുള്ള നടപടിക്രമം ആരംഭിക്കുന്നു

ഇപ്പോൾ ഞങ്ങൾ 350k സർട്ടിഫിക്കറ്റുകൾ തത്സമയം തിരിക്കുക, ഉപയോക്താക്കൾക്ക് പൂർണ്ണമായും സുതാര്യമാണ്.

സീരീസിന്റെ ഇനിപ്പറയുന്ന ലേഖനങ്ങളിൽ, വലിയ വെബ് ട്രാഫിക്കിന്റെ തത്സമയ പ്രോസസ്സിംഗിന്റെ മറ്റ് സവിശേഷതകളെ കുറിച്ച് ഞാൻ സംസാരിക്കും - ഉദാഹരണത്തിന്, ട്രാൻസിറ്റ് ക്ലയന്റുകൾക്കുള്ള സേവനത്തിന്റെ ഗുണനിലവാരം മെച്ചപ്പെടുത്തുന്നതിന് അപൂർണ്ണമായ ഡാറ്റ ഉപയോഗിച്ച് RTT വിശകലനം ചെയ്യുന്നതിനെക്കുറിച്ചും പൊതുവെ ട്രാൻസിറ്റ് ട്രാഫിക്കിനെ സംരക്ഷിക്കുന്നതിനെക്കുറിച്ചും ടെറാബിറ്റ് ആക്രമണങ്ങൾ, ട്രാഫിക് വിവരങ്ങളുടെ ഡെലിവറി, സംഗ്രഹം, WAF, ഏതാണ്ട് അൺലിമിറ്റഡ് CDN, ഉള്ളടക്ക ഡെലിവറി ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിനുള്ള നിരവധി സംവിധാനങ്ങൾ.

രജിസ്റ്റർ ചെയ്ത ഉപയോക്താക്കൾക്ക് മാത്രമേ സർവേയിൽ പങ്കെടുക്കാൻ കഴിയൂ. സൈൻ ഇൻദയവായി.

നിങ്ങൾ ആദ്യം എന്താണ് അറിയാൻ ആഗ്രഹിക്കുന്നത്?

• 14,3%വെബ് ട്രാഫിക്കിന്റെ ഗുണനിലവാരം ക്ലസ്റ്ററിംഗിനും വിശകലനം ചെയ്യുന്നതിനുമുള്ള അൽഗോരിതങ്ങൾ<3

• 33,3%DDoS-Guard7 ബാലൻസറുകളുടെ ആന്തരികഭാഗങ്ങൾ

• 9,5%ട്രാൻസിറ്റ് L3/L4 ട്രാഫിക്കിന്റെ സംരക്ഷണം2

• 0,0%ട്രാൻസിറ്റ് ട്രാഫിക്കിൽ വെബ്‌സൈറ്റുകൾ പരിരക്ഷിക്കുന്നു0

• 14,3%വെബ് ആപ്ലിക്കേഷൻ ഫയർവാൾ3

• 28,6%പാഴ്‌സിംഗ്, ക്ലിക്ക് എന്നിവയ്‌ക്കെതിരായ സംരക്ഷണം6

21 ഉപയോക്താക്കൾ വോട്ട് ചെയ്തു. 6 ഉപയോക്താക്കൾ വിട്ടുനിന്നു.

അവലംബം: www.habr.com