AWS അതിന്റെ ഇലാസ്റ്റിക് സേവനങ്ങൾ എങ്ങനെ പാചകം ചെയ്യുന്നു. നെറ്റ്‌വർക്ക് സ്കെയിലിംഗ്

ആമസോൺ വെബ് സേവന ശൃംഖലയുടെ സ്കെയിൽ ലോകമെമ്പാടുമുള്ള 69 മേഖലകളിലായി 22 സോണുകളാണ്: യുഎസ്എ, യൂറോപ്പ്, ഏഷ്യ, ആഫ്രിക്ക, ഓസ്‌ട്രേലിയ. ഓരോ സോണിലും 8 ഡാറ്റാ സെന്ററുകൾ വരെ അടങ്ങിയിരിക്കുന്നു - ഡാറ്റാ പ്രോസസ്സിംഗ് സെന്ററുകൾ. ഓരോ ഡാറ്റാ സെന്ററിനും ആയിരക്കണക്കിന് അല്ലെങ്കിൽ ലക്ഷക്കണക്കിന് സെർവറുകൾ ഉണ്ട്. സാധ്യതയില്ലാത്ത എല്ലാ ഔട്ടേജ് സാഹചര്യങ്ങളും കണക്കിലെടുക്കുന്ന തരത്തിലാണ് നെറ്റ്‌വർക്ക് രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. ഉദാഹരണത്തിന്, എല്ലാ പ്രദേശങ്ങളും പരസ്പരം വേർതിരിക്കപ്പെടുന്നു, കൂടാതെ നിരവധി കിലോമീറ്റർ ദൂരത്തിൽ പ്രവേശനക്ഷമത മേഖലകൾ വേർതിരിച്ചിരിക്കുന്നു. നിങ്ങൾ കേബിൾ മുറിച്ചാലും, സിസ്റ്റം ബാക്കപ്പ് ചാനലുകളിലേക്ക് മാറും, കൂടാതെ വിവരങ്ങൾ നഷ്ടപ്പെടുന്നത് കുറച്ച് ഡാറ്റ പാക്കറ്റുകളായിരിക്കും. വാസിലി പന്ത്യുഖിൻ നെറ്റ്‌വർക്ക് നിർമ്മിച്ച മറ്റ് തത്വങ്ങളെ കുറിച്ചും അത് എങ്ങനെ രൂപപ്പെടുത്തിയിരിക്കുന്നു എന്നതിനെക്കുറിച്ചും സംസാരിക്കും.

വാസിലി പന്ത്യുഖിൻ .ru കമ്പനികളിൽ Unix അഡ്മിനിസ്ട്രേറ്ററായി തുടങ്ങി, 6 വർഷം വലിയ Sun Microsystem ഹാർഡ്‌വെയറിൽ ജോലി ചെയ്തു, EMC-യിൽ 11 വർഷം ഒരു ഡാറ്റാ കേന്ദ്രീകൃത ലോകം പ്രസംഗിച്ചു. അത് സ്വാഭാവികമായും സ്വകാര്യ മേഘങ്ങളായി പരിണമിച്ചു, പിന്നീട് പൊതുവിലേക്ക് നീങ്ങി. ഇപ്പോൾ, ഒരു ആമസോൺ വെബ് സേവന ആർക്കിടെക്റ്റ് എന്ന നിലയിൽ, AWS ക്ലൗഡിൽ ജീവിക്കാനും വികസിപ്പിക്കാനും സഹായിക്കുന്നതിനുള്ള സാങ്കേതിക ഉപദേശം അദ്ദേഹം നൽകുന്നു.

AWS ട്രൈലോജിയുടെ മുൻ ഭാഗത്ത്, ഫിസിക്കൽ സെർവറുകളുടെയും ഡാറ്റാബേസ് സ്കെയിലിംഗിന്റെയും രൂപകൽപ്പനയിൽ വാസിലി പരിശോധിച്ചു. നൈട്രോ കാർഡുകൾ, ഇഷ്‌ടാനുസൃത കെവിഎം അധിഷ്‌ഠിത ഹൈപ്പർവൈസർ, ആമസോൺ അറോറ ഡാറ്റാബേസ് - ഇതിനെക്കുറിച്ച് മെറ്റീരിയലിൽ "AWS അതിന്റെ ഇലാസ്റ്റിക് സേവനങ്ങൾ എങ്ങനെ പാചകം ചെയ്യുന്നു. സ്കെയിലിംഗ് സെർവറുകളും ഡാറ്റാബേസും" സന്ദർഭത്തിനോ നിരീക്ഷണത്തിനോ വായിക്കുക വീഡിയോടേപ്പ് പ്രസംഗങ്ങൾ.

AWS ലെ ഏറ്റവും സങ്കീർണ്ണമായ സിസ്റ്റങ്ങളിലൊന്നായ നെറ്റ്‌വർക്ക് സ്കെയിലിംഗിൽ ഈ ഭാഗം ശ്രദ്ധ കേന്ദ്രീകരിക്കും. ഒരു ഫ്ലാറ്റ് നെറ്റ്‌വർക്കിൽ നിന്ന് ഒരു വെർച്വൽ പ്രൈവറ്റ് ക്ലൗഡിലേക്കുള്ള പരിണാമവും അതിന്റെ രൂപകൽപ്പനയും, ബ്ലാക്ക്‌ഫൂട്ടിന്റെയും ഹൈപ്പർപ്ലെയ്‌നിന്റെയും ആന്തരിക സേവനങ്ങൾ, ഒരു ശബ്ദായമാനമായ അയൽവാസിയുടെ പ്രശ്‌നം, അവസാനം - നെറ്റ്‌വർക്കിന്റെ സ്കെയിൽ, നട്ടെല്ല്, ഫിസിക്കൽ കേബിളുകൾ. കട്ട് കീഴിൽ ഈ എല്ലാ കുറിച്ച്.

നിരാകരണം: ചുവടെയുള്ളതെല്ലാം വാസിലിയുടെ വ്യക്തിപരമായ അഭിപ്രായമാണ്, അത് ആമസോൺ വെബ് സേവനങ്ങളുടെ സ്ഥാനവുമായി പൊരുത്തപ്പെടണമെന്നില്ല.

നെറ്റ്‌വർക്ക് സ്കെയിലിംഗ്

AWS ക്ലൗഡ് 2006 ലാണ് സമാരംഭിച്ചത്. അദ്ദേഹത്തിന്റെ ശൃംഖല തികച്ചും പ്രാകൃതമായിരുന്നു - പരന്ന ഘടനയോടെ. സ്വകാര്യ വിലാസങ്ങളുടെ ശ്രേണി എല്ലാ ക്ലൗഡ് കുടിയാന്മാർക്കും പൊതുവായിരുന്നു. ഒരു പുതിയ വെർച്വൽ മെഷീൻ ആരംഭിക്കുമ്പോൾ, ഈ ശ്രേണിയിൽ നിന്ന് നിങ്ങൾക്ക് അബദ്ധത്തിൽ ലഭ്യമായ IP വിലാസം ലഭിച്ചു.

ഈ സമീപനം നടപ്പിലാക്കാൻ എളുപ്പമായിരുന്നു, പക്ഷേ അടിസ്ഥാനപരമായി ക്ലൗഡിന്റെ ഉപയോഗം പരിമിതപ്പെടുത്തി. പ്രത്യേകിച്ചും, നിലത്തും AWS-ലും സ്വകാര്യ നെറ്റ്‌വർക്കുകൾ സംയോജിപ്പിച്ച് ഹൈബ്രിഡ് പരിഹാരങ്ങൾ വികസിപ്പിക്കുന്നത് വളരെ ബുദ്ധിമുട്ടായിരുന്നു. IP വിലാസ ശ്രേണികൾ ഓവർലാപ്പ് ചെയ്യുന്നതാണ് ഏറ്റവും സാധാരണമായ പ്രശ്നം.

വെർച്വൽ പ്രൈവറ്റ് ക്ലൗഡ്

മേഘത്തിന് ആവശ്യക്കാരായി മാറി. ദശലക്ഷക്കണക്കിന് കുടിയാന്മാർ സ്കേലബിളിറ്റിയെക്കുറിച്ചും അതിന്റെ ഉപയോഗത്തിന്റെ സാധ്യതയെക്കുറിച്ചും ചിന്തിക്കേണ്ട സമയം അതിക്രമിച്ചിരിക്കുന്നു. പരന്ന ശൃംഖല വലിയ തടസ്സമായി മാറിയിരിക്കുന്നു. അതിനാൽ, നെറ്റ്‌വർക്ക് തലത്തിൽ ഉപയോക്താക്കളെ എങ്ങനെ പരസ്പരം ഒറ്റപ്പെടുത്താം എന്നതിനെക്കുറിച്ച് ഞങ്ങൾ ചിന്തിച്ചു, അതുവഴി അവർക്ക് സ്വതന്ത്രമായി ഐപി ശ്രേണികൾ തിരഞ്ഞെടുക്കാനാകും.

നെറ്റ്‌വർക്ക് ഐസൊലേഷനെ കുറിച്ച് ചിന്തിക്കുമ്പോൾ ആദ്യം മനസ്സിൽ വരുന്നത് എന്താണ്? തീർച്ചയായും VLAN-കൾ и VRF - വെർച്വൽ റൂട്ടിംഗും ഫോർവേഡിംഗും.

നിർഭാഗ്യവശാൽ, അത് പ്രവർത്തിച്ചില്ല. VLAN ഐഡി 12 ബിറ്റുകൾ മാത്രമാണ്, ഇത് ഞങ്ങൾക്ക് 4096 ഒറ്റപ്പെട്ട സെഗ്‌മെന്റുകൾ മാത്രം നൽകുന്നു. ഏറ്റവും വലിയ സ്വിച്ചുകൾക്ക് പോലും പരമാവധി 1-2 ആയിരം VRF-കൾ ഉപയോഗിക്കാം. VRF-ഉം VLAN-ഉം ഒരുമിച്ച് ഉപയോഗിക്കുന്നത് കുറച്ച് ദശലക്ഷം സബ്‌നെറ്റുകൾ മാത്രമാണ്. ദശലക്ഷക്കണക്കിന് വാടകക്കാർക്ക് ഇത് തീർച്ചയായും പര്യാപ്തമല്ല, അവയിൽ ഓരോന്നിനും ഒന്നിലധികം സബ്‌നെറ്റുകൾ ഉപയോഗിക്കാൻ കഴിയണം.

ആവശ്യമായ എണ്ണം വലിയ ബോക്സുകൾ വാങ്ങാൻ ഞങ്ങൾക്ക് കഴിയില്ല, ഉദാഹരണത്തിന്, സിസ്കോയിൽ നിന്നോ ജുനൈപ്പറിൽ നിന്നോ. രണ്ട് കാരണങ്ങളുണ്ട്: ഇത് വളരെ ചെലവേറിയതാണ്, അവരുടെ വികസനത്തിന്റെയും ഒത്തുകളി നയങ്ങളുടെയും കാരുണ്യം ഞങ്ങൾ ആഗ്രഹിക്കുന്നില്ല.

ഒരു നിഗമനം മാത്രമേയുള്ളൂ - നിങ്ങളുടെ സ്വന്തം പരിഹാരം ഉണ്ടാക്കുക.

2009-ൽ ഞങ്ങൾ പ്രഖ്യാപിച്ചു വിപിസി - വെർച്വൽ പ്രൈവറ്റ് ക്ലൗഡ്. പേര് കുടുങ്ങി, ഇപ്പോൾ പല ക്ലൗഡ് ദാതാക്കളും ഇത് ഉപയോഗിക്കുന്നു.

VPC ഒരു വെർച്വൽ നെറ്റ്‌വർക്കാണ് SDN (സോഫ്റ്റ്‌വെയർ നിർവചിക്കപ്പെട്ട നെറ്റ്‌വർക്ക്). L2, L3 തലങ്ങളിൽ പ്രത്യേക പ്രോട്ടോക്കോളുകൾ കണ്ടുപിടിക്കേണ്ടതില്ലെന്ന് ഞങ്ങൾ തീരുമാനിച്ചു. സാധാരണ ഇഥർനെറ്റിലും ഐപിയിലും നെറ്റ്‌വർക്ക് പ്രവർത്തിക്കുന്നു. നെറ്റ്‌വർക്കിലൂടെയുള്ള പ്രക്ഷേപണത്തിനായി, വെർച്വൽ മെഷീൻ ട്രാഫിക് ഞങ്ങളുടെ സ്വന്തം പ്രോട്ടോക്കോൾ റാപ്പറിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്. ഇത് വാടകക്കാരന്റെ VPC-യുടെ ഐഡിയെ സൂചിപ്പിക്കുന്നു.

ലളിതമായി തോന്നുന്നു. എന്നിരുന്നാലും, നിരവധി ഗുരുതരമായ സാങ്കേതിക വെല്ലുവിളികൾ മറികടക്കേണ്ടതുണ്ട്. ഉദാഹരണത്തിന്, വെർച്വൽ MAC/IP വിലാസങ്ങൾ, VPC ID, അനുബന്ധ ഫിസിക്കൽ MAC/IP എന്നിവ മാപ്പിംഗ് ചെയ്യുന്നതിൽ ഡാറ്റ എവിടെ, എങ്ങനെ സംഭരിക്കാം. AWS സ്കെയിലിൽ, ഇത് കുറഞ്ഞ ആക്സസ് കാലതാമസത്തോടെ പ്രവർത്തിക്കേണ്ട ഒരു വലിയ പട്ടികയാണ്. ഇതിന് ഉത്തരവാദി മാപ്പിംഗ് സേവനം, നെറ്റ്‌വർക്കിലുടനീളം നേർത്ത പാളിയിൽ വ്യാപിച്ചിരിക്കുന്നു.

പുതിയ തലമുറ മെഷീനുകളിൽ, ഹാർഡ്‌വെയർ തലത്തിൽ നൈട്രോ കാർഡുകൾ ഉപയോഗിച്ചാണ് എൻക്യാപ്‌സുലേഷൻ നടത്തുന്നത്. പഴയ സന്ദർഭങ്ങളിൽ, എൻക്യാപ്‌സുലേഷനും ഡീകാപ്‌സുലേഷനും സോഫ്റ്റ്‌വെയർ അടിസ്ഥാനമാക്കിയുള്ളതാണ്. 

പൊതുവായി ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് നമുക്ക് നോക്കാം. നമുക്ക് L2 ലെവലിൽ നിന്ന് ആരംഭിക്കാം. 10.0.0.2 ഫിസിക്കൽ സെർവറിൽ IP 192.168.0.3 ഉള്ള ഒരു വെർച്വൽ മെഷീൻ ഉണ്ടെന്ന് നമുക്ക് അനുമാനിക്കാം. ഇത് 10.0.0.3-ൽ ജീവിക്കുന്ന വെർച്വൽ മെഷീനായ 192.168.1.4-ലേക്ക് ഡാറ്റ അയയ്ക്കുന്നു. ഒരു ARP അഭ്യർത്ഥന ജനറേറ്റ് ചെയ്യുകയും നെറ്റ്‌വർക്ക് നൈട്രോ കാർഡിലേക്ക് അയയ്ക്കുകയും ചെയ്യുന്നു. ലാളിത്യത്തിനായി, രണ്ട് വെർച്വൽ മെഷീനുകളും ഒരേ "നീല" VPC-യിലാണ് ജീവിക്കുന്നതെന്ന് ഞങ്ങൾ അനുമാനിക്കുന്നു.

മാപ്പ് ഉറവിട വിലാസത്തെ സ്വന്തം വിലാസം ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കുകയും ARP ഫ്രെയിം മാപ്പിംഗ് സേവനത്തിലേക്ക് കൈമാറുകയും ചെയ്യുന്നു.

മാപ്പിംഗ് സേവനം L2 ഫിസിക്കൽ നെറ്റ്‌വർക്കിലൂടെ പ്രക്ഷേപണം ചെയ്യുന്നതിന് ആവശ്യമായ വിവരങ്ങൾ നൽകുന്നു.

ARP പ്രതികരണത്തിലെ നൈട്രോ കാർഡ് ഫിസിക്കൽ നെറ്റ്‌വർക്കിലെ MAC-ന് പകരം VPC-യിലെ ഒരു വിലാസം നൽകുന്നു.

ഡാറ്റ കൈമാറുമ്പോൾ, ഞങ്ങൾ ലോജിക്കൽ MAC, IP എന്നിവ ഒരു VPC റാപ്പറിൽ പൊതിയുന്നു. ഉചിതമായ ഉറവിടവും ലക്ഷ്യസ്ഥാന ഐപി നൈട്രോ കാർഡുകളും ഉപയോഗിച്ച് ഫിസിക്കൽ നെറ്റ്‌വർക്കിലൂടെ ഞങ്ങൾ ഇതെല്ലാം കൈമാറുന്നു.

പാക്കേജ് നിശ്ചയിച്ചിട്ടുള്ള ഫിസിക്കൽ മെഷീൻ പരിശോധന നടത്തുന്നു. വിലാസം കബളിപ്പിക്കാനുള്ള സാധ്യത തടയാൻ ഇത് ആവശ്യമാണ്. മെഷീൻ മാപ്പിംഗ് സേവനത്തിലേക്ക് ഒരു പ്രത്യേക അഭ്യർത്ഥന അയച്ച് ചോദിക്കുന്നു: "ഫിസിക്കൽ മെഷീനിൽ നിന്ന് 192.168.0.3 നീല VPC-യിൽ 10.0.0.3-ന് ഉദ്ദേശിച്ചുള്ള ഒരു പാക്കറ്റ് എനിക്ക് ലഭിച്ചു. അവൻ നിയമാനുസൃതമാണോ? 

മാപ്പിംഗ് സേവനം അതിന്റെ റിസോഴ്സ് അലോക്കേഷൻ ടേബിൾ പരിശോധിക്കുകയും പാക്കറ്റ് കടന്നുപോകാൻ അനുവദിക്കുകയോ നിരസിക്കുകയോ ചെയ്യുന്നു. എല്ലാ പുതിയ സന്ദർഭങ്ങളിലും, അധിക മൂല്യനിർണ്ണയം നൈട്രോ കാർഡുകളിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്. സൈദ്ധാന്തികമായി പോലും അതിനെ മറികടക്കുക അസാധ്യമാണ്. അതിനാൽ, മറ്റൊരു VPC-യിലെ ഉറവിടങ്ങളിലേക്ക് കബളിപ്പിക്കുന്നത് പ്രവർത്തിക്കില്ല.

അടുത്തതായി, അത് ഉദ്ദേശിച്ചിട്ടുള്ള വെർച്വൽ മെഷീനിലേക്ക് ഡാറ്റ അയയ്ക്കുന്നു. 

വിവിധ സബ്‌നെറ്റുകളിലെ വെർച്വൽ മെഷീനുകൾക്കിടയിൽ ഡാറ്റ കൈമാറുന്നതിനുള്ള ഒരു ലോജിക്കൽ റൂട്ടറായും മാപ്പിംഗ് സേവനം പ്രവർത്തിക്കുന്നു. എല്ലാം ആശയപരമായി ലളിതമാണ്, ഞാൻ വിശദാംശങ്ങളിലേക്ക് പോകില്ല.

ഓരോ പാക്കറ്റും കൈമാറുമ്പോൾ, സെർവറുകൾ മാപ്പിംഗ് സേവനത്തിലേക്ക് തിരിയുന്നുവെന്ന് ഇത് മാറുന്നു. അനിവാര്യമായ കാലതാമസങ്ങളെ എങ്ങനെ കൈകാര്യം ചെയ്യാം? കാഷിംഗ്, തീർച്ചയായും.

വലിയ മേശ മുഴുവൻ കാഷെ ചെയ്യേണ്ടതില്ല എന്നതാണ് ഭംഗി. ഒരു ഫിസിക്കൽ സെർവർ താരതമ്യേന ചെറിയ എണ്ണം VPC-കളിൽ നിന്ന് വെർച്വൽ മെഷീനുകൾ ഹോസ്റ്റുചെയ്യുന്നു. ഈ VPC-കളെ കുറിച്ചുള്ള വിവരങ്ങൾ നിങ്ങൾ കാഷെ ചെയ്യേണ്ടതുണ്ട്. "ഡിഫോൾട്ട്" കോൺഫിഗറേഷനിൽ മറ്റ് VPC-കളിലേക്ക് ഡാറ്റ കൈമാറുന്നത് ഇപ്പോഴും നിയമാനുസൃതമല്ല. VPC-peering പോലെയുള്ള പ്രവർത്തനങ്ങളാണ് ഉപയോഗിക്കുന്നതെങ്കിൽ, അനുബന്ധ VPC-കളെക്കുറിച്ചുള്ള വിവരങ്ങൾ അധികമായി കാഷെയിലേക്ക് ലോഡ് ചെയ്യപ്പെടും. 

VPC-യിലേക്ക് ഡാറ്റ കൈമാറ്റം ഞങ്ങൾ ക്രമീകരിച്ചു.

ബ്ലാക്ക്ഫൂട്ട്

ട്രാഫിക്ക് പുറത്തേക്ക് കൈമാറേണ്ട സന്ദർഭങ്ങളിൽ എന്തുചെയ്യണം, ഉദാഹരണത്തിന് ഇന്റർനെറ്റിലേക്കോ VPN വഴിയോ നിലത്തേക്ക്? ഇവിടെ ഞങ്ങളെ സഹായിക്കുന്നു ബ്ലാക്ക്ഫൂട്ട് - AWS ആന്തരിക സേവനം. ഞങ്ങളുടെ ദക്ഷിണാഫ്രിക്കൻ ടീമാണ് ഇത് വികസിപ്പിച്ചെടുത്തത്. അതുകൊണ്ടാണ് ദക്ഷിണാഫ്രിക്കയിൽ വസിക്കുന്ന പെൻഗ്വിനിന്റെ പേരിലാണ് സേവനത്തിന് പേരിട്ടിരിക്കുന്നത്.

ബ്ലാക്ക്ഫൂട്ട് ട്രാഫിക്കിനെ ഡീകാപ്സുലേറ്റ് ചെയ്യുകയും അത് ഉപയോഗിച്ച് ആവശ്യമുള്ളത് ചെയ്യുകയും ചെയ്യുന്നു. ഡാറ്റ അതേപടി ഇന്റർനെറ്റിലേക്ക് അയയ്ക്കുന്നു.

ഒരു VPN ഉപയോഗിക്കുമ്പോൾ ഡാറ്റ ഡീകാപ്‌സുലേറ്റ് ചെയ്യുകയും IPsec-ൽ വീണ്ടും പൊതിയുകയും ചെയ്യുന്നു.

ഡയറക്ട് കണക്ട് ഉപയോഗിക്കുമ്പോൾ, ട്രാഫിക് ടാഗ് ചെയ്യുകയും ഉചിതമായ VLAN-ലേക്ക് അയയ്ക്കുകയും ചെയ്യുന്നു.

ഹൈപ്പർപ്ലെയ്ൻ

ഇതൊരു ആന്തരിക ഒഴുക്ക് നിയന്ത്രണ സേവനമാണ്. പല നെറ്റ്‌വർക്ക് സേവനങ്ങൾക്കും നിരീക്ഷണം ആവശ്യമാണ് ഡാറ്റ ഫ്ലോ സ്റ്റേറ്റുകൾ. ഉദാഹരണത്തിന്, NAT ഉപയോഗിക്കുമ്പോൾ, ഓരോ IP: ഡെസ്റ്റിനേഷൻ പോർട്ട് ജോഡിക്കും ഒരു അദ്വിതീയ ഔട്ട്‌ഗോയിംഗ് പോർട്ട് ഉണ്ടെന്ന് ഫ്ലോ നിയന്ത്രണം ഉറപ്പാക്കണം. ഒരു ബാലൻസറിന്റെ കാര്യത്തിൽ എൻ.എൽ.ബി - നെറ്റ്‌വർക്ക് ലോഡ് ബാലൻസർ, ഡാറ്റാ ഫ്ലോ എല്ലായ്പ്പോഴും ഒരേ ടാർഗെറ്റ് വെർച്വൽ മെഷീനിലേക്ക് നയിക്കണം. സുരക്ഷാ ഗ്രൂപ്പുകൾ ഒരു സംസ്ഥാന ഫയർവാളാണ്. ഇത് ഇൻകമിംഗ് ട്രാഫിക്കിനെ നിരീക്ഷിക്കുകയും ഔട്ട്‌ഗോയിംഗ് പാക്കറ്റ് ഫ്ലോയ്‌ക്കായി പോർട്ടുകൾ പരോക്ഷമായി തുറക്കുകയും ചെയ്യുന്നു.

AWS ക്ലൗഡിൽ, ട്രാൻസ്മിഷൻ ലേറ്റൻസി ആവശ്യകതകൾ വളരെ ഉയർന്നതാണ്. അതുകൊണ്ടാണ് ഹൈപ്പർപ്ലെയ്ൻ മുഴുവൻ നെറ്റ്‌വർക്കിന്റെയും പ്രകടനത്തിന് നിർണായകമാണ്.

EC2 വെർച്വൽ മെഷീനുകളിലാണ് ഹൈപ്പർപ്ലെയ്ൻ നിർമ്മിച്ചിരിക്കുന്നത്. ഇവിടെ മാന്ത്രികതയില്ല, തന്ത്രം മാത്രം. വലിയ റാം ഉള്ള വെർച്വൽ മെഷീനുകളാണ് ഇവ എന്നതാണ് തന്ത്രം. പ്രവർത്തനങ്ങൾ ഇടപാട് നടത്തുകയും മെമ്മറിയിൽ മാത്രമായി നടത്തുകയും ചെയ്യുന്നു. പതിനായിരക്കണക്കിന് മൈക്രോസെക്കൻഡുകളുടെ കാലതാമസം നേടാൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു. ഡിസ്കിൽ പ്രവർത്തിക്കുന്നത് എല്ലാ ഉൽപ്പാദനക്ഷമതയും ഇല്ലാതാക്കും. 

അത്തരം EC2 മെഷീനുകളുടെ ഒരു വിതരണ സംവിധാനമാണ് ഹൈപ്പർപ്ലെയ്ൻ. ഓരോ വെർച്വൽ മെഷീനും 5 GB/s ബാൻഡ്‌വിഡ്ത്ത് ഉണ്ട്. പ്രാദേശിക നെറ്റ്‌വർക്കിലുടനീളം, ഇത് ബാൻഡ്‌വിഡ്‌ത്തിന്റെ അവിശ്വസനീയമായ ടെറാബിറ്റുകൾ നൽകുകയും പ്രോസസ്സിംഗ് അനുവദിക്കുകയും ചെയ്യുന്നു സെക്കൻഡിൽ ദശലക്ഷക്കണക്കിന് കണക്ഷനുകൾ.

ഹൈപ്പർപ്ലെയ്ൻ സ്ട്രീമുകളിൽ മാത്രമേ പ്രവർത്തിക്കൂ. VPC പാക്കറ്റ് എൻക്യാപ്‌സുലേഷൻ ഇതിന് പൂർണ്ണമായും സുതാര്യമാണ്. ഈ ആന്തരിക സേവനത്തിലെ ഒരു അപകടസാധ്യത ഇപ്പോഴും VPC ഒറ്റപ്പെടലിനെ തകർക്കുന്നതിൽ നിന്ന് തടയും. താഴെയുള്ള ലെവലുകൾ സുരക്ഷയുടെ ഉത്തരവാദിത്തമാണ്.

ബഹളമയ അയൽക്കാരൻ

ഇപ്പോഴും ഒരു പ്രശ്നമുണ്ട് ശബ്ദായമാനമായ അയൽക്കാരൻ - ശബ്ദായമാനമായ അയൽക്കാരൻ. നമുക്ക് 8 നോഡുകൾ ഉണ്ടെന്ന് കരുതുക. ഈ നോഡുകൾ എല്ലാ ക്ലൗഡ് ഉപയോക്താക്കളുടെയും ഫ്ലോകൾ പ്രോസസ്സ് ചെയ്യുന്നു. എല്ലാം ശരിയാണെന്ന് തോന്നുന്നു, ലോഡ് എല്ലാ നോഡുകളിലും തുല്യമായി വിതരണം ചെയ്യണം. നോഡുകൾ വളരെ ശക്തമാണ്, അവ ഓവർലോഡ് ചെയ്യുന്നത് ബുദ്ധിമുട്ടാണ്.

എന്നാൽ സാധ്യതയില്ലാത്ത സാഹചര്യങ്ങളെപ്പോലും അടിസ്ഥാനമാക്കിയാണ് ഞങ്ങൾ ഞങ്ങളുടെ വാസ്തുവിദ്യ നിർമ്മിക്കുന്നത്. 

കുറഞ്ഞ സാധ്യത എന്നത് അസാധ്യമാണെന്ന് അർത്ഥമാക്കുന്നില്ല.

ഒന്നോ അതിലധികമോ ഉപയോക്താക്കൾ വളരെയധികം ലോഡ് സൃഷ്ടിക്കുന്ന ഒരു സാഹചര്യം നമുക്ക് ഊഹിക്കാം. എല്ലാ ഹൈപ്പർപ്ലെയ്ൻ നോഡുകളും ഈ ലോഡ് പ്രോസസ്സ് ചെയ്യുന്നതിൽ ഏർപ്പെട്ടിരിക്കുന്നു, മറ്റ് ഉപയോക്താക്കൾക്ക് ഏതെങ്കിലും തരത്തിലുള്ള പ്രകടന ഹിറ്റ് അനുഭവിക്കാൻ സാധ്യതയുണ്ട്. ഇത് ക്ലൗഡ് എന്ന ആശയത്തെ തകർക്കുന്നു, അതിൽ കുടിയാന്മാർക്ക് പരസ്പരം സ്വാധീനിക്കാനുള്ള കഴിവില്ല.

ശബ്ദായമാനമായ അയൽക്കാരന്റെ പ്രശ്നം എങ്ങനെ പരിഹരിക്കാം? ആദ്യം മനസ്സിൽ വരുന്നത് ഷാർഡിംഗ് ആണ്. ഞങ്ങളുടെ 8 നോഡുകൾ യുക്തിപരമായി 4 നോഡുകൾ വീതമുള്ള 2 ഷാർഡുകളായി തിരിച്ചിരിക്കുന്നു. ഇപ്പോൾ ശബ്ദായമാനമായ ഒരു അയൽക്കാരൻ എല്ലാ ഉപയോക്താക്കളുടെയും നാലിലൊന്ന് മാത്രമേ ശല്യപ്പെടുത്തൂ, പക്ഷേ അത് അവരെ വളരെയധികം ശല്യപ്പെടുത്തും.

നമുക്ക് കാര്യങ്ങൾ വ്യത്യസ്തമായി ചെയ്യാം. ഓരോ ഉപയോക്താവിനും ഞങ്ങൾ 3 നോഡുകൾ മാത്രമേ അനുവദിക്കൂ. 

വ്യത്യസ്ത ഉപയോക്താക്കൾക്ക് ക്രമരഹിതമായി നോഡുകൾ നൽകുക എന്നതാണ് തന്ത്രം. ചുവടെയുള്ള ചിത്രത്തിൽ, നീല ഉപയോക്താവ് മറ്റ് രണ്ട് ഉപയോക്താക്കളിൽ ഒരാളുമായി നോഡുകൾ വിഭജിക്കുന്നു - പച്ചയും ഓറഞ്ചും.

8 നോഡുകളും 3 ഉപയോക്താക്കളും ഉള്ളതിനാൽ, ശബ്ദമുള്ള അയൽക്കാരൻ ഉപയോക്താക്കളിൽ ഒരാളുമായി വിഭജിക്കാനുള്ള സാധ്യത 54% ആണ്. ഈ സംഭാവ്യതയോടെയാണ് ഒരു നീല ഉപയോക്താവ് മറ്റ് വാടകക്കാരെ സ്വാധീനിക്കുന്നത്. അതേ സമയം, അതിന്റെ ലോഡിന്റെ ഒരു ഭാഗം മാത്രം. ഞങ്ങളുടെ ഉദാഹരണത്തിൽ, ഈ സ്വാധീനം എല്ലാവർക്കുമായി എങ്ങനെയെങ്കിലും ശ്രദ്ധിക്കപ്പെടും, പക്ഷേ എല്ലാ ഉപയോക്താക്കളിൽ മൂന്നിലൊന്ന് പേർക്ക് മാത്രമേ കാണാനാകൂ. ഇത് ഇതിനകം ഒരു നല്ല ഫലമാണ്.

വിഭജിക്കുന്ന ഉപയോക്താക്കളുടെ എണ്ണം

ശതമാനത്തിൽ സാധ്യത

0

18%

1

54%

2

26%

3

2%

സാഹചര്യം യാഥാർത്ഥ്യത്തിലേക്ക് അടുപ്പിക്കാം - നമുക്ക് 100 നോഡുകളും 5 ഉപയോക്താക്കളും 5 നോഡുകളിൽ എടുക്കാം. ഈ സാഹചര്യത്തിൽ, നോഡുകളൊന്നും 77% പ്രോബബിലിറ്റിയുമായി വിഭജിക്കില്ല. 

വിഭജിക്കുന്ന ഉപയോക്താക്കളുടെ എണ്ണം

ശതമാനത്തിൽ സാധ്യത

0

77%

1

21%

2

1,8%

3

0,06%

4

0,0006%

5

0,00000013%

ഒരു യഥാർത്ഥ സാഹചര്യത്തിൽ, ധാരാളം ഹൈപ്പർപ്ലെയ്ൻ നോഡുകളും ഉപയോക്താക്കളും ഉള്ളതിനാൽ, മറ്റ് ഉപയോക്താക്കളിൽ ശബ്ദമുണ്ടാക്കുന്ന അയൽക്കാരന്റെ സാധ്യത വളരെ കുറവാണ്. ഈ രീതിയെ വിളിക്കുന്നു മിക്സിംഗ് ഷാർഡിംഗ് - ഷഫിൾ ഷാർഡിംഗ്. ഇത് നോഡ് പരാജയത്തിന്റെ നെഗറ്റീവ് പ്രഭാവം കുറയ്ക്കുന്നു.

പല സേവനങ്ങളും ഹൈപ്പർപ്ലെയ്‌നിന്റെ അടിസ്ഥാനത്തിലാണ് നിർമ്മിച്ചിരിക്കുന്നത്: നെറ്റ്‌വർക്ക് ലോഡ് ബാലൻസർ, NAT ഗേറ്റ്‌വേ, ആമസോൺ EFS, AWS പ്രൈവറ്റ് ലിങ്ക്, AWS ട്രാൻസിറ്റ് ഗേറ്റ്‌വേ.

നെറ്റ്‌വർക്ക് സ്കെയിൽ

ഇനി നമുക്ക് നെറ്റ്‌വർക്കിന്റെ സ്കെയിലിനെക്കുറിച്ച് സംസാരിക്കാം. 2019 ഒക്ടോബറിൽ AWS അതിന്റെ സേവനങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു 22 മേഖലകൾ, കൂടാതെ 9 എണ്ണം കൂടി ആസൂത്രണം ചെയ്തിട്ടുണ്ട്.

• ഓരോ മേഖലയിലും നിരവധി ലഭ്യത സോണുകൾ അടങ്ങിയിരിക്കുന്നു. അവയിൽ 69 എണ്ണം ലോകമെമ്പാടും ഉണ്ട്.
• ഓരോ AZ-ലും ഡാറ്റാ പ്രോസസ്സിംഗ് സെന്ററുകൾ അടങ്ങിയിരിക്കുന്നു. ആകെ 8 എണ്ണത്തിൽ കൂടുതൽ ഇല്ല.
• ഡാറ്റാ സെന്ററിൽ ധാരാളം സെർവറുകൾ ഉണ്ട്, ചിലത് 300 വരെ.

ഇപ്പോൾ നമുക്ക് ഇതെല്ലാം ശരാശരി നോക്കാം, ഗുണിച്ച് പ്രതിഫലിപ്പിക്കുന്ന ഒരു ശ്രദ്ധേയമായ ചിത്രം നേടുക ആമസോൺ ക്ലൗഡ് സ്കെയിൽ.

ലഭ്യത സോണുകളും ഡാറ്റാ സെന്ററും തമ്മിൽ നിരവധി ഒപ്റ്റിക്കൽ ലിങ്കുകൾ ഉണ്ട്. ഞങ്ങളുടെ ഏറ്റവും വലിയ പ്രദേശങ്ങളിലൊന്നിൽ, പരസ്പരം AZ ആശയവിനിമയത്തിനും മറ്റ് പ്രദേശങ്ങളുമായുള്ള ആശയവിനിമയ കേന്ദ്രങ്ങൾക്കും (ട്രാൻസിറ്റ് സെന്ററുകൾ) 388 ചാനലുകൾ സ്ഥാപിച്ചിട്ടുണ്ട്. മൊത്തത്തിൽ ഇത് ഭ്രാന്ത് നൽകുന്നു 5000 ടിബിറ്റ്.

ബാക്ക്‌ബോൺ AWS ക്ലൗഡിനായി പ്രത്യേകമായി നിർമ്മിച്ചതും ഒപ്റ്റിമൈസ് ചെയ്തതുമാണ്. ഞങ്ങൾ അത് ചാനലുകളിൽ നിർമ്മിക്കുന്നു 100 GB / s. ചൈനയിലെ പ്രദേശങ്ങൾ ഒഴികെ ഞങ്ങൾ അവയെ പൂർണ്ണമായും നിയന്ത്രിക്കുന്നു. മറ്റ് കമ്പനികളുടെ ലോഡുകളുമായി ട്രാഫിക് പങ്കിടില്ല.

തീർച്ചയായും, ഒരു സ്വകാര്യ നട്ടെല്ലുള്ള നെറ്റ്‌വർക്കുള്ള ഒരേയൊരു ക്ലൗഡ് ദാതാവ് ഞങ്ങൾ മാത്രമല്ല. കൂടുതൽ വലിയ കമ്പനികൾ ഈ പാത പിന്തുടരുന്നു. സ്വതന്ത്ര ഗവേഷകർ ഇത് സ്ഥിരീകരിക്കുന്നു, ഉദാഹരണത്തിന് ടെലിജോഗ്രഫി.

ഉള്ളടക്ക ദാതാക്കളുടെയും ക്ലൗഡ് ദാതാക്കളുടെയും പങ്ക് വളരുകയാണെന്ന് ഗ്രാഫ് കാണിക്കുന്നു. ഇക്കാരണത്താൽ, നട്ടെല്ല് ദാതാക്കളുടെ ഇന്റർനെറ്റ് ട്രാഫിക്കിന്റെ പങ്ക് നിരന്തരം കുറയുന്നു.

എന്തുകൊണ്ടാണ് ഇത് സംഭവിക്കുന്നതെന്ന് ഞാൻ വിശദീകരിക്കും. മുമ്പ്, മിക്ക വെബ് സേവനങ്ങളും ഇൻറർനെറ്റിൽ നിന്ന് നേരിട്ട് ആക്സസ് ചെയ്യാവുന്നതും ഉപഭോഗം ചെയ്യുന്നവുമായിരുന്നു. ഇക്കാലത്ത്, കൂടുതൽ കൂടുതൽ സെർവറുകൾ ക്ലൗഡിൽ സ്ഥിതിചെയ്യുന്നു, അവ വഴി ആക്‌സസ് ചെയ്യാനാകും CDN - ഉള്ളടക്ക വിതരണ ശൃംഖല. ഒരു റിസോഴ്‌സ് ആക്‌സസ് ചെയ്യുന്നതിന്, ഉപയോക്താവ് ഏറ്റവും അടുത്തുള്ള CDN PoP-ലേക്ക് മാത്രം ഇന്റർനെറ്റ് വഴി പോകുന്നു - സാന്നിധ്യത്തിന്റെ പോയിന്റ്. മിക്കപ്പോഴും ഇത് അടുത്തുള്ള എവിടെയോ ആണ്. പിന്നീട് അത് പൊതു ഇന്റർനെറ്റ് ഉപേക്ഷിച്ച് അറ്റ്ലാന്റിക്കിലുടനീളം ഒരു സ്വകാര്യ നട്ടെല്ലിലൂടെ പറക്കുന്നു, ഉദാഹരണത്തിന്, നേരിട്ട് റിസോഴ്സിലേക്ക് എത്തുന്നു.

ഈ പ്രവണത തുടർന്നാൽ 10 വർഷത്തിനുള്ളിൽ ഇന്റർനെറ്റ് എങ്ങനെ മാറുമെന്ന് ഞാൻ അത്ഭുതപ്പെടുന്നു?

ഫിസിക്കൽ ചാനലുകൾ

പ്രപഞ്ചത്തിൽ പ്രകാശത്തിന്റെ വേഗത എങ്ങനെ വർദ്ധിപ്പിക്കാമെന്ന് ശാസ്ത്രജ്ഞർ ഇതുവരെ കണ്ടെത്തിയിട്ടില്ല, എന്നാൽ ഒപ്റ്റിക്കൽ ഫൈബറിലൂടെ അത് കൈമാറുന്ന രീതികളിൽ അവർ വലിയ പുരോഗതി കൈവരിച്ചു. ഞങ്ങൾ നിലവിൽ 6912 ഫൈബർ കേബിളുകൾ ഉപയോഗിക്കുന്നു. ഇത് അവരുടെ ഇൻസ്റ്റാളേഷന്റെ വില ഗണ്യമായി ഒപ്റ്റിമൈസ് ചെയ്യാൻ സഹായിക്കുന്നു.

ചില പ്രദേശങ്ങളിൽ ഞങ്ങൾ പ്രത്യേക കേബിളുകൾ ഉപയോഗിക്കേണ്ടതുണ്ട്. ഉദാഹരണത്തിന്, സിഡ്നി മേഖലയിൽ ഞങ്ങൾ ടെർമിറ്റുകൾക്കെതിരെ ഒരു പ്രത്യേക കോട്ടിംഗ് ഉള്ള കേബിളുകൾ ഉപയോഗിക്കുന്നു. 

പ്രശ്‌നങ്ങളിൽ നിന്ന് ആരും മുക്തരല്ല, ചിലപ്പോൾ നമ്മുടെ ചാനലുകൾ തകരാറിലാകും. നിർമ്മാണ തൊഴിലാളികൾ കീറിമുറിച്ച അമേരിക്കൻ പ്രദേശങ്ങളിലൊന്നിലെ ഒപ്റ്റിക്കൽ കേബിളുകൾ വലതുവശത്തുള്ള ഫോട്ടോ കാണിക്കുന്നു. അപകടത്തെത്തുടർന്ന് 13 ഡാറ്റാ പാക്കറ്റുകൾ മാത്രമാണ് നഷ്ടപ്പെട്ടത് എന്നത് ആശ്ചര്യകരമാണ്. ഒരിക്കൽ കൂടി - 13 മാത്രം! സിസ്റ്റം അക്ഷരാർത്ഥത്തിൽ ബാക്കപ്പ് ചാനലുകളിലേക്ക് മാറി - സ്കെയിൽ പ്രവർത്തിക്കുന്നു.

ആമസോണിന്റെ ചില ക്ലൗഡ് സേവനങ്ങളിലൂടെയും സാങ്കേതികവിദ്യകളിലൂടെയും ഞങ്ങൾ കുതിച്ചു. ഞങ്ങളുടെ എഞ്ചിനീയർമാർ പരിഹരിക്കേണ്ട ജോലികളുടെ സ്കെയിലിനെക്കുറിച്ച് നിങ്ങൾക്ക് കുറച്ച് ധാരണയെങ്കിലും ഉണ്ടെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു. വ്യക്തിപരമായി, എനിക്ക് ഇത് വളരെ ആവേശകരമായി തോന്നുന്നു. 

AWS ഉപകരണത്തെക്കുറിച്ചുള്ള വാസിലി പന്ത്യുഖിന്റെ ട്രൈലോജിയുടെ അവസാന ഭാഗമാണിത്. IN ആദ്യത്തേത് ഭാഗങ്ങൾ സെർവർ ഒപ്റ്റിമൈസേഷനും ഡാറ്റാബേസ് സ്കെയിലിംഗും വിവരിക്കുന്നു രണ്ടാമത്തേത് - സെർവർലെസ് ഫംഗ്‌ഷനുകളും ഫയർക്രാക്കറും.

ഓൺ ഹൈലോഡ്++ നവംബറിൽ Vasily Pantyukhin ആമസോൺ ഉപകരണത്തിന്റെ പുതിയ വിശദാംശങ്ങൾ പങ്കിടും. അവൻ പറയും പരാജയങ്ങളുടെ കാരണങ്ങളെക്കുറിച്ചും ആമസോണിലെ വിതരണ സംവിധാനങ്ങളുടെ രൂപകൽപ്പനയെക്കുറിച്ചും. ഒക്ടോബർ 24 ഇപ്പോഴും സാധ്യമാണ് ബുക്ക് ചെയ്യാൻ നല്ല നിരക്കിൽ ടിക്കറ്റ്, പിന്നീട് പണം നൽകുക. ഞങ്ങൾ നിങ്ങൾക്കായി HighLoad++ ൽ കാത്തിരിക്കുകയാണ്, വരൂ, നമുക്ക് ചാറ്റ് ചെയ്യാം!

അവലംബം: www.habr.com