AWS അതിന്റെ ഇലാസ്റ്റിക് സേവനങ്ങൾ എങ്ങനെ പാചകം ചെയ്യുന്നു. സ്കെയിലിംഗ് സെർവറുകളും ഡാറ്റാബേസും

മേഘങ്ങൾ ഒരു മാജിക് ബോക്‌സ് പോലെയാണ് - നിങ്ങൾക്ക് എന്താണ് വേണ്ടതെന്ന് നിങ്ങൾ ചോദിക്കുന്നു, കൂടാതെ ഉറവിടങ്ങൾ എവിടെയും നിന്ന് ദൃശ്യമാകും. വെർച്വൽ മെഷീനുകൾ, ഡാറ്റാബേസുകൾ, നെറ്റ്‌വർക്ക് - ഇതെല്ലാം നിങ്ങൾക്ക് മാത്രം അവകാശപ്പെട്ടതാണ്. മറ്റ് ക്ലൗഡ് കുടിയാന്മാരുണ്ട്, എന്നാൽ നിങ്ങളുടെ പ്രപഞ്ചത്തിലെ ഏക ഭരണാധികാരി നിങ്ങളാണ്. നിങ്ങൾക്ക് എല്ലായ്പ്പോഴും ആവശ്യമായ ഉറവിടങ്ങൾ ലഭിക്കുമെന്ന് നിങ്ങൾക്ക് ഉറപ്പുണ്ട്, നിങ്ങൾ ആരെയും കണക്കിലെടുക്കുന്നില്ല, കൂടാതെ നെറ്റ്‌വർക്ക് എങ്ങനെയായിരിക്കുമെന്ന് നിങ്ങൾ സ്വതന്ത്രമായി നിർണ്ണയിക്കുന്നു. ക്ലൗഡ് ഇലാസ്റ്റിക് ആയി വിഭവങ്ങൾ അനുവദിക്കുകയും കുടിയാന്മാരെ പരസ്പരം പൂർണ്ണമായും ഒറ്റപ്പെടുത്തുകയും ചെയ്യുന്ന ഈ മാജിക് എങ്ങനെ പ്രവർത്തിക്കും?

2006 മുതൽ പരിണാമപരമായി വികസിച്ചുകൊണ്ടിരിക്കുന്ന ഒരു മെഗാ-സൂപ്പർ കോംപ്ലക്സ് സിസ്റ്റമാണ് AWS ക്ലൗഡ്. ഇതിന്റെ ഭാഗമാണ് വികസനം നടന്നത് വാസിലി പന്ത്യുഖിൻ - ആമസോൺ വെബ് സർവീസസ് ആർക്കിടെക്റ്റ്. ഒരു ആർക്കിടെക്റ്റ് എന്ന നിലയിൽ, അന്തിമഫലത്തിൽ മാത്രമല്ല, AWS മറികടക്കുന്ന വെല്ലുവിളികളിലും അയാൾക്ക് ഒരു ഉൾക്കാഴ്ച ലഭിക്കുന്നു. സിസ്റ്റം എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതിനെക്കുറിച്ചുള്ള കൂടുതൽ ധാരണ, വിശ്വാസ്യത വർദ്ധിക്കുന്നു. അതിനാൽ, AWS ക്ലൗഡ് സേവനങ്ങളുടെ രഹസ്യങ്ങൾ വാസിലി പങ്കിടും. ഫിസിക്കൽ AWS സെർവറുകളുടെ രൂപകൽപ്പന, ഇലാസ്റ്റിക് ഡാറ്റാബേസ് സ്കേലബിലിറ്റി, ഒരു ഇഷ്‌ടാനുസൃത ആമസോൺ ഡാറ്റാബേസ്, വെർച്വൽ മെഷീനുകളുടെ പ്രകടനം വർദ്ധിപ്പിക്കുന്നതിനുള്ള രീതികൾ എന്നിവയും ഒരേസമയം അവയുടെ വില കുറയ്ക്കുന്നതിനുള്ള രീതികളും ചുവടെയുണ്ട്. ആമസോണിന്റെ വാസ്തുവിദ്യാ സമീപനങ്ങളെക്കുറിച്ചുള്ള അറിവ് AWS സേവനങ്ങൾ കൂടുതൽ ഫലപ്രദമായി ഉപയോഗിക്കാൻ നിങ്ങളെ സഹായിക്കുകയും നിങ്ങളുടെ സ്വന്തം പരിഹാരങ്ങൾ നിർമ്മിക്കുന്നതിനുള്ള പുതിയ ആശയങ്ങൾ നൽകുകയും ചെയ്തേക്കാം.

പ്രഭാഷകനെ കുറിച്ച്: വാസിലി പന്ത്യുഖിൻ (ഹെൻ.ru കമ്പനികളിൽ Unix അഡ്മിൻ ആയി തുടങ്ങി, 6 വർഷം വലിയ Sun Microsystem ഹാർഡ്‌വെയറിൽ പ്രവർത്തിച്ചു, 11 വർഷം EMC-ൽ ഒരു ഡാറ്റാ കേന്ദ്രീകൃത ലോകം പ്രസംഗിച്ചു. ഇത് സ്വാഭാവികമായും സ്വകാര്യ മേഘങ്ങളായി പരിണമിച്ചു, 2017 ൽ പൊതുവിലേക്ക് മാറി. AWS ക്ലൗഡിൽ ജീവിക്കാനും വികസിപ്പിക്കാനും സഹായിക്കുന്നതിന് ഇപ്പോൾ അദ്ദേഹം സാങ്കേതിക ഉപദേശം നൽകുന്നു.

നിരാകരണം: ചുവടെയുള്ളതെല്ലാം വാസിലിയുടെ വ്യക്തിപരമായ അഭിപ്രായമാണ്, അത് ആമസോൺ വെബ് സേവനങ്ങളുടെ സ്ഥാനവുമായി പൊരുത്തപ്പെടണമെന്നില്ല. വീഡിയോ റെക്കോർഡിംഗ് ലേഖനത്തെ അടിസ്ഥാനമാക്കിയുള്ള റിപ്പോർട്ട് ഞങ്ങളുടെ YouTube ചാനലിൽ ലഭ്യമാണ്.

എന്തുകൊണ്ടാണ് ഞാൻ ആമസോൺ ഉപകരണത്തെക്കുറിച്ച് സംസാരിക്കുന്നത്?

എന്റെ ആദ്യത്തെ കാറിന് മാനുവൽ ട്രാൻസ്മിഷൻ ഉണ്ടായിരുന്നു. എനിക്ക് കാർ ഓടിക്കാനും അതിന്റെ മേൽ പൂർണ്ണ നിയന്ത്രണം നൽകാനും കഴിയുമെന്ന തോന്നൽ കാരണം ഇത് മികച്ചതായിരുന്നു. അതിന്റെ പ്രവർത്തന തത്വം ഞാൻ ഏകദേശം മനസ്സിലാക്കിയിരുന്നതും ഞാൻ ഇഷ്ടപ്പെട്ടു. സ്വാഭാവികമായും, ബോക്‌സിന്റെ ഘടന തികച്ചും പ്രാകൃതമാണെന്ന് ഞാൻ സങ്കൽപ്പിച്ചു - സൈക്കിളിലെ ഗിയർബോക്‌സ് പോലെയുള്ള ഒന്ന്.

ഒരു കാര്യം ഒഴികെ എല്ലാം മികച്ചതായിരുന്നു - ഗതാഗതക്കുരുക്കിൽ കുടുങ്ങി. നിങ്ങൾ ഒന്നും ചെയ്യാതെ ഇരിക്കുകയാണെന്ന് തോന്നുന്നു, പക്ഷേ നിങ്ങൾ നിരന്തരം ഗിയർ മാറ്റുന്നു, ക്ലച്ച്, ഗ്യാസ്, ബ്രേക്ക് എന്നിവ അമർത്തുന്നു - ഇത് നിങ്ങളെ ശരിക്കും ക്ഷീണിപ്പിക്കുന്നു. കുടുംബത്തിന് ഓട്ടോമാറ്റിക് കാർ ലഭിച്ചതോടെ ഗതാഗതക്കുരുക്കിന് ഭാഗികമായി പരിഹാരമായി. ഡ്രൈവ് ചെയ്യുന്നതിനിടയിൽ, എനിക്ക് എന്തെങ്കിലും ചിന്തിക്കാനും ഓഡിയോബുക്ക് കേൾക്കാനും സമയമുണ്ടായിരുന്നു.

എന്റെ ജീവിതത്തിൽ മറ്റൊരു രഹസ്യം പ്രത്യക്ഷപ്പെട്ടു, കാരണം എന്റെ കാർ എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് മനസ്സിലാക്കുന്നത് ഞാൻ പൂർണ്ണമായും നിർത്തി. ഒരു ആധുനിക കാർ ഒരു സങ്കീർണ്ണ ഉപകരണമാണ്. കാർ ഒരേസമയം ഡസൻ കണക്കിന് വ്യത്യസ്ത പാരാമീറ്ററുകളുമായി പൊരുത്തപ്പെടുന്നു: ഗ്യാസ് അമർത്തൽ, ബ്രേക്ക്, ഡ്രൈവിംഗ് ശൈലി, റോഡ് ഗുണനിലവാരം. ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് എനിക്ക് മനസ്സിലാകുന്നില്ല.

ഞാൻ ആമസോൺ ക്ലൗഡിൽ പ്രവർത്തിക്കാൻ തുടങ്ങിയപ്പോൾ, അത് എനിക്കും ഒരു നിഗൂഢതയായിരുന്നു. ഈ നിഗൂഢത മാത്രമാണ് വലിയൊരു ക്രമം, കാരണം കാറിൽ ഒരു ഡ്രൈവർ മാത്രമേയുള്ളൂ, കൂടാതെ AWS-ൽ ദശലക്ഷക്കണക്കിന് ഉണ്ട്. എല്ലാ ഉപയോക്താക്കളും ഒരേസമയം ഗ്യാസും ബ്രേക്കും അമർത്തുക. അവർ ആഗ്രഹിക്കുന്നിടത്ത് അവർ പോകുന്നത് അതിശയകരമാണ് - ഇത് എനിക്ക് ഒരു അത്ഭുതമാണ്! ഓരോ ഉപയോക്താവിനും ഈ സിസ്റ്റം സ്വയമേവ പൊരുത്തപ്പെടുത്തുകയും സ്കെയിൽ ചെയ്യുകയും ഇലാസ്റ്റിക് ആയി ക്രമീകരിക്കുകയും ചെയ്യുന്നു, അതുവഴി അവൻ ഈ പ്രപഞ്ചത്തിൽ തനിച്ചാണെന്ന് അയാൾക്ക് തോന്നുന്നു.

പിന്നീട് ആമസോണിൽ ആർക്കിടെക്റ്റായി ജോലിയിൽ പ്രവേശിച്ചപ്പോൾ മാജിക് അൽപ്പം കുറഞ്ഞു. ഞങ്ങൾ നേരിടുന്ന പ്രശ്‌നങ്ങൾ എന്തൊക്കെയാണെന്നും അവ എങ്ങനെ പരിഹരിക്കാമെന്നും ഞങ്ങൾ എങ്ങനെ സേവനങ്ങൾ വികസിപ്പിക്കുന്നുവെന്നും ഞാൻ കണ്ടു. സിസ്റ്റം എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതിനെക്കുറിച്ചുള്ള കൂടുതൽ ധാരണയോടെ, സേവനത്തിൽ കൂടുതൽ ആത്മവിശ്വാസം ദൃശ്യമാകുന്നു. അതിനാൽ AWS ക്ലൗഡിന് കീഴിലുള്ളതിന്റെ ഒരു ചിത്രം പങ്കിടാൻ ഞാൻ ആഗ്രഹിക്കുന്നു.

നമ്മൾ എന്ത് സംസാരിക്കും

ഞാൻ ഒരു വൈവിധ്യമാർന്ന സമീപനം തിരഞ്ഞെടുത്തു - സംസാരിക്കേണ്ട രസകരമായ 4 സേവനങ്ങൾ ഞാൻ തിരഞ്ഞെടുത്തു.

സെർവർ ഒപ്റ്റിമൈസേഷൻ. ഭൗതികമായ രൂപഭാവമുള്ള എഫെമറൽ മേഘങ്ങൾ: ലൈറ്റുകളാൽ മൂളുകയും ചൂടാക്കുകയും മിന്നുകയും ചെയ്യുന്ന ഫിസിക്കൽ സെർവറുകളുള്ള ഫിസിക്കൽ ഡാറ്റാ സെന്ററുകൾ.

സെർവർലെസ്സ് പ്രവർത്തനങ്ങൾ (ലാംഡ) ഒരുപക്ഷേ ക്ലൗഡിലെ ഏറ്റവും സ്കെയിലബിൾ സേവനമാണ്.

ഡാറ്റാബേസ് സ്കെയിലിംഗ്. ഞങ്ങളുടെ സ്വന്തം സ്കെയിലബിൾ ഡാറ്റാബേസുകൾ എങ്ങനെ നിർമ്മിക്കുന്നു എന്നതിനെക്കുറിച്ച് ഞാൻ നിങ്ങളോട് പറയും.

നെറ്റ്‌വർക്ക് സ്കെയിലിംഗ്. ഞങ്ങളുടെ നെറ്റ്‌വർക്കിന്റെ ഉപകരണം ഞാൻ തുറക്കുന്ന അവസാന ഭാഗം. ഇതൊരു അത്ഭുതകരമായ കാര്യമാണ് - ഓരോ ക്ലൗഡ് ഉപയോക്താവും താൻ ക്ലൗഡിൽ തനിച്ചാണെന്നും മറ്റ് വാടകക്കാരെ കാണുന്നില്ല എന്നും വിശ്വസിക്കുന്നു.

കുറിപ്പ്. ഈ ലേഖനം സെർവർ ഒപ്റ്റിമൈസേഷനും ഡാറ്റാബേസ് സ്കെയിലിംഗും ചർച്ച ചെയ്യും. അടുത്ത ലേഖനത്തിൽ ഞങ്ങൾ നെറ്റ്‌വർക്ക് സ്കെയിലിംഗ് പരിഗണിക്കും. സെർവർലെസ് ഫംഗ്‌ഷനുകൾ എവിടെയാണ്? അവരെക്കുറിച്ച് ഒരു പ്രത്യേക ട്രാൻസ്ക്രിപ്റ്റ് പ്രസിദ്ധീകരിച്ചു "ചെറുത്, എന്നാൽ മിടുക്കൻ. അൺബോക്‌സിംഗ് ഫയർക്രാക്കർ മൈക്രോ വെർച്വൽ" ഇത് നിരവധി വ്യത്യസ്ത സ്കെയിലിംഗ് രീതികളെക്കുറിച്ച് സംസാരിക്കുന്നു, കൂടാതെ ഫയർക്രാക്കർ സൊല്യൂഷനെ കുറിച്ച് വിശദമായി ചർച്ച ചെയ്യുന്നു - ഒരു വെർച്വൽ മെഷീന്റെയും കണ്ടെയ്‌നറുകളുടെയും മികച്ച ഗുണങ്ങളുടെ സഹവർത്തിത്വം.

സെർവറുകൾ

മേഘം ക്ഷണികമാണ്. എന്നാൽ ഈ ക്ഷണികതയ്ക്ക് ഇപ്പോഴും ഭൗതികമായ ഒരു രൂപമുണ്ട് - സെർവറുകൾ. തുടക്കത്തിൽ, അവരുടെ വാസ്തുവിദ്യ ക്ലാസിക്കൽ ആയിരുന്നു. സ്റ്റാൻഡേർഡ് x86 ചിപ്‌സെറ്റ്, നെറ്റ്‌വർക്ക് കാർഡുകൾ, ലിനക്സ്, വെർച്വൽ മെഷീനുകൾ പ്രവർത്തിപ്പിക്കുന്ന Xen ഹൈപ്പർവൈസർ.

2012 ൽ, ഈ വാസ്തുവിദ്യ അതിന്റെ ചുമതലകളെ നന്നായി നേരിട്ടു. Xen ഒരു മികച്ച ഹൈപ്പർവൈസർ ആണ്, എന്നാൽ ഇതിന് ഒരു പ്രധാന പോരായ്മയുണ്ട്. അവന് മതി ഉപകരണ അനുകരണത്തിനായുള്ള ഉയർന്ന ഓവർഹെഡ്. പുതിയതും വേഗതയേറിയതുമായ നെറ്റ്‌വർക്ക് കാർഡുകളോ SSD ഡ്രൈവുകളോ ലഭ്യമാകുമ്പോൾ, ഈ ഓവർഹെഡ് വളരെ ഉയർന്നതായിത്തീരുന്നു. ഈ പ്രശ്നം എങ്ങനെ കൈകാര്യം ചെയ്യാം? ഒരേസമയം രണ്ട് മുന്നണികളിൽ പ്രവർത്തിക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു - ഹാർഡ്‌വെയറും ഹൈപ്പർവൈസറും ഒപ്റ്റിമൈസ് ചെയ്യുക. ചുമതല വളരെ ഗൗരവമുള്ളതാണ്.

ഹാർഡ്‌വെയറും ഹൈപ്പർവൈസറും ഒപ്റ്റിമൈസ് ചെയ്യുന്നു

എല്ലാം ഒരേസമയം ചെയ്‌ത് നന്നായി ചെയ്‌താൽ ഫലമുണ്ടാകില്ല. "നല്ലത്" എന്താണെന്ന് തുടക്കത്തിൽ വ്യക്തമല്ല.

ഞങ്ങൾ ഒരു പരിണാമ സമീപനം സ്വീകരിക്കാൻ തീരുമാനിച്ചു - വാസ്തുവിദ്യയുടെ ഒരു പ്രധാന ഘടകം ഞങ്ങൾ മാറ്റി ഉൽപാദനത്തിലേക്ക് എറിയുന്നു.

പരാതികളും നിർദ്ദേശങ്ങളും ഞങ്ങൾ ശ്രദ്ധിക്കുന്നു. അതിനുശേഷം ഞങ്ങൾ മറ്റൊരു ഘടകം മാറ്റുന്നു. അതിനാൽ, ചെറിയ ഇൻക്രിമെന്റുകളിൽ, ഉപയോക്താക്കളിൽ നിന്നുള്ള ഫീഡ്‌ബാക്കിന്റെയും പിന്തുണയുടെയും അടിസ്ഥാനത്തിൽ ഞങ്ങൾ മുഴുവൻ ആർക്കിടെക്ചറും സമൂലമായി മാറ്റുന്നു.

പരിവർത്തനം 2013 ൽ ആരംഭിച്ചത് ഏറ്റവും സങ്കീർണ്ണമായ കാര്യത്തിലൂടെയാണ് - നെറ്റ്‌വർക്ക്. IN С3 ഉദാഹരണങ്ങൾ, സാധാരണ നെറ്റ്‌വർക്ക് കാർഡിലേക്ക് ഒരു പ്രത്യേക നെറ്റ്‌വർക്ക് ആക്സിലറേറ്റർ കാർഡ് ചേർത്തു. ഫ്രണ്ട് പാനലിലെ ഒരു ചെറിയ ലൂപ്പ്ബാക്ക് കേബിൾ ഉപയോഗിച്ച് ഇത് അക്ഷരാർത്ഥത്തിൽ ബന്ധിപ്പിച്ചിരിക്കുന്നു. ഇത് മനോഹരമല്ല, പക്ഷേ അത് മേഘത്തിൽ ദൃശ്യമല്ല. എന്നാൽ ഹാർഡ്‌വെയറുമായുള്ള നേരിട്ടുള്ള ഇടപെടൽ അടിസ്ഥാനപരമായി ജിറ്ററും നെറ്റ്‌വർക്ക് ത്രൂപുട്ടും മെച്ചപ്പെടുത്തി.

അടുത്തതായി, ഡാറ്റ സംഭരണം തടയുന്നതിനുള്ള ആക്സസ് മെച്ചപ്പെടുത്താൻ ഞങ്ങൾ തീരുമാനിച്ചു EBS - ഇലാസ്റ്റിക് ബ്ലോക്ക് സ്റ്റോറേജ്. ഇത് നെറ്റ്‌വർക്കിന്റെയും സംഭരണത്തിന്റെയും സംയോജനമാണ്. നെറ്റ്‌വർക്ക് ആക്‌സിലറേറ്റർ കാർഡുകൾ വിപണിയിൽ നിലവിലുണ്ടെങ്കിലും, സ്‌റ്റോറേജ് ആക്‌സിലറേറ്റർ ഹാർഡ്‌വെയർ വാങ്ങാനുള്ള ഓപ്ഷൻ ഇല്ലായിരുന്നു എന്നതാണ് ബുദ്ധിമുട്ട്. അങ്ങനെ ഞങ്ങൾ ഒരു സ്റ്റാർട്ടപ്പിലേക്ക് തിരിഞ്ഞു അന്നപൂർണ ലാബ്സ്, ആരാണ് ഞങ്ങൾക്കായി പ്രത്യേക ASIC ചിപ്പുകൾ വികസിപ്പിച്ചെടുത്തത്. അവർ റിമോട്ട് EBS വോള്യങ്ങൾ NVMe ഡിവൈസുകളായി മൌണ്ട് ചെയ്യാൻ അനുവദിച്ചു.

സന്ദർഭങ്ങളിൽ C4 ഞങ്ങൾ രണ്ട് പ്രശ്നങ്ങൾ പരിഹരിച്ചു. ആദ്യത്തേത്, വാഗ്ദാനത്തിന്റെ ഭാവിക്കായി ഞങ്ങൾ ഒരു അടിത്തറ നടപ്പിലാക്കി എന്നതാണ്, എന്നാൽ അക്കാലത്ത് പുതിയത്, NVMe സാങ്കേതികവിദ്യ. രണ്ടാമതായി, അഭ്യർത്ഥനകളുടെ പ്രോസസ്സിംഗ് EBS-ലേക്ക് ഒരു പുതിയ കാർഡിലേക്ക് മാറ്റിക്കൊണ്ട് ഞങ്ങൾ സെൻട്രൽ പ്രോസസർ ഗണ്യമായി അൺലോഡ് ചെയ്തു. അത് നന്നായി പോയി, അതിനാൽ ഇപ്പോൾ അന്നപൂർണ ലാബ്സ് ആമസോണിന്റെ ഭാഗമാണ്.

2017 നവംബറോടെ, ഹൈപ്പർവൈസർ തന്നെ മാറ്റേണ്ട സമയമാണിതെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി.

പരിഷ്കരിച്ച കെവിഎം കേർണൽ മൊഡ്യൂളുകളെ അടിസ്ഥാനമാക്കിയാണ് പുതിയ ഹൈപ്പർവൈസർ വികസിപ്പിച്ചിരിക്കുന്നത്.

ഉപകരണ എമുലേഷന്റെ ഓവർഹെഡ് അടിസ്ഥാനപരമായി കുറയ്ക്കാനും പുതിയ ASIC- കളിൽ നേരിട്ട് പ്രവർത്തിക്കാനും ഇത് സാധ്യമാക്കി. സന്ദർഭങ്ങൾ С5 ഒരു പുതിയ ഹൈപ്പർവൈസർ ഉള്ള ആദ്യത്തെ വെർച്വൽ മെഷീനുകൾ ആയിരുന്നു. ഞങ്ങൾ അവന് പേരിട്ടു Nitro.

ടൈംലൈനിലെ സംഭവങ്ങളുടെ പരിണാമം.

2017 നവംബർ മുതൽ പ്രത്യക്ഷപ്പെട്ട എല്ലാ പുതിയ തരം വെർച്വൽ മെഷീനുകളും ഈ ഹൈപ്പർവൈസറിൽ പ്രവർത്തിക്കുന്നു. ബെയർ മെറ്റൽ സംഭവങ്ങൾക്ക് ഹൈപ്പർവൈസർ ഇല്ല, എന്നാൽ പ്രത്യേക നൈട്രോ കാർഡുകൾ ഉപയോഗിക്കുന്നതിനാൽ അവയെ നൈട്രോ എന്നും വിളിക്കുന്നു.

അടുത്ത രണ്ട് വർഷങ്ങളിൽ, നൈട്രോ സംഭവങ്ങളുടെ എണ്ണം രണ്ട് ഡസൻ കവിഞ്ഞു: A1, C5, M5, T3 എന്നിവയും മറ്റുള്ളവയും.

ഉദാഹരണ തരങ്ങൾ.

ആധുനിക നൈട്രോ മെഷീനുകൾ എങ്ങനെ പ്രവർത്തിക്കുന്നു

അവയ്ക്ക് മൂന്ന് പ്രധാന ഘടകങ്ങളുണ്ട്: നൈട്രോ ഹൈപ്പർവൈസർ (മുകളിൽ ചർച്ച ചെയ്തത്), സുരക്ഷാ ചിപ്പ്, നൈട്രോ കാർഡുകൾ.

സുരക്ഷാ ചിപ്പ് മദർബോർഡിലേക്ക് നേരിട്ട് സംയോജിപ്പിച്ചിരിക്കുന്നു. ഹോസ്റ്റ് OS-ന്റെ ലോഡിംഗ് നിയന്ത്രിക്കുന്നത് പോലെയുള്ള പല പ്രധാന പ്രവർത്തനങ്ങളും ഇത് നിയന്ത്രിക്കുന്നു.

നൈട്രോ കാർഡുകൾ - അവയിൽ നാല് തരം ഉണ്ട്. അവയെല്ലാം അന്നപൂർണ ലാബ്‌സ് വികസിപ്പിച്ചതും സാധാരണ ASIC-കളെ അടിസ്ഥാനമാക്കിയുള്ളതുമാണ്. അവരുടെ ചില ഫേംവെയറുകളും സാധാരണമാണ്.

നാല് തരം നൈട്രോ കാർഡുകൾ.

കാർഡുകളിലൊന്ന് പ്രവർത്തിക്കാൻ രൂപകൽപ്പന ചെയ്തിട്ടുള്ളതാണ് നെറ്റ്വർക്ക്വിപിസി. ഒരു നെറ്റ്‌വർക്ക് കാർഡായി വെർച്വൽ മെഷീനുകളിൽ ദൃശ്യമാകുന്നത് ഇതാണ് ENA - ഇലാസ്റ്റിക് നെറ്റ്‌വർക്ക് അഡാപ്റ്റർ. ഇത് ഒരു ഫിസിക്കൽ നെറ്റ്‌വർക്കിലൂടെ ട്രാൻസ്മിറ്റ് ചെയ്യുമ്പോൾ ട്രാഫിക്കും ഉൾക്കൊള്ളുന്നു (ഇതിനെക്കുറിച്ച് ഞങ്ങൾ ലേഖനത്തിന്റെ രണ്ടാം ഭാഗത്ത് സംസാരിക്കും), സുരക്ഷാ ഗ്രൂപ്പുകളുടെ ഫയർവാൾ നിയന്ത്രിക്കുന്നു, റൂട്ടിംഗിനും മറ്റ് നെറ്റ്‌വർക്ക് കാര്യങ്ങൾക്കും ഉത്തരവാദിയാണ്.

ബ്ലോക്ക് സ്റ്റോറേജിൽ പ്രവർത്തിക്കുന്ന കാർഡുകൾ തിരഞ്ഞെടുക്കുക ഇ.ബി.എസ് സെർവറിൽ നിർമ്മിച്ചിരിക്കുന്ന ഡിസ്കുകളും. ഗസ്റ്റ് വെർച്വൽ മെഷീനിൽ അവ ദൃശ്യമാകും NVMe അഡാപ്റ്ററുകൾ. ഡാറ്റ എൻക്രിപ്ഷൻ, ഡിസ്ക് നിരീക്ഷണം എന്നിവയ്ക്കും അവർ ഉത്തരവാദികളാണ്.

നൈട്രോ കാർഡുകൾ, ഹൈപ്പർവൈസർ, സെക്യൂരിറ്റി ചിപ്പ് എന്നിവയുടെ സിസ്റ്റം ഒരു SDN നെറ്റ്‌വർക്കിലേക്ക് സംയോജിപ്പിച്ചിരിക്കുന്നു അല്ലെങ്കിൽ സോഫ്റ്റ്‌വെയർ നിർവചിക്കപ്പെട്ട നെറ്റ്‌വർക്ക്. ഈ നെറ്റ്‌വർക്ക് നിയന്ത്രിക്കുന്നതിനുള്ള ഉത്തരവാദിത്തം (നിയന്ത്രണ തലം) കൺട്രോളർ കാർഡ്.

തീർച്ചയായും, ഞങ്ങൾ പുതിയ ASIC-കൾ വികസിപ്പിക്കുന്നത് തുടരുന്നു. ഉദാഹരണത്തിന്, 2018 അവസാനത്തോടെ അവർ Inferentia ചിപ്പ് പുറത്തിറക്കി, ഇത് മെഷീൻ ലേണിംഗ് ടാസ്ക്കുകളിൽ കൂടുതൽ കാര്യക്ഷമമായി പ്രവർത്തിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു.

ഇൻഫെറൻഷ്യ മെഷീൻ ലേണിംഗ് പ്രോസസർ ചിപ്പ്.

സ്കേലബിൾ ഡാറ്റാബേസ്

ഒരു പരമ്പരാഗത ഡാറ്റാബേസിന് ഒരു ലേയേർഡ് ഘടനയുണ്ട്. വളരെ ലളിതമാക്കുന്നതിന്, ഇനിപ്പറയുന്ന ലെവലുകൾ വേർതിരിച്ചിരിക്കുന്നു.

• SQL — ക്ലയന്റും അഭ്യർത്ഥന ഡിസ്പാച്ചറുകളും അതിൽ പ്രവർത്തിക്കുന്നു.
• വ്യവസ്ഥകൾ ഇടപാടുകൾ - ഇവിടെ എല്ലാം വ്യക്തമാണ്, ACID കൂടാതെ എല്ലാം.
• കാഷിംഗ്, ബഫർ പൂളുകൾ നൽകുന്നതാണ്.
• ലോഗിംഗ് - വീണ്ടും ചെയ്യാനുള്ള ലോഗുകൾ ഉപയോഗിച്ച് ജോലി നൽകുന്നു. MySQL-ൽ അവയെ Bin Logs എന്ന് വിളിക്കുന്നു, PosgreSQL-ൽ - Write Ahead Logs (WAL).
• സംഭരണം - ഡിസ്കിലേക്ക് നേരിട്ട് റെക്കോർഡിംഗ്.

ലേയേർഡ് ഡാറ്റാബേസ് ഘടന.

ഡാറ്റാബേസുകൾ സ്കെയിൽ ചെയ്യാൻ വ്യത്യസ്ത മാർഗങ്ങളുണ്ട്: ഷാർഡിംഗ്, ഷെയർഡ് നതിംഗ് ആർക്കിടെക്ചർ, പങ്കിട്ട ഡിസ്കുകൾ.

എന്നിരുന്നാലും, ഈ രീതികളെല്ലാം ഒരേ മോണോലിത്തിക്ക് ഡാറ്റാബേസ് ഘടന നിലനിർത്തുന്നു. ഇത് സ്കെയിലിംഗിനെ ഗണ്യമായി പരിമിതപ്പെടുത്തുന്നു. ഈ പ്രശ്നം പരിഹരിക്കാൻ, ഞങ്ങൾ ഞങ്ങളുടെ സ്വന്തം ഡാറ്റാബേസ് വികസിപ്പിച്ചെടുത്തു - ആമസോൺ അറോറ. ഇത് MySQL, PostgreSQL എന്നിവയുമായി പൊരുത്തപ്പെടുന്നു.

ആമസോൺ അറോറ

പ്രധാന വാസ്തുവിദ്യാ ആശയം പ്രധാന ഡാറ്റാബേസിൽ നിന്ന് സംഭരണവും ലോഗിംഗ് ലെവലും വേർതിരിക്കുക എന്നതാണ്.

മുന്നോട്ട് നോക്കുമ്പോൾ, ഞങ്ങൾ കാഷിംഗ് ലെവലും സ്വതന്ത്രമാക്കിയെന്ന് ഞാൻ പറയും. വാസ്തുവിദ്യ ഒരു ഏകശിലാരൂപമായി അവസാനിക്കുന്നു, കൂടാതെ വ്യക്തിഗത ബ്ലോക്കുകൾ സ്കെയിൽ ചെയ്യുന്നതിൽ ഞങ്ങൾ അധിക സ്വാതന്ത്ര്യം നേടുന്നു.

ലോഗിംഗും സ്റ്റോറേജ് ലെവലും ഡാറ്റാബേസിൽ നിന്ന് വ്യത്യസ്തമാണ്.

ഒരു പരമ്പരാഗത DBMS ബ്ലോക്കുകളുടെ രൂപത്തിൽ ഒരു സ്റ്റോറേജ് സിസ്റ്റത്തിലേക്ക് ഡാറ്റ എഴുതുന്നു. ആമസോൺ അറോറയിൽ, ഞങ്ങൾ ഭാഷ സംസാരിക്കാൻ കഴിയുന്ന സ്മാർട്ട് സ്റ്റോറേജ് സൃഷ്ടിച്ചു വീണ്ടും ചെയ്യുക-ലോഗുകൾ. ഉള്ളിൽ, സ്റ്റോറേജ് ലോഗുകളെ ഡാറ്റ ബ്ലോക്കുകളാക്കി മാറ്റുകയും അവയുടെ സമഗ്രത നിരീക്ഷിക്കുകയും യാന്ത്രികമായി ബാക്കപ്പ് ചെയ്യുകയും ചെയ്യുന്നു.

അത്തരം രസകരമായ കാര്യങ്ങൾ നടപ്പിലാക്കാൻ ഈ സമീപനം നിങ്ങളെ അനുവദിക്കുന്നു ക്ലോണിംഗ്. എല്ലാ ഡാറ്റയുടെയും പൂർണ്ണമായ പകർപ്പ് സൃഷ്ടിക്കേണ്ടതില്ല എന്ന വസ്തുത കാരണം ഇത് അടിസ്ഥാനപരമായി വേഗത്തിലും കൂടുതൽ സാമ്പത്തികമായും പ്രവർത്തിക്കുന്നു.

ഒരു വിതരണ സംവിധാനമായി സ്റ്റോറേജ് ലെയർ നടപ്പിലാക്കുന്നു. ഇത് വളരെ വലിയ ഫിസിക്കൽ സെർവറുകൾ ഉൾക്കൊള്ളുന്നു. ഓരോ റീഡോ ലോഗും ഒരേസമയം പ്രോസസ്സ് ചെയ്യുകയും സംരക്ഷിക്കുകയും ചെയ്യുന്നു ആറ് കെട്ടുകൾ. ഇത് ഡാറ്റ സംരക്ഷണവും ലോഡ് ബാലൻസിംഗും ഉറപ്പാക്കുന്നു.

ഉചിതമായ പകർപ്പുകൾ ഉപയോഗിച്ച് റീഡ് സ്കെയിലിംഗ് നേടാനാകും. ഞങ്ങൾ ഡാറ്റ എഴുതുന്ന പ്രധാന ഡാറ്റാബേസ് ഇൻസ്റ്റൻസും ശേഷിക്കുന്ന പകർപ്പുകളും തമ്മിലുള്ള സമന്വയത്തിന്റെ ആവശ്യകത ഡിസ്ട്രിബ്യൂട്ടഡ് സ്റ്റോറേജ് ഇല്ലാതാക്കുന്നു. കാലികമായ ഡാറ്റ എല്ലാ പകർപ്പുകളിലും ലഭ്യമാകുമെന്ന് ഉറപ്പുനൽകുന്നു.

റീഡ് റെപ്ലിക്കകളിൽ പഴയ ഡാറ്റ കാഷെ ചെയ്യുന്നതാണ് ഒരേയൊരു പ്രശ്നം. എന്നാൽ ഈ പ്രശ്നം പരിഹരിക്കപ്പെടുകയാണ് എല്ലാ വീണ്ടും ചെയ്യാനുള്ള ലോഗുകളുടെയും കൈമാറ്റം ആന്തരിക നെറ്റ്‌വർക്കിലൂടെയുള്ള പകർപ്പുകളിലേക്ക്. ലോഗ് കാഷെയിലാണെങ്കിൽ, അത് തെറ്റാണെന്നും തിരുത്തിയെഴുതിയതായും അടയാളപ്പെടുത്തിയിരിക്കുന്നു. കാഷെയിൽ ഇല്ലെങ്കിൽ, അത് വെറുതെ കളയുന്നു.

ഞങ്ങൾ സംഭരണം ക്രമീകരിച്ചു.

ഡിബിഎംഎസ് ശ്രേണികൾ എങ്ങനെ അളക്കാം

ഇവിടെ, തിരശ്ചീന സ്കെയിലിംഗ് വളരെ ബുദ്ധിമുട്ടാണ്. അതുകൊണ്ട് അടിച്ച വഴിയിലൂടെ പോകാം ക്ലാസിക് ലംബ സ്കെയിലിംഗ്.

ഒരു മാസ്റ്റർ നോഡിലൂടെ ഡിബിഎംഎസുമായി ആശയവിനിമയം നടത്തുന്ന ഒരു ആപ്ലിക്കേഷൻ ഞങ്ങളുടെ പക്കലുണ്ടെന്ന് കരുതുക.

ലംബമായി സ്കെയിൽ ചെയ്യുമ്പോൾ, കൂടുതൽ പ്രോസസറുകളും മെമ്മറിയും ഉള്ള ഒരു പുതിയ നോഡ് ഞങ്ങൾ അനുവദിക്കും.

അടുത്തതായി, ഞങ്ങൾ ആപ്ലിക്കേഷൻ പഴയ മാസ്റ്റർ നോഡിൽ നിന്ന് പുതിയതിലേക്ക് മാറ്റുന്നു. പ്രശ്നങ്ങൾ ഉണ്ടാകുന്നു.

• ഇതിന് കാര്യമായ ആപ്ലിക്കേഷൻ പ്രവർത്തനരഹിതമാക്കേണ്ടതുണ്ട്.
• പുതിയ മാസ്റ്റർ നോഡിന് തണുത്ത കാഷെ ഉണ്ടായിരിക്കും. കാഷെ ചൂടായതിനുശേഷം മാത്രമേ ഡാറ്റാബേസ് പ്രകടനം പരമാവധി ആകൂ.

സാഹചര്യം എങ്ങനെ മെച്ചപ്പെടുത്താം? ആപ്ലിക്കേഷനും മാസ്റ്റർ നോഡിനും ഇടയിൽ ഒരു പ്രോക്സി സജ്ജീകരിക്കുക.

ഇത് നമുക്ക് എന്ത് നൽകും? ഇപ്പോൾ എല്ലാ ആപ്ലിക്കേഷനുകളും പുതിയ നോഡിലേക്ക് സ്വമേധയാ റീഡയറക്‌ട് ചെയ്യേണ്ടതില്ല. സ്വിച്ച് ഒരു പ്രോക്സിക്ക് കീഴിൽ ചെയ്യാൻ കഴിയും, അടിസ്ഥാനപരമായി വേഗതയേറിയതാണ്.

പ്രശ്നം പരിഹരിച്ചതായി തോന്നുന്നു. പക്ഷേ ഇല്ല, കാഷെ ചൂടാക്കേണ്ടതിന്റെ ആവശ്യകത ഞങ്ങൾ ഇപ്പോഴും അനുഭവിക്കുന്നു. കൂടാതെ, ഒരു പുതിയ പ്രശ്നം പ്രത്യക്ഷപ്പെട്ടു - ഇപ്പോൾ പ്രോക്സി പരാജയപ്പെടാനുള്ള സാധ്യതയുള്ള പോയിന്റാണ്.

ആമസോൺ അറോറ സെർവർലെസ് ഉപയോഗിച്ചുള്ള അന്തിമ പരിഹാരം

ഈ പ്രശ്നങ്ങൾ ഞങ്ങൾ എങ്ങനെ പരിഹരിച്ചു?

ഒരു പ്രോക്സി വിട്ടു. ഇതൊരു പ്രത്യേക ഉദാഹരണമല്ല, ആപ്ലിക്കേഷനുകൾ ഡാറ്റാബേസിലേക്ക് കണക്റ്റുചെയ്യുന്ന പ്രോക്സികളുടെ മുഴുവൻ വിതരണം ചെയ്ത ഒരു കൂട്ടമാണ്. പരാജയപ്പെടുകയാണെങ്കിൽ, ഏതെങ്കിലും നോഡുകൾ തൽക്ഷണം മാറ്റിസ്ഥാപിക്കാൻ കഴിയും.

വിവിധ വലുപ്പത്തിലുള്ള ഊഷ്മള നോഡുകളുടെ ഒരു കുളം ചേർത്തു. അതിനാൽ, വലുതോ ചെറുതോ ആയ ഒരു പുതിയ നോഡ് അനുവദിക്കേണ്ടത് ആവശ്യമാണെങ്കിൽ, അത് ഉടനടി ലഭ്യമാണ്. ഇത് ലോഡുചെയ്യാൻ കാത്തിരിക്കേണ്ടതില്ല.

മുഴുവൻ സ്കെയിലിംഗ് പ്രക്രിയയും ഒരു പ്രത്യേക നിരീക്ഷണ സംവിധാനത്താൽ നിയന്ത്രിക്കപ്പെടുന്നു. മോണിറ്ററിംഗ് നിലവിലെ മാസ്റ്റർ നോഡിന്റെ അവസ്ഥ നിരന്തരം നിരീക്ഷിക്കുന്നു. ഉദാഹരണത്തിന്, പ്രോസസർ ലോഡ് ഒരു നിർണായക മൂല്യത്തിൽ എത്തിയെന്ന് അത് കണ്ടെത്തുകയാണെങ്കിൽ, ഒരു പുതിയ നോഡ് അനുവദിക്കേണ്ടതിന്റെ ആവശ്യകതയെക്കുറിച്ച് ഊഷ്മളമായ സംഭവങ്ങളുടെ പൂളിനെ ഇത് അറിയിക്കുന്നു.

വിതരണം ചെയ്ത പ്രോക്സികൾ, ഊഷ്മള സംഭവങ്ങൾ, നിരീക്ഷണം.

ആവശ്യമായ പവർ ഉള്ള ഒരു നോഡ് ലഭ്യമാണ്. ബഫർ പൂളുകൾ അതിലേക്ക് പകർത്തി, സിസ്റ്റം മാറാൻ സുരക്ഷിത നിമിഷത്തിനായി കാത്തിരിക്കാൻ തുടങ്ങുന്നു.

സാധാരണയായി മാറാനുള്ള നിമിഷം വളരെ വേഗത്തിൽ വരുന്നു. തുടർന്ന് പ്രോക്സിയും പഴയ മാസ്റ്റർ നോഡും തമ്മിലുള്ള ആശയവിനിമയം താൽക്കാലികമായി നിർത്തിവച്ചിരിക്കുന്നു, എല്ലാ സെഷനുകളും പുതിയ നോഡിലേക്ക് മാറുന്നു.

ഡാറ്റാബേസ് റെസ്യൂമുകൾക്കൊപ്പം പ്രവർത്തിക്കുക.

സസ്പെൻഷൻ വളരെ ചെറുതാണെന്ന് ഗ്രാഫ് കാണിക്കുന്നു. നീല ഗ്രാഫ് ലോഡ് കാണിക്കുന്നു, ചുവന്ന പടികൾ സ്കെയിലിംഗ് നിമിഷങ്ങൾ കാണിക്കുന്നു. നീല ഗ്രാഫിലെ ഹ്രസ്വകാല ഡിപ്‌സ് കൃത്യമായും ആ ചെറിയ കാലതാമസമാണ്.

വഴിയിൽ, ആമസോൺ അറോറ നിങ്ങളെ പൂർണ്ണമായും പണം ലാഭിക്കാനും ഡാറ്റാബേസ് ഉപയോഗത്തിലില്ലാത്തപ്പോൾ ഓഫ് ചെയ്യാനും അനുവദിക്കുന്നു, ഉദാഹരണത്തിന്, വാരാന്ത്യങ്ങളിൽ. ലോഡ് നിർത്തിയ ശേഷം, ഡിബി ക്രമേണ അതിന്റെ ശക്തി കുറയ്ക്കുകയും കുറച്ച് സമയത്തേക്ക് ഓഫ് ചെയ്യുകയും ചെയ്യുന്നു. ലോഡ് തിരികെ വരുമ്പോൾ, അത് വീണ്ടും സുഗമമായി ഉയരും.

ആമസോൺ ഉപകരണത്തെക്കുറിച്ചുള്ള സ്റ്റോറിയുടെ അടുത്ത ഭാഗത്ത്, ഞങ്ങൾ നെറ്റ്‌വർക്ക് സ്കെയിലിംഗിനെക്കുറിച്ച് സംസാരിക്കും. സബ്സ്ക്രൈബ് ചെയ്യുക മെയിൽ ലേഖനം നഷ്‌ടമാകാതിരിക്കാൻ കാത്തിരിക്കുക.

ഓൺ ഹൈലോഡ്++ വാസിലി പന്ത്യുഖിൻ ഒരു റിപ്പോർട്ട് നൽകും.ഹൂസ്റ്റൺ നമുക്ക് ഒരു പ്രശ്നമുണ്ട്. പരാജയത്തിനുള്ള സിസ്റ്റങ്ങളുടെ രൂപകൽപ്പന, ആന്തരിക ആമസോൺ ക്ലൗഡ് സേവനങ്ങൾക്കുള്ള വികസന പാറ്റേണുകൾ" ആമസോൺ ഡെവലപ്പർമാർ ഡിസ്ട്രിബ്യൂട്ടഡ് സിസ്റ്റങ്ങൾക്കായി എന്ത് ഡിസൈൻ പാറ്റേണുകളാണ് ഉപയോഗിക്കുന്നത്, സേവന പരാജയങ്ങളുടെ കാരണങ്ങൾ എന്തൊക്കെയാണ്, സെൽ അടിസ്ഥാനമാക്കിയുള്ള ആർക്കിടെക്ചർ എന്താണ്, കോൺസ്റ്റന്റ് വർക്ക്, ഷഫിൾ ഷാർഡിംഗ് - ഇത് രസകരമായിരിക്കും. സമ്മേളനത്തിന് ഒരു മാസത്തിൽ താഴെ മാത്രം - നിങ്ങളുടെ ടിക്കറ്റുകൾ ബുക്ക് ചെയ്യുക. ഒക്‌ടോബർ 24 അവസാന വില വർധന.

അവലംബം: www.habr.com