ദുരന്തത്തെ പ്രതിരോധിക്കുന്ന ക്ലൗഡ്: ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു

ഹേ ഹബർ!

പുതുവത്സര അവധിക്ക് ശേഷം, രണ്ട് സൈറ്റുകളെ അടിസ്ഥാനമാക്കി ഞങ്ങൾ ഒരു ഡിസാസ്റ്റർ പ്രൂഫ് ക്ലൗഡ് വീണ്ടും സമാരംഭിച്ചു. ക്ലസ്റ്ററിന്റെ വ്യക്തിഗത ഘടകങ്ങൾ പരാജയപ്പെടുകയും മുഴുവൻ സൈറ്റും തകരുകയും ചെയ്യുമ്പോൾ ക്ലയന്റ് വെർച്വൽ മെഷീനുകൾക്ക് എന്ത് സംഭവിക്കുമെന്ന് ഇന്ന് ഞങ്ങൾ നിങ്ങളോട് പറയും (സ്പോയിലർ - അവയിൽ എല്ലാം ശരിയാണ്).

OST സൈറ്റിലെ ഡിസാസ്റ്റർ-റെസിസ്റ്റന്റ് ക്ലൗഡ് സ്റ്റോറേജ് സിസ്റ്റം.

ഉള്ളിലുള്ളത്

ഒരു VMware ESXi ഹൈപ്പർവൈസർ, രണ്ട് INFINIDAT InfiniBox F2240 സ്റ്റോറേജ് സിസ്റ്റങ്ങൾ, Cisco Nexus നെറ്റ്‌വർക്ക് ഉപകരണങ്ങൾ, ബ്രോക്കേഡ് SAN സ്വിച്ചുകൾ എന്നിവയുള്ള Cisco UCS സെർവറുകൾ ക്ലസ്റ്ററിന് കീഴിൽ ഉണ്ട്. ക്ലസ്റ്ററിനെ രണ്ട് സൈറ്റുകളായി തിരിച്ചിരിക്കുന്നു - OST, NORD, അതായത് ഓരോ ഡാറ്റാ സെന്ററിനും സമാനമായ ഉപകരണങ്ങളുടെ ഒരു കൂട്ടം ഉണ്ട്. യഥാർത്ഥത്തിൽ, ഇതാണ് ഇതിനെ ദുരന്തപ്രതിരോധം ആക്കുന്നത്.

ഒരു സൈറ്റിനുള്ളിൽ, പ്രധാന ഘടകങ്ങളും തനിപ്പകർപ്പാണ് (ഹോസ്റ്റുകൾ, SAN സ്വിച്ചുകൾ, നെറ്റ്‌വർക്കിംഗ്).
രണ്ട് സൈറ്റുകളും സമർപ്പിത ഫൈബർ ഒപ്റ്റിക് റൂട്ടുകളാൽ ബന്ധിപ്പിച്ചിരിക്കുന്നു, കൂടാതെ റിസർവ് ചെയ്തിരിക്കുന്നു.

സംഭരണ ​​​​സംവിധാനങ്ങളെക്കുറിച്ച് കുറച്ച് വാക്കുകൾ. NetApp-ൽ ഞങ്ങൾ ദുരന്ത നിവാരണ ക്ലൗഡിന്റെ ആദ്യ പതിപ്പ് നിർമ്മിച്ചു. ഇവിടെ ഞങ്ങൾ INFINIDAT തിരഞ്ഞെടുത്തു, എന്തുകൊണ്ടെന്ന് ഇതാ:

• സജീവ-ആക്റ്റീവ് റെപ്ലിക്കേഷൻ ഓപ്ഷൻ. സ്റ്റോറേജ് സിസ്റ്റങ്ങളിലൊന്ന് പൂർണ്ണമായി പരാജയപ്പെടുകയാണെങ്കിൽപ്പോലും വെർച്വൽ മെഷീനെ പ്രവർത്തനക്ഷമമായി തുടരാൻ ഇത് അനുവദിക്കുന്നു. ആവർത്തനത്തെക്കുറിച്ച് ഞാൻ പിന്നീട് നിങ്ങളോട് കൂടുതൽ പറയാം.
• സിസ്റ്റം തെറ്റ് സഹിഷ്ണുത വർദ്ധിപ്പിക്കുന്നതിന് മൂന്ന് ഡിസ്ക് കൺട്രോളറുകൾ. സാധാരണയായി രണ്ടെണ്ണം ഉണ്ട്.
• റെഡി പരിഹാരം. നെറ്റ്‌വർക്കിലേക്ക് കണക്റ്റുചെയ്‌ത് കോൺഫിഗർ ചെയ്യേണ്ട ഒരു പ്രീ-അസംബിൾഡ് റാക്ക് ഞങ്ങൾക്ക് ലഭിച്ചു.
• ശ്രദ്ധയുള്ള സാങ്കേതിക പിന്തുണ. INFINIDAT എഞ്ചിനീയർമാർ സ്റ്റോറേജ് സിസ്റ്റം ലോഗുകളും ഇവന്റുകളും നിരന്തരം വിശകലനം ചെയ്യുകയും പുതിയ ഫേംവെയർ പതിപ്പുകൾ ഇൻസ്റ്റാൾ ചെയ്യുകയും കോൺഫിഗറേഷനിൽ സഹായിക്കുകയും ചെയ്യുന്നു.

അൺപാക്ക് ചെയ്യുന്നതിൽ നിന്നുള്ള ചില ഫോട്ടോകൾ ഇതാ:

ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു

മേഘം ഇതിനകം തന്നെ തെറ്റ്-സഹിഷ്ണുതയുള്ളതാണ്. ഒരൊറ്റ ഹാർഡ്‌വെയർ, സോഫ്റ്റ്‌വെയർ പരാജയങ്ങളിൽ നിന്ന് ഇത് ക്ലയന്റിനെ സംരക്ഷിക്കുന്നു. ഒരു സൈറ്റിലെ വൻ പരാജയങ്ങളിൽ നിന്ന് പരിരക്ഷിക്കാൻ ദുരന്ത-പ്രതിരോധം സഹായിക്കും: ഉദാഹരണത്തിന്, ഒരു സ്റ്റോറേജ് സിസ്റ്റത്തിന്റെ പരാജയം (അല്ലെങ്കിൽ ഒരു SDS ക്ലസ്റ്റർ, ഇത് പലപ്പോഴും സംഭവിക്കാറുണ്ട് 🙂), ഒരു സ്റ്റോറേജ് നെറ്റ്‌വർക്കിലെ വൻ പിശകുകൾ മുതലായവ. നന്നായി, ഏറ്റവും പ്രധാനമായി: തീപിടുത്തം, ബ്ലാക്ഔട്ട്, റൈഡർ ഏറ്റെടുക്കൽ അല്ലെങ്കിൽ അന്യഗ്രഹ ലാൻഡിംഗ് എന്നിവ കാരണം ഒരു മുഴുവൻ സൈറ്റും ആക്സസ് ചെയ്യാൻ കഴിയാത്തപ്പോൾ അത്തരമൊരു ക്ലൗഡ് സംരക്ഷിക്കുന്നു.

ഈ സാഹചര്യങ്ങളിലെല്ലാം, ക്ലയന്റ് വെർച്വൽ മെഷീനുകൾ പ്രവർത്തിക്കുന്നത് തുടരുന്നു, എന്തുകൊണ്ടാണിത്.

ക്ലയന്റ് വെർച്വൽ മെഷീനുകളുള്ള ഏതൊരു ESXi ഹോസ്റ്റിനും രണ്ട് സ്റ്റോറേജ് സിസ്റ്റങ്ങളിൽ ഏതെങ്കിലും ആക്സസ് ചെയ്യാൻ കഴിയുന്ന തരത്തിലാണ് ക്ലസ്റ്റർ ഡിസൈൻ രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. OST സൈറ്റിലെ സ്റ്റോറേജ് സിസ്റ്റം പരാജയപ്പെടുകയാണെങ്കിൽ, വെർച്വൽ മെഷീനുകൾ പ്രവർത്തിക്കുന്നത് തുടരും: അവ പ്രവർത്തിക്കുന്ന ഹോസ്റ്റുകൾ ഡാറ്റയ്ക്കായി NORD-ലെ സ്റ്റോറേജ് സിസ്റ്റം ആക്സസ് ചെയ്യും.

ഒരു ക്ലസ്റ്ററിലെ കണക്ഷൻ ഡയഗ്രം ഇങ്ങനെയാണ് കാണപ്പെടുന്നത്.

രണ്ട് സൈറ്റുകളുടെയും SAN തുണിത്തരങ്ങൾക്കിടയിൽ ഒരു ഇന്റർ-സ്വിച്ച് ലിങ്ക് കോൺഫിഗർ ചെയ്‌തിരിക്കുന്നതിനാൽ ഇത് സാധ്യമാണ്: Fabric A OST SAN സ്വിച്ച് ഫാബ്രിക് A NORD SAN സ്വിച്ചുമായി ബന്ധിപ്പിച്ചിരിക്കുന്നു, അതുപോലെ തന്നെ ഫാബ്രിക് B SAN സ്വിച്ചുകൾക്കും.

ശരി, SAN ഫാക്ടറികളുടെ ഈ സങ്കീർണതകളെല്ലാം അർത്ഥമാക്കുന്നതിന്, രണ്ട് സംഭരണ ​​​​സംവിധാനങ്ങൾക്കിടയിൽ സജീവ-ആക്റ്റീവ് റെപ്ലിക്കേഷൻ ക്രമീകരിച്ചിരിക്കുന്നു: വിവരങ്ങൾ ഏതാണ്ട് ഒരേസമയം പ്രാദേശിക, വിദൂര സ്റ്റോറേജ് സിസ്റ്റങ്ങളിലേക്ക് എഴുതിയിരിക്കുന്നു, RPO = 0. യഥാർത്ഥ ഡാറ്റ ഒരു സ്റ്റോറേജ് സിസ്റ്റത്തിലും അതിന്റെ പകർപ്പ് മറ്റൊന്നിലുമാണ് സംഭരിച്ചിരിക്കുന്നതെന്ന് ഇത് മാറുന്നു. സ്റ്റോറേജ് വോള്യങ്ങളുടെ തലത്തിൽ ഡാറ്റ പകർത്തുന്നു, കൂടാതെ VM ഡാറ്റ (അതിന്റെ ഡിസ്കുകൾ, കോൺഫിഗറേഷൻ ഫയൽ, സ്വാപ്പ് ഫയൽ മുതലായവ) അവയിൽ സംഭരിക്കുന്നു.

ESXi ഹോസ്റ്റ് പ്രാഥമിക വോളിയവും അതിന്റെ പകർപ്പും ഒരു ഡിസ്ക് ഉപകരണമായി (സ്റ്റോറേജ് ഡിവൈസ്) കാണുന്നു. ESXi ഹോസ്റ്റിൽ നിന്ന് ഓരോ ഡിസ്ക് ഉപകരണത്തിലേക്കും 24 പാതകളുണ്ട്:

12 പാതകൾ അതിനെ ലോക്കൽ സ്റ്റോറേജ് സിസ്റ്റത്തിലേക്കും (ഒപ്റ്റിമൽ പാഥുകൾ) ബാക്കിയുള്ള 12 വിദൂര സംഭരണ ​​സംവിധാനത്തിലേക്കും (നോൺ ഒപ്റ്റിമൽ പാഥുകൾ) ബന്ധിപ്പിക്കുന്നു. ഒരു സാധാരണ സാഹചര്യത്തിൽ, "ഒപ്റ്റിമൽ" പാത്തുകൾ ഉപയോഗിച്ച് ESXi ലോക്കൽ സ്റ്റോറേജ് സിസ്റ്റത്തിൽ ഡാറ്റ ആക്സസ് ചെയ്യുന്നു. ഈ സ്റ്റോറേജ് സിസ്റ്റം പരാജയപ്പെടുമ്പോൾ, ESXi ഒപ്റ്റിമൽ പാതകൾ നഷ്‌ടപ്പെടുകയും "നോൺ ഒപ്റ്റിമൽ" എന്നതിലേക്ക് മാറുകയും ചെയ്യുന്നു. ഡയഗ്രാമിൽ ഇങ്ങനെയാണ് കാണുന്നത്.

ഒരു ഡിസാസ്റ്റർ പ്രൂഫ് ക്ലസ്റ്ററിന്റെ പദ്ധതി.

എല്ലാ ക്ലയന്റ് നെറ്റ്‌വർക്കുകളും രണ്ട് സൈറ്റുകളിലേക്കും ഒരു പൊതു നെറ്റ്‌വർക്ക് ഫാബ്രിക് വഴി ബന്ധിപ്പിച്ചിരിക്കുന്നു. ഓരോ സൈറ്റും ഒരു പ്രൊവൈഡർ എഡ്ജ് (PE) പ്രവർത്തിപ്പിക്കുന്നു, അതിൽ ക്ലയന്റ് നെറ്റ്‌വർക്കുകൾ അവസാനിപ്പിക്കും. PE-കൾ ഒരു പൊതു ക്ലസ്റ്ററിലേക്ക് ഒന്നിച്ചിരിക്കുന്നു. ഒരു സൈറ്റിൽ PE പരാജയപ്പെടുകയാണെങ്കിൽ, എല്ലാ ട്രാഫിക്കും രണ്ടാമത്തെ സൈറ്റിലേക്ക് റീഡയറക്‌ട് ചെയ്യപ്പെടും. ഇതിന് നന്ദി, PE ഇല്ലാതെ അവശേഷിക്കുന്ന സൈറ്റിൽ നിന്നുള്ള വെർച്വൽ മെഷീനുകൾ ക്ലയന്റിലേക്ക് നെറ്റ്‌വർക്കിലൂടെ ആക്‌സസ് ചെയ്യാനാകും.

വിവിധ പരാജയങ്ങളിൽ ക്ലയന്റ് വെർച്വൽ മെഷീനുകൾക്ക് എന്ത് സംഭവിക്കുമെന്ന് നമുക്ക് നോക്കാം. ഏറ്റവും ഭാരം കുറഞ്ഞ ഓപ്ഷനുകളിൽ നിന്ന് ആരംഭിച്ച് ഏറ്റവും ഗുരുതരമായത് അവസാനിപ്പിക്കാം - മുഴുവൻ സൈറ്റിന്റെയും പരാജയം. ഉദാഹരണങ്ങളിൽ, പ്രധാന പ്ലാറ്റ്ഫോം OST ആയിരിക്കും, കൂടാതെ ഡാറ്റ പകർപ്പുകളുള്ള ബാക്കപ്പ് പ്ലാറ്റ്ഫോം NORD ആയിരിക്കും.

എങ്കിൽ ക്ലയന്റ് വെർച്വൽ മെഷീന് എന്ത് സംഭവിക്കും...

റെപ്ലിക്കേഷൻ ലിങ്ക് പരാജയപ്പെടുന്നു. രണ്ട് സൈറ്റുകളുടെയും സ്റ്റോറേജ് സിസ്റ്റങ്ങൾ തമ്മിലുള്ള പകർപ്പ് നിർത്തുന്നു.
ESXi പ്രാദേശിക ഡിസ്ക് ഉപകരണങ്ങളിൽ മാത്രമേ പ്രവർത്തിക്കൂ (ഒപ്റ്റിമൽ പാഥുകൾ വഴി).
വെർച്വൽ മെഷീനുകൾ പ്രവർത്തിക്കുന്നത് തുടരുന്നു.

ISL (ഇന്റർ-സ്വിച്ച് ലിങ്ക്) തകരുന്നു. സാധ്യതയില്ലാത്ത ഒരു സംഭവം. ചില ഭ്രാന്തൻ എക്‌സ്‌കവേറ്റർ ഒരേസമയം നിരവധി ഒപ്റ്റിക്കൽ റൂട്ടുകൾ കുഴിച്ചില്ലെങ്കിൽ, അവ സ്വതന്ത്ര റൂട്ടുകളിൽ പ്രവർത്തിക്കുകയും വ്യത്യസ്ത ഇൻപുട്ടുകൾ വഴി സൈറ്റുകളിലേക്ക് കൊണ്ടുവരികയും ചെയ്യുന്നു. എന്നാൽ എന്തായാലും. ഈ സാഹചര്യത്തിൽ, ESXi ഹോസ്റ്റുകൾക്ക് പാതകളുടെ പകുതി നഷ്ടപ്പെടുകയും അവരുടെ പ്രാദേശിക സംഭരണ ​​​​സംവിധാനങ്ങൾ മാത്രമേ ആക്സസ് ചെയ്യാൻ കഴിയൂ. പകർപ്പുകൾ ശേഖരിക്കുന്നു, പക്ഷേ ഹോസ്റ്റുകൾക്ക് അവ ആക്‌സസ് ചെയ്യാൻ കഴിയില്ല.

വെർച്വൽ മെഷീനുകൾ സാധാരണയായി പ്രവർത്തിക്കുന്നു.

സൈറ്റുകളിലൊന്നിൽ SAN സ്വിച്ച് പരാജയപ്പെടുന്നു. ESXi ഹോസ്റ്റുകൾക്ക് സ്റ്റോറേജ് സിസ്റ്റത്തിലേക്കുള്ള ചില പാതകൾ നഷ്ടപ്പെടുന്നു. ഈ സാഹചര്യത്തിൽ, സ്വിച്ച് പരാജയപ്പെട്ട സൈറ്റിലെ ഹോസ്റ്റുകൾ അവരുടെ ഒരു HBA-യിലൂടെ മാത്രമേ പ്രവർത്തിക്കൂ.

വെർച്വൽ മെഷീനുകൾ സാധാരണ നിലയിൽ പ്രവർത്തിക്കുന്നത് തുടരുന്നു.

ഒരു സൈറ്റിലെ എല്ലാ SAN സ്വിച്ചുകളും പരാജയപ്പെടുന്നു. OST സൈറ്റിൽ അത്തരമൊരു ദുരന്തം സംഭവിച്ചുവെന്ന് പറയാം. ഈ സാഹചര്യത്തിൽ, ഈ സൈറ്റിലെ ESXi ഹോസ്റ്റുകൾക്ക് അവരുടെ ഡിസ്ക് ഉപകരണങ്ങളിലേക്കുള്ള എല്ലാ പാതകളും നഷ്ടപ്പെടും. സ്റ്റാൻഡേർഡ് VMware vSphere HA മെക്കാനിസം പ്രവർത്തിക്കുന്നു: ഇത് NORD-ലെ OST സൈറ്റിന്റെ എല്ലാ വെർച്വൽ മെഷീനുകളും പരമാവധി 140 സെക്കൻഡിനുള്ളിൽ പുനരാരംഭിക്കും.

NORD സൈറ്റ് ഹോസ്റ്റുകളിൽ പ്രവർത്തിക്കുന്ന വെർച്വൽ മെഷീനുകൾ സാധാരണയായി പ്രവർത്തിക്കുന്നു.

ESXi ഹോസ്റ്റ് ഒരു സൈറ്റിൽ പരാജയപ്പെടുന്നു. ഇവിടെ vSphere HA മെക്കാനിസം വീണ്ടും പ്രവർത്തിക്കുന്നു: പരാജയപ്പെട്ട ഹോസ്റ്റിൽ നിന്നുള്ള വെർച്വൽ മെഷീനുകൾ മറ്റ് ഹോസ്റ്റുകളിൽ പുനരാരംഭിക്കുന്നു - അതേ അല്ലെങ്കിൽ റിമോട്ട് സൈറ്റിൽ. വെർച്വൽ മെഷീൻ പുനരാരംഭിക്കുന്ന സമയം 1 മിനിറ്റ് വരെയാണ്.

OST സൈറ്റിലെ എല്ലാ ESXi ഹോസ്റ്റുകളും പരാജയപ്പെടുകയാണെങ്കിൽ, ഓപ്ഷനുകളൊന്നുമില്ല: VM-കൾ മറ്റൊന്നിൽ പുനരാരംഭിക്കും. പുനരാരംഭിക്കുന്ന സമയം സമാനമാണ്.

ഒരു സൈറ്റിൽ സ്റ്റോറേജ് സിസ്റ്റം പരാജയപ്പെടുന്നു. OST സൈറ്റിൽ സ്റ്റോറേജ് സിസ്റ്റം പരാജയപ്പെടുമെന്ന് നമുക്ക് പറയാം. തുടർന്ന് OST സൈറ്റിന്റെ ESXi ഹോസ്റ്റുകൾ NORD-ലെ സ്റ്റോറേജ് റെപ്ലിക്കുകളുമായി പ്രവർത്തിക്കുന്നതിലേക്ക് മാറുന്നു. പരാജയപ്പെട്ട സ്റ്റോറേജ് സിസ്റ്റം സേവനത്തിലേക്ക് മടങ്ങിയ ശേഷം, നിർബന്ധിത പകർപ്പെടുക്കൽ സംഭവിക്കുകയും ESXi OST ഹോസ്റ്റുകൾ വീണ്ടും ലോക്കൽ സ്റ്റോറേജ് സിസ്റ്റം ആക്സസ് ചെയ്യാൻ തുടങ്ങുകയും ചെയ്യും.

ഇക്കാലമത്രയും വെർച്വൽ മെഷീനുകൾ സാധാരണയായി പ്രവർത്തിച്ചു.

സൈറ്റുകളിലൊന്ന് പരാജയപ്പെടുന്നു. ഈ സാഹചര്യത്തിൽ, vSphere HA മെക്കാനിസത്തിലൂടെ എല്ലാ വെർച്വൽ മെഷീനുകളും ബാക്കപ്പ് സൈറ്റിൽ പുനരാരംഭിക്കും. VM പുനരാരംഭിക്കുന്ന സമയം 140 സെക്കൻഡാണ്. ഈ സാഹചര്യത്തിൽ, വെർച്വൽ മെഷീന്റെ എല്ലാ നെറ്റ്‌വർക്ക് ക്രമീകരണങ്ങളും സംരക്ഷിക്കപ്പെടും, കൂടാതെ ഇത് നെറ്റ്‌വർക്കിലൂടെ ക്ലയന്റിന് ആക്‌സസ് ചെയ്യാവുന്നതായിരിക്കും.

ബാക്കപ്പ് സൈറ്റിലെ മെഷീനുകളുടെ പുനരാരംഭം സുഗമമായി നടക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കാൻ, ഓരോ സൈറ്റും പകുതി മാത്രം നിറഞ്ഞിരിക്കുന്നു. രണ്ടാമത്തെ, കേടായ സൈറ്റിൽ നിന്ന് എല്ലാ വെർച്വൽ മെഷീനുകളും നീങ്ങുന്ന സാഹചര്യത്തിൽ രണ്ടാം പകുതി ഒരു റിസർവ് ആണ്.

രണ്ട് ഡാറ്റാ സെന്ററുകളെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു ദുരന്ത-പ്രതിരോധ ക്ലൗഡ് അത്തരം പരാജയങ്ങളിൽ നിന്ന് സംരക്ഷിക്കുന്നു.

ഈ ആനന്ദം വിലകുറഞ്ഞതല്ല, കാരണം, പ്രധാന വിഭവങ്ങൾക്ക് പുറമേ, രണ്ടാമത്തെ സൈറ്റിൽ ഒരു കരുതൽ ആവശ്യമാണ്. അതിനാൽ, ബിസിനസ്-നിർണ്ണായക സേവനങ്ങൾ അത്തരം ഒരു ക്ലൗഡിൽ സ്ഥാപിച്ചിരിക്കുന്നു, ദീർഘകാല പ്രവർത്തനരഹിതമായത് വലിയ സാമ്പത്തിക, പ്രശസ്തി നഷ്ടങ്ങൾക്ക് കാരണമാകുന്നു, അല്ലെങ്കിൽ വിവര സംവിധാനം റെഗുലേറ്റർമാരിൽ നിന്നോ കമ്പനിയുടെ ആന്തരിക നിയന്ത്രണങ്ങളിൽ നിന്നോ ദുരന്ത-പ്രതിരോധ ആവശ്യകതകൾക്ക് വിധേയമാണെങ്കിൽ.

ഉറവിടങ്ങൾ:

1. www.infinidat.com/sites/default/files/resource-pdfs/DS-INFBOX-190331-US_0.pdf
2. support.infinidat.com/hc/en-us/articles/207057109-InfiniBox-best-practices-guides

അവലംബം: www.habr.com