സിറ്റിമൊബിലിൽ ഞങ്ങൾ ഒരു MySQL ഡാറ്റാബേസ് ഞങ്ങളുടെ പ്രധാന സ്ഥിരമായ ഡാറ്റാ സംഭരണമായി ഉപയോഗിക്കുന്നു. വിവിധ സേവനങ്ങൾക്കും ആവശ്യങ്ങൾക്കുമായി ഞങ്ങൾക്ക് നിരവധി ഡാറ്റാബേസ് ക്ലസ്റ്ററുകൾ ഉണ്ട്.

മുഴുവൻ സിസ്റ്റത്തിന്റെയും അതിന്റെ വ്യക്തിഗത ഭാഗങ്ങളുടെയും പ്രകടനത്തിന്റെ നിർണായക സൂചകമാണ് മാസ്റ്ററിന്റെ നിരന്തരമായ ലഭ്യത. ഒരു മാസ്റ്റർ പരാജയം സംഭവിക്കുമ്പോൾ സ്വയമേവയുള്ള ക്ലസ്റ്റർ വീണ്ടെടുക്കൽ സംഭവ പ്രതികരണ സമയവും സിസ്റ്റം പ്രവർത്തനരഹിതമായ സമയവും ഗണ്യമായി കുറയ്ക്കുന്നു. ഈ ലേഖനത്തിൽ, MySQL ക്ലസ്റ്ററിനായി ഉയർന്ന ലഭ്യത (HA) ഡിസൈൻ ഞാൻ നോക്കും MySQL ഓർക്കസ്ട്രേറ്റർ വെർച്വൽ ഐപി വിലാസങ്ങളും (വിഐപി).

വിഐപി അടിസ്ഥാനമാക്കിയുള്ള എച്ച്എ പരിഹാരം

ആദ്യം, ഞങ്ങളുടെ ഡാറ്റ സ്റ്റോറേജ് സിസ്റ്റം എന്താണെന്ന് ഞാൻ ചുരുക്കമായി നിങ്ങളോട് പറയാം.

ഒരു റൈറ്റ് ആക്സസ് ചെയ്യാവുന്ന മാസ്റ്ററും ഒന്നിലധികം റീഡ്-ഒൺലി റെപ്ലിക്കുകളും ഉള്ള ഒരു ക്ലാസിക് റെപ്ലിക്കേഷൻ സ്കീം ഞങ്ങൾ ഉപയോഗിക്കുന്നു. ഒരു ക്ലസ്റ്ററിന് ഒരു ഇന്റർമീഡിയറ്റ് മാസ്റ്റർ അടങ്ങിയിരിക്കാം - മറ്റുള്ളവർക്ക് ഒരു പകർപ്പും മാസ്റ്ററും ആയ ഒരു നോഡ്. HAProxy വഴി ക്ലയന്റുകൾക്ക് പകർപ്പുകൾ ആക്സസ് ചെയ്യുന്നു, ഇത് ലോഡ് വിതരണവും എളുപ്പമുള്ള സ്കെയിലിംഗും അനുവദിക്കുന്നു. HAProxy ഉപയോഗിക്കുന്നത് ചരിത്രപരമായ കാരണങ്ങളാലാണ്, ഞങ്ങൾ നിലവിൽ ProxySQL-ലേക്ക് മൈഗ്രേറ്റ് ചെയ്യുന്ന പ്രക്രിയയിലാണ്.

അടിസ്ഥാനമാക്കിയുള്ള സെമി-സിൻക്രണസ് മോഡിലാണ് പകർപ്പെടുക്കൽ നടത്തുന്നത് GTID. ഒരു ഇടപാട് വിജയകരമാണെന്ന് കണക്കാക്കുന്നതിന് മുമ്പ് കുറഞ്ഞത് ഒരു പകർപ്പെങ്കിലും ലോഗ് ചെയ്യണം എന്നാണ് ഇതിനർത്ഥം. ഈ റെപ്ലിക്കേഷൻ മോഡ് ഒരു മാസ്റ്റർ നോഡ് പരാജയപ്പെടുമ്പോൾ പ്രകടനവും ഡാറ്റ സുരക്ഷയും തമ്മിൽ ഒപ്റ്റിമൽ ബാലൻസ് നൽകുന്നു. അടിസ്ഥാനപരമായി എല്ലാ മാറ്റങ്ങളും മാസ്റ്ററിൽ നിന്ന് പകർപ്പുകളിലേക്ക് മാറ്റുന്നു Row Based Replication (RBR), എന്നാൽ ചില നോഡുകൾ ഉണ്ടായിരിക്കാം mixed binlog format.

ഓർക്കസ്ട്രേറ്റർ ഇടയ്ക്കിടെ ക്ലസ്റ്റർ ടോപ്പോളജിയുടെ അവസ്ഥ അപ്ഡേറ്റ് ചെയ്യുന്നു, ലഭിച്ച വിവരങ്ങൾ വിശകലനം ചെയ്യുന്നു, പ്രശ്നങ്ങൾ ഉണ്ടായാൽ, അതിന് ഒരു യാന്ത്രിക വീണ്ടെടുക്കൽ നടപടിക്രമം ആരംഭിക്കാൻ കഴിയും. ഡെവലപ്പർ തന്നെ നടപടിക്രമത്തിന് ഉത്തരവാദിയാണ്, കാരണം ഇത് വ്യത്യസ്ത രീതികളിൽ നടപ്പിലാക്കാൻ കഴിയും: വിഐപി, ഡിഎൻഎസ്, സേവന കണ്ടെത്തൽ സേവനങ്ങൾ അല്ലെങ്കിൽ സ്വയം എഴുതിയ സംവിധാനങ്ങൾ എന്നിവ അടിസ്ഥാനമാക്കി.

മാസ്റ്റർ പരാജയപ്പെട്ടാൽ അത് പുനഃസ്ഥാപിക്കുന്നതിനുള്ള ഒരു ലളിതമായ മാർഗം ഫ്ലോട്ടിംഗ് വിഐപി വിലാസങ്ങൾ ഉപയോഗിക്കുക എന്നതാണ്.

മുന്നോട്ട് പോകുന്നതിന് മുമ്പ് ഈ പരിഹാരത്തെക്കുറിച്ച് നിങ്ങൾ അറിയേണ്ടത്:

• ഒരു പ്രത്യേക ഫിസിക്കൽ നെറ്റ്‌വർക്ക് ഇന്റർഫേസുമായി ബന്ധമില്ലാത്ത ഒരു ഐപി വിലാസമാണ് വിഐപി. ഒരു നോഡ് പരാജയപ്പെടുകയോ ഷെഡ്യൂൾ ചെയ്‌ത അറ്റകുറ്റപ്പണിയുടെ സമയത്തോ ആണെങ്കിൽ, കുറഞ്ഞ പ്രവർത്തനരഹിതമായ സമയത്തിൽ ഞങ്ങൾക്ക് മറ്റൊരു റിസോഴ്സിലേക്ക് VIP മാറ്റാം.
• ഒരു വെർച്വൽ ഐപി വിലാസം സ്വതന്ത്രമാക്കുന്നതും നൽകുന്നതും വിലകുറഞ്ഞതും വേഗത്തിലുള്ളതുമായ പ്രവർത്തനമാണ്.
• വിഐപിയുമായി പ്രവർത്തിക്കാൻ, നിങ്ങൾക്ക് SSH വഴി സെർവറിലേക്ക് ആക്സസ് ആവശ്യമാണ്, അല്ലെങ്കിൽ പ്രത്യേക യൂട്ടിലിറ്റികളുടെ ഉപയോഗം, ഉദാഹരണത്തിന്, keepalived.

ഞങ്ങളുടെ മാന്ത്രികനുമായി സാധ്യമായ പ്രശ്നങ്ങൾ നോക്കാം കൂടാതെ ഓട്ടോമാറ്റിക് റിക്കവറി മെക്കാനിസം എങ്ങനെ പ്രവർത്തിക്കണമെന്ന് സങ്കൽപ്പിക്കുക.

മാസ്റ്ററിലേക്കുള്ള നെറ്റ്‌വർക്ക് കണക്റ്റിവിറ്റി അപ്രത്യക്ഷമായി, അല്ലെങ്കിൽ ഹാർഡ്‌വെയർ തലത്തിൽ ഒരു പ്രശ്നം ഉണ്ടായി, സെർവർ ലഭ്യമല്ല

1. ഓർക്കസ്ട്രേറ്റർ ക്ലസ്റ്റർ ടോപ്പോളജി അപ്‌ഡേറ്റ് ചെയ്യുന്നു, ഓരോ പകർപ്പും മാസ്റ്റർ ലഭ്യമല്ലെന്ന് റിപ്പോർട്ട് ചെയ്യുന്നു. പുതിയ മാസ്റ്ററുടെ റോളിന് അനുയോജ്യമായ ഒരു പകർപ്പ് തിരഞ്ഞെടുക്കുന്നതിനുള്ള പ്രക്രിയ ഓർക്കസ്ട്രേറ്റർ ആരംഭിക്കുകയും വീണ്ടെടുക്കൽ ആരംഭിക്കുകയും ചെയ്യുന്നു.
2. പഴയ മാസ്റ്ററിൽ നിന്ന് വിഐപിയെ നീക്കം ചെയ്യാൻ ഞങ്ങൾ ശ്രമിക്കുന്നു - വിജയിച്ചില്ല.
3. പകർപ്പ് മാസ്റ്ററുടെ റോളിലേക്ക് മാറുന്നു. ടോപ്പോളജി പുനർനിർമ്മിക്കുന്നു.
4. വിഐപിയുമായി ഒരു പുതിയ നെറ്റ്‌വർക്ക് ഇന്റർഫേസ് ചേർക്കുന്നു. വിഐപിയെ നീക്കംചെയ്യുന്നത് സാധ്യമല്ലാത്തതിനാൽ, പശ്ചാത്തലത്തിൽ ഞങ്ങൾ ഇടയ്ക്കിടെ ഒരു അഭ്യർത്ഥന അയയ്ക്കാൻ തുടങ്ങുന്നു സൗജന്യ ARP. ഇത്തരത്തിലുള്ള അഭ്യർത്ഥന/പ്രതികരണം, ബന്ധിപ്പിച്ച സ്വിച്ചുകളിൽ IP, MAC വിലാസം മാപ്പിംഗ് ടേബിൾ അപ്‌ഡേറ്റ് ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു, അതുവഴി ഞങ്ങളുടെ VIP നീങ്ങിയതായി നിങ്ങളെ അറിയിക്കുന്നു. ഇത് സാധ്യത കുറയ്ക്കുന്നു split brain പഴയ യജമാനനെ തിരികെ വരുമ്പോൾ.
5. എല്ലാ പുതിയ കണക്ഷനുകളും ഉടനടി പുതിയ മാസ്റ്ററിലേക്ക് റീഡയറക്‌ട് ചെയ്യുന്നു. പഴയ കണക്ഷനുകൾ പരാജയപ്പെടുകയും ഡാറ്റാബേസിലേക്കുള്ള ആവർത്തിച്ചുള്ള കോളുകൾ ആപ്ലിക്കേഷൻ തലത്തിൽ നടത്തുകയും ചെയ്യുന്നു.

സെർവർ സാധാരണ മോഡിൽ പ്രവർത്തിക്കുന്നു, DBMS തലത്തിൽ ഒരു പരാജയം സംഭവിച്ചു

അൽഗോരിതം മുമ്പത്തെ കേസിന് സമാനമാണ്: ടോപ്പോളജി അപ്ഡേറ്റ് ചെയ്യുകയും വീണ്ടെടുക്കൽ പ്രക്രിയ ആരംഭിക്കുകയും ചെയ്യുന്നു. സെർവർ ലഭ്യമായതിനാൽ, ഞങ്ങൾ പഴയ മാസ്റ്ററിൽ VIP വിജയകരമായി റിലീസ് ചെയ്യുകയും പുതിയതിലേക്ക് മാറ്റുകയും നിരവധി ARP അഭ്യർത്ഥനകൾ അയയ്ക്കുകയും ചെയ്യുന്നു. പഴയ മാസ്റ്ററുടെ സാധ്യമായ തിരിച്ചുവരവ് പുനർനിർമ്മിച്ച ക്ലസ്റ്ററിനെയും ആപ്ലിക്കേഷന്റെ പ്രവർത്തനത്തെയും ബാധിക്കരുത്.

മറ്റ് പ്രശ്നങ്ങൾ

പകർപ്പുകൾ അല്ലെങ്കിൽ ഇന്റർമീഡിയറ്റ് മാസ്റ്റേഴ്സ് പരാജയം നയിക്കുന്നില്ല സ്വയമേവയുള്ള പ്രവർത്തനങ്ങളിലേക്ക് സ്വമേധയാ ഇടപെടൽ ആവശ്യമാണ്.

ഒരു വെർച്വൽ നെറ്റ്‌വർക്ക് ഇന്റർഫേസ് എല്ലായ്‌പ്പോഴും താൽക്കാലികമായി ചേർക്കുന്നു, അതായത്, ഒരു സെർവർ റീബൂട്ടിന് ശേഷം, VIP സ്വയമേവ അസൈൻ ചെയ്യപ്പെടുന്നില്ല. ഓരോ ഡാറ്റാബേസ് സംഭവങ്ങളും ഡിഫോൾട്ടായി റീഡ്-ഒൺലി മോഡിൽ ആരംഭിക്കുന്നു, ഓർക്കസ്ട്രേറ്റർ പുതിയ മാസ്റ്ററെ സ്വയമേവ എഴുതുകയും ഇൻസ്റ്റാൾ ചെയ്യാൻ ശ്രമിക്കുകയും ചെയ്യുന്നു read only പഴയ യജമാനന്റെ മേൽ. ഈ പ്രവർത്തനങ്ങൾ സാധ്യത കുറയ്ക്കാൻ ലക്ഷ്യമിടുന്നു split brain.

വീണ്ടെടുക്കൽ പ്രക്രിയയിൽ പ്രശ്നങ്ങൾ ഉണ്ടാകാം, സാധാരണ മോണിറ്ററിംഗ് ടൂളുകൾക്ക് പുറമേ ഓർക്കസ്ട്രേറ്റർ യുഐ വഴിയും ഇത് അറിയിക്കേണ്ടതാണ്. ഈ സവിശേഷത ചേർത്തുകൊണ്ട് ഞങ്ങൾ REST API വിപുലീകരിച്ചു (PR നിലവിൽ അവലോകനത്തിലാണ്).

HA പരിഹാരത്തിന്റെ പൊതുവായ ഡയഗ്രം ചുവടെ അവതരിപ്പിച്ചിരിക്കുന്നു.

ഒരു പുതിയ മാസ്റ്ററെ തിരഞ്ഞെടുക്കുന്നു

ഓർക്കസ്ട്രേറ്റർ വേണ്ടത്ര മിടുക്കനാണ്, തിരഞ്ഞെടുക്കാൻ ശ്രമിക്കുന്നു ഏറ്റവും അനുയോജ്യമായ പകർപ്പ് ഇനിപ്പറയുന്ന മാനദണ്ഡങ്ങൾക്കനുസരിച്ച് ഒരു പുതിയ മാസ്റ്ററായി:

• പകർപ്പ് മാസ്റ്ററെക്കാൾ പിന്നിലാണ്;
• മാസ്റ്ററിന്റെയും പകർപ്പിന്റെയും MySQL പതിപ്പ്;
• റെപ്ലിക്കേഷൻ തരം (RBR, SBR അല്ലെങ്കിൽ മിക്സഡ്);
• ഒരേ അല്ലെങ്കിൽ വ്യത്യസ്ത ഡാറ്റാ സെന്ററുകളിലെ സ്ഥാനം;
• ലഭ്യത errant GTID - പകർപ്പിൽ നടപ്പിലാക്കിയതും മാസ്റ്ററിൽ ഇല്ലാത്തതുമായ ഇടപാടുകൾ;
• ഇഷ്‌ടാനുസൃത തിരഞ്ഞെടുപ്പ് നിയമങ്ങളും കണക്കിലെടുക്കുന്നു.

എല്ലാ സൂചകങ്ങളും ഒരു മാസ്റ്ററിന് അനുയോജ്യമായ സ്ഥാനാർത്ഥിയല്ല. ഉദാഹരണത്തിന്, ഡാറ്റ ബാക്കപ്പ് ചെയ്യാൻ ഒരു പകർപ്പ് ഉപയോഗിക്കാം, അല്ലെങ്കിൽ സെർവറിന് ദുർബലമായ ഹാർഡ്‌വെയർ കോൺഫിഗറേഷൻ ഉണ്ട്. ഓർക്കസ്ട്രേറ്റർ പിന്തുണയ്ക്കുന്നു നിങ്ങളുടെ കാൻഡിഡേറ്റ് തിരഞ്ഞെടുക്കൽ മുൻഗണനകൾ ഇഷ്ടാനുസൃതമാക്കാൻ കഴിയുന്ന സ്വമേധയാലുള്ള നിയമങ്ങൾ, അവഗണിച്ചതിൽ നിന്ന് ഏറ്റവും ഇഷ്ടപ്പെട്ടതിൽ നിന്ന്.

പ്രതികരണവും വീണ്ടെടുക്കൽ സമയവും

ഒരു സംഭവമുണ്ടായാൽ, സിസ്റ്റം പ്രവർത്തനരഹിതമായ സമയം കുറയ്ക്കേണ്ടത് പ്രധാനമാണ്, അതിനാൽ ഓർക്കസ്ട്രേറ്റർ ക്ലസ്റ്റർ ടോപ്പോളജി സൃഷ്ടിക്കുന്നതിനെയും അപ്‌ഡേറ്റുചെയ്യുന്നതിനെയും ബാധിക്കുന്ന MySQL പാരാമീറ്ററുകൾ നമുക്ക് പരിഗണിക്കാം:

• slave_net_timeout - കണക്ഷൻ നഷ്‌ടപ്പെട്ടതായും വീണ്ടും കണക്‌റ്റ് ചെയ്‌തതായും തിരിച്ചറിയുന്നതിന് മുമ്പ് മാസ്റ്ററിൽ നിന്ന് പുതിയ ഡാറ്റ അല്ലെങ്കിൽ ഹൃദയമിടിപ്പ് സിഗ്‌നൽ വരുന്നതിനായി പകർപ്പ് കാത്തിരിക്കുന്ന സെക്കൻഡുകളുടെ എണ്ണം. മൂല്യം കുറയുമ്പോൾ, മാസ്റ്ററുമായുള്ള ആശയവിനിമയം തകരാറിലാണെന്ന് പകർപ്പിന് വേഗത്തിൽ നിർണ്ണയിക്കാനാകും. ഞങ്ങൾ ഈ മൂല്യം 5 സെക്കൻഡായി സജ്ജമാക്കി.
• MASTER_CONNECT_RETRY - വീണ്ടും കണക്ഷൻ ശ്രമങ്ങൾക്കിടയിലുള്ള സെക്കൻഡുകളുടെ എണ്ണം. നെറ്റ്‌വർക്ക് പ്രശ്‌നങ്ങളുണ്ടെങ്കിൽ, ഈ പരാമീറ്ററിനുള്ള കുറഞ്ഞ മൂല്യം പെട്ടെന്ന് വീണ്ടും കണക്‌ഷൻ അനുവദിക്കുകയും ക്ലസ്റ്റർ വീണ്ടെടുക്കൽ പ്രക്രിയ ആരംഭിക്കുന്നത് തടയുകയും ചെയ്യും. ശുപാർശ ചെയ്യുന്ന മൂല്യം 1 സെക്കൻഡാണ്.
• MASTER_RETRY_COUNT - പരമാവധി എണ്ണം വീണ്ടും കണക്ഷൻ ശ്രമങ്ങൾ.
• MASTER_HEARTBEAT_PERIOD - മാസ്റ്റർ ഹൃദയമിടിപ്പ് സിഗ്നൽ അയയ്ക്കുന്ന നിമിഷങ്ങൾക്കുള്ളിലെ ഇടവേള. ഡിഫോൾട്ട് മൂല്യത്തിന്റെ പകുതി വരെ slave_net_timeout.

ഓർക്കസ്ട്രേറ്റർ ഓപ്ഷനുകൾ:

• DelayMasterPromotionIfSQLThreadNotUpToDate - തുല്യമാണെങ്കിൽ true, തുടർന്ന് റിലേ ലോഗിൽ നിന്ന് പ്രയോഗിക്കാത്ത എല്ലാ ഇടപാടുകളും റെപ്ലിക്കയുടെ SQL ത്രെഡ് പൂർത്തിയാക്കുന്നത് വരെ കാൻഡിഡേറ്റ് റെപ്ലിക്കയിൽ മാസ്റ്റർ റോൾ പ്രയോഗിക്കില്ല. എല്ലാ സ്ഥാനാർത്ഥി പകർപ്പുകളും പിന്നിലാകുമ്പോൾ ഇടപാടുകൾ നഷ്‌ടപ്പെടാതിരിക്കാൻ ഞങ്ങൾ ഈ ഓപ്‌ഷൻ ഉപയോഗിക്കുന്നു.
• InstancePollSeconds - ടോപ്പോളജി നിർമ്മിക്കുന്നതിന്റെയും അപ്ഡേറ്റ് ചെയ്യുന്നതിന്റെയും ആവൃത്തി.
• RecoveryPollSeconds - ടോപ്പോളജി വിശകലനത്തിന്റെ ആവൃത്തി. ഒരു പ്രശ്നം കണ്ടെത്തിയാൽ, ടോപ്പോളജി വീണ്ടെടുക്കൽ ആരംഭിക്കുന്നു. ഈ സ്ഥിരമായ, 1 സെക്കൻഡിന് തുല്യമാണ്.

ഓരോ ക്ലസ്റ്റർ നോഡും ഓരോ തവണ ഓർക്കസ്ട്രേറ്റർ പോൾ ചെയ്യുന്നു InstancePollSeconds സെക്കന്റുകൾ ഒരു പ്രശ്നം കണ്ടെത്തുമ്പോൾ, ക്ലസ്റ്റർ അവസ്ഥ നിർബന്ധിതമാകുന്നു അപ്ഡേറ്റ് ചെയ്തു, തുടർന്ന് വീണ്ടെടുക്കൽ നടത്താൻ അന്തിമ തീരുമാനം എടുക്കുന്നു. വ്യത്യസ്ത ഡാറ്റാബേസും ഓർക്കസ്ട്രേറ്റർ പാരാമീറ്ററുകളും പരീക്ഷിച്ചുകൊണ്ട്, പ്രതികരണവും വീണ്ടെടുക്കൽ സമയവും 30 സെക്കൻഡായി കുറയ്ക്കാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞു.

ടെസ്റ്റ് സ്റ്റാൻഡ്

ഒരു ലോക്കൽ വികസനത്തോടെ ഞങ്ങൾ എച്ച്എ സ്കീം പരീക്ഷിക്കാൻ തുടങ്ങി ടെസ്റ്റ് ബെഞ്ച് ടെസ്റ്റ്, പ്രൊഡക്ഷൻ പരിതസ്ഥിതികളിൽ കൂടുതൽ നടപ്പാക്കൽ. ലോക്കൽ സ്റ്റാൻഡ് ഡോക്കറിനെ അടിസ്ഥാനമാക്കി പൂർണ്ണമായും ഓട്ടോമേറ്റഡ് ആണ്, കൂടാതെ ഓർക്കസ്ട്രേറ്ററിന്റെയും നെറ്റ്‌വർക്കിന്റെയും കോൺഫിഗറേഷൻ പരീക്ഷിക്കാനും ക്ലസ്റ്ററിനെ 2-3 സെർവറുകളിൽ നിന്ന് നിരവധി ഡസൻ വരെ സ്കെയിൽ ചെയ്യാനും സുരക്ഷിതമായ അന്തരീക്ഷത്തിൽ വ്യായാമങ്ങൾ നടത്താനും നിങ്ങളെ അനുവദിക്കുന്നു.

വ്യായാമ വേളയിൽ, പ്രശ്നത്തിന്റെ എമുലേഷൻ രീതികളിൽ ഒന്ന് ഞങ്ങൾ തിരഞ്ഞെടുക്കുന്നു: ഉപയോഗിച്ച് മാസ്റ്ററെ തൽക്ഷണം ഷൂട്ട് ചെയ്യുക kill -9, പ്രക്രിയ മൃദുവായി അവസാനിപ്പിച്ച് സെർവർ നിർത്തുക (docker-compose stop), ഉപയോഗിക്കുന്ന നെറ്റ്‌വർക്ക് പ്രശ്നങ്ങൾ അനുകരിക്കുക iptables -j REJECT അഥവാ iptables -j DROP. ഇനിപ്പറയുന്ന ഫലങ്ങൾ ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു:

• ഓർക്കസ്ട്രേറ്റർ മാസ്റ്ററുമായുള്ള പ്രശ്നങ്ങൾ കണ്ടെത്തുകയും ടോപ്പോളജി 10 സെക്കൻഡിൽ കൂടുതൽ അപ്ഡേറ്റ് ചെയ്യുകയും ചെയ്യും;
• വീണ്ടെടുക്കൽ നടപടിക്രമം യാന്ത്രികമായി ആരംഭിക്കും: നെറ്റ്‌വർക്ക് കോൺഫിഗറേഷൻ മാറും, മാസ്റ്ററുടെ റോൾ പകർപ്പിലേക്ക് കടന്നുപോകും, ​​ടോപ്പോളജി പുനർനിർമ്മിക്കും;
• പുതിയ മാസ്റ്റർ എഴുതാൻ കഴിയും, പുനർനിർമ്മാണ പ്രക്രിയയിൽ തത്സമയ പകർപ്പുകൾ നഷ്ടപ്പെടില്ല;
• ഡാറ്റ പുതിയ മാസ്റ്ററിന് എഴുതാനും പകർത്താനും തുടങ്ങും;
• മൊത്തം വീണ്ടെടുക്കൽ സമയം 30 സെക്കൻഡിൽ കൂടരുത്.

നിങ്ങൾക്കറിയാവുന്നതുപോലെ, വ്യത്യസ്ത ഹാർഡ്‌വെയർ, നെറ്റ്‌വർക്ക് കോൺഫിഗറേഷനുകൾ, സിന്തറ്റിക്, റിയൽ ലോഡിലെ വ്യത്യാസങ്ങൾ മുതലായവ കാരണം ടെസ്റ്റ്, പ്രൊഡക്ഷൻ പരിതസ്ഥിതികളിൽ സിസ്റ്റം വ്യത്യസ്തമായി പെരുമാറിയേക്കാം. അതിനാൽ, നെറ്റ്‌വർക്ക് കണക്റ്റിവിറ്റി നഷ്‌ടപ്പെടുമ്പോഴോ അതിന്റെ വ്യക്തിഗത ഭാഗങ്ങൾ നശിപ്പിക്കപ്പെടുമ്പോഴോ സിസ്റ്റം എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് പരിശോധിക്കുന്ന യഥാർത്ഥ സാഹചര്യങ്ങളിൽ ഞങ്ങൾ ആനുകാലികമായി വ്യായാമങ്ങൾ നടത്തുന്നു. ഭാവിയിൽ, പരിതസ്ഥിതികൾക്കായി തികച്ചും സമാനമായ ഒരു അടിസ്ഥാന സൗകര്യം നിർമ്മിക്കാനും അതിന്റെ ടെസ്റ്റിംഗ് ഓട്ടോമേറ്റ് ചെയ്യാനും ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.

കണ്ടെത്തലുകൾ

പ്രധാന സ്റ്റോറേജ് സിസ്റ്റം നോഡിന്റെ ആരോഗ്യം എസ്ആർഇയുടെയും ഓപ്പറേഷൻസ് ടീമിന്റെയും പ്രധാന ചുമതലകളിൽ ഒന്നാണ്. വിഐപിയെ അടിസ്ഥാനമാക്കി ഓർക്കസ്ട്രേറ്ററും എച്ച്എ സൊല്യൂഷനും നടപ്പിലാക്കുന്നത് ഇനിപ്പറയുന്ന ഫലങ്ങൾ നേടാൻ ഞങ്ങളെ അനുവദിച്ചു:

• ഡാറ്റാബേസ് ക്ലസ്റ്ററിന്റെ ടോപ്പോളജിയിലെ പ്രശ്നങ്ങളുടെ വിശ്വസനീയമായ കണ്ടെത്തൽ;
• മാസ്റ്ററുമായി ബന്ധപ്പെട്ട സംഭവങ്ങളോടുള്ള യാന്ത്രികവും വേഗത്തിലുള്ളതുമായ പ്രതികരണം, സിസ്റ്റം പ്രവർത്തനരഹിതമായ സമയം കുറയ്ക്കുന്നു.

എന്നിരുന്നാലും, പരിഹാരത്തിന് അതിന്റെ പരിമിതികളും ദോഷങ്ങളുമുണ്ട്:

• നിരവധി ഡാറ്റാ സെന്ററുകളിലേക്ക് HA സ്കീം സ്കെയിൽ ചെയ്യുന്നതിന് അവയ്ക്കിടയിൽ ഒരൊറ്റ L2 നെറ്റ്‌വർക്ക് ആവശ്യമാണ്;
• പുതിയ മാസ്റ്ററിൽ വിഐപി അസൈൻ ചെയ്യുന്നതിനുമുമ്പ്, ഞങ്ങൾ അത് പഴയതിൽ റിലീസ് ചെയ്യേണ്ടതുണ്ട്. പ്രക്രിയ തുടർച്ചയായതാണ്, ഇത് വീണ്ടെടുക്കൽ സമയം വർദ്ധിപ്പിക്കുന്നു;
• വിഐപി റിലീസ് ചെയ്യുന്നതിന് സെർവറിലേക്കുള്ള എസ്എസ്എച്ച് ആക്സസ് അല്ലെങ്കിൽ വിദൂര നടപടിക്രമങ്ങൾ വിളിക്കുന്നതിനുള്ള മറ്റേതെങ്കിലും രീതി ആവശ്യമാണ്. വീണ്ടെടുക്കൽ പ്രക്രിയയ്ക്ക് കാരണമായ പ്രശ്നങ്ങൾ സെർവറോ ഡാറ്റാബേസോ നേരിടുന്നതിനാൽ, വിഐപി നീക്കം വിജയകരമായി പൂർത്തിയാകുമെന്ന് ഞങ്ങൾക്ക് ഉറപ്പില്ല. ഇത് ഒരേ വെർച്വൽ ഐപി വിലാസമുള്ള രണ്ട് സെർവറുകൾ പ്രത്യക്ഷപ്പെടുന്നതിനും ഒരു പ്രശ്‌നത്തിനും ഇടയാക്കും split brain.

ഒഴിവാക്കാൻ split brain, നിങ്ങൾക്ക് രീതി ഉപയോഗിക്കാം സ്റ്റോണിത്ത് (“ഹെഡിലെ മറ്റ് നോഡ് ഷൂട്ട് ചെയ്യുക”), ഇത് പ്രശ്ന നോഡിനെ പൂർണ്ണമായും ഒറ്റപ്പെടുത്തുകയോ പ്രവർത്തനരഹിതമാക്കുകയോ ചെയ്യുന്നു. ക്ലസ്റ്റർ ഉയർന്ന ലഭ്യത നടപ്പിലാക്കാൻ മറ്റ് വഴികളുണ്ട്: വിഐപി, ഡിഎൻഎസ് എന്നിവയുടെ സംയോജനം, സേവന കണ്ടെത്തൽ, പ്രോക്സി സേവനങ്ങൾ, സിൻക്രണസ് റെപ്ലിക്കേഷൻ, സ്വന്തം ദോഷങ്ങളും ഗുണങ്ങളുമുള്ള മറ്റ് രീതികൾ.

ഒരു MySQL പരാജയ ക്ലസ്റ്റർ സൃഷ്ടിക്കുന്നതിനുള്ള ഞങ്ങളുടെ സമീപനത്തെക്കുറിച്ച് ഞാൻ സംസാരിച്ചു. ഇത് നടപ്പിലാക്കാൻ എളുപ്പമാണ് കൂടാതെ നിലവിലെ സാഹചര്യങ്ങളിൽ സ്വീകാര്യമായ ഒരു വിശ്വാസ്യത നൽകുന്നു. മൊത്തത്തിലുള്ള സംവിധാനവും പ്രത്യേകിച്ച് അടിസ്ഥാന സൗകര്യങ്ങളും വികസിക്കുമ്പോൾ, ഈ സമീപനം നിസ്സംശയമായും വികസിക്കും.

അവലംബം: www.habr.com