MySQL-നുള്ള ഓർക്കസ്ട്രേറ്റർ: എന്തുകൊണ്ട് ഇതില്ലാതെ നിങ്ങൾക്ക് ഒരു തെറ്റ്-സഹിഷ്ണുതയുള്ള പ്രോജക്റ്റ് നിർമ്മിക്കാൻ കഴിയില്ല

രണ്ട് സെർവറുകൾ ഉപയോഗിച്ചാണ് ഏത് വലിയ പദ്ധതിയും ആരംഭിച്ചത്. ആദ്യം ഒരു ഡിബി സെർവർ ഉണ്ടായിരുന്നു, തുടർന്ന് വായന അളക്കാൻ അടിമകളെ അതിൽ ചേർത്തു. എന്നിട്ട് - നിർത്തുക! ഒരു യജമാനൻ ഉണ്ട്, എന്നാൽ ധാരാളം അടിമകളുണ്ട്; അടിമകളിൽ ഒരാൾ പോയാൽ, എല്ലാം ശരിയാകും, പക്ഷേ യജമാനൻ പോയാൽ അത് മോശമായിരിക്കും: പ്രവർത്തനരഹിതമായ സമയം, അഡ്മിൻസ് സെർവർ ഉയർത്താൻ ശ്രമിക്കുന്നു. എന്തുചെയ്യും? ഒരു മാസ്റ്റർ റിസർവ് ചെയ്യുക. എൻ്റെ സഹപ്രവർത്തകൻ പവൽ ഇതിനെക്കുറിച്ച് ഇതിനകം എഴുതിയിട്ടുണ്ട് ഒരു ലേഖനം, ഞാൻ അത് ആവർത്തിക്കില്ല. പകരം, MySQL-നായി നിങ്ങൾക്ക് തീർച്ചയായും ഓർക്കസ്ട്രേറ്റർ ആവശ്യമായിരിക്കുന്നത് എന്തുകൊണ്ടാണെന്ന് ഞാൻ നിങ്ങളോട് പറയും!

പ്രധാന ചോദ്യത്തിൽ നിന്ന് നമുക്ക് ആരംഭിക്കാം: "മാസ്റ്റർ പോകുമ്പോൾ ഞങ്ങൾ എങ്ങനെ ഒരു പുതിയ മെഷീനിലേക്ക് കോഡ് മാറ്റും?"

• വിഐപി (വെർച്വൽ ഐപി) ഉള്ള സ്കീം ഞാൻ ഏറ്റവും ഇഷ്ടപ്പെടുന്നു, ഞങ്ങൾ അതിനെക്കുറിച്ച് ചുവടെ സംസാരിക്കും. വ്യക്തമായ പരിമിതി ഉണ്ടെങ്കിലും ഇത് ഏറ്റവും ലളിതവും വ്യക്തവുമാണ്: ഞങ്ങൾ റിസർവ് ചെയ്യുന്ന മാസ്റ്റർ പുതിയ മെഷീനുള്ള എൽ 2 സെഗ്‌മെൻ്റിലായിരിക്കണം, അതായത്, രണ്ടാമത്തെ ഡിസിയെക്കുറിച്ച് നമുക്ക് മറക്കാം. ഒപ്പം, സൗഹാർദ്ദപരമായ രീതിയിൽ, ഒരു വലിയ L2 തിന്മയാണെന്ന നിയമം നിങ്ങൾ പിന്തുടരുകയാണെങ്കിൽ, കാരണം L2 ഒരു റാക്കിന് മാത്രമാണ്, കൂടാതെ L3 റാക്കുകൾക്കിടയിലുള്ളതാണ്, കൂടാതെ അത്തരമൊരു സ്കീമിന് കൂടുതൽ നിയന്ത്രണങ്ങളുണ്ട്.
• നിങ്ങൾക്ക് കോഡിൽ ഒരു DNS പേര് എഴുതുകയും അത് /etc/hosts വഴി പരിഹരിക്കുകയും ചെയ്യാം. വാസ്തവത്തിൽ, ഒരു പരിഹാരവും ഉണ്ടാകില്ല. സ്കീമിൻ്റെ പ്രയോജനം: ആദ്യ രീതിയുടെ പരിമിതി സ്വഭാവം ഇല്ല, അതായത്, ഒരു ക്രോസ്-ഡിസി സംഘടിപ്പിക്കാൻ സാധിക്കും. എന്നാൽ അപ്പോൾ വ്യക്തമായ ചോദ്യം ഉയർന്നുവരുന്നു: പപ്പറ്റ്-അൻസിബിൾ വഴി നമുക്ക് എത്ര വേഗത്തിൽ മാറ്റം /etc/hosts-ലേക്ക് എത്തിക്കാനാകും?
• നിങ്ങൾക്ക് രണ്ടാമത്തെ രീതി അല്പം മാറ്റാൻ കഴിയും: എല്ലാ വെബ് സെർവറുകളിലും ഒരു കാഷിംഗ് DNS ഇൻസ്റ്റാൾ ചെയ്യുക, അതിലൂടെ കോഡ് മാസ്റ്റർ ഡാറ്റാബേസിലേക്ക് പോകും. DNS-ലെ ഈ എൻട്രിക്കായി നിങ്ങൾക്ക് TTL 60 സജ്ജീകരിക്കാം. ശരിയായി നടപ്പിലാക്കിയാൽ, രീതി നല്ലതാണെന്ന് തോന്നുന്നു.
• കോൺസലിൻ്റെയും മറ്റും ഉപയോഗത്തെ സൂചിപ്പിക്കുന്ന സേവന കണ്ടെത്തലോടുകൂടിയ ഒരു സ്കീം.
• കൂടെ രസകരമായ ഒരു ഓപ്ഷൻ പ്രോക്സിഎസ്ക്യുഎൽ. ProxySQL വഴി നിങ്ങൾക്ക് എല്ലാ ട്രാഫിക്കും MySQL-ലേക്ക് റൂട്ട് ചെയ്യേണ്ടതുണ്ട്; വഴിയിൽ, ഈ ഉൽപ്പന്നം ഉപയോഗിക്കുന്നതിനുള്ള ഓപ്ഷനുകളിലൊന്നിനെക്കുറിച്ച് നിങ്ങൾക്ക് വായിക്കാം ലേഖനം.

ഗിത്തുബിൽ പ്രവർത്തിക്കുന്ന ഓർക്കസ്ട്രേറ്ററിൻ്റെ രചയിതാവ് ആദ്യം വിഐപിയുമായി ആദ്യ സ്കീം നടപ്പിലാക്കി, തുടർന്ന് കോൺസൽ ഉള്ള ഒരു സ്കീമിലേക്ക് പരിവർത്തനം ചെയ്തു.

സാധാരണ ഇൻഫ്രാസ്ട്രക്ചർ ലേഔട്ട്:

കണക്കിലെടുക്കേണ്ട വ്യക്തമായ സാഹചര്യങ്ങൾ ഞാൻ ഉടൻ വിവരിക്കും:

• വിഐപി വിലാസം ഏതെങ്കിലും സെർവറുകളിലെ കോൺഫിഗറിൽ രജിസ്റ്റർ ചെയ്യാൻ പാടില്ല. നമുക്ക് ഒരു സാഹചര്യം സങ്കൽപ്പിക്കാം: യജമാനൻ റീബൂട്ട് ചെയ്തു, അത് ലോഡുചെയ്യുന്നതിനിടയിൽ, ഓർക്കസ്ട്രേറ്റർ പരാജയ മോഡിലേക്ക് പോയി, അടിമകളിൽ ഒരാളെ യജമാനനാക്കി; പിന്നീട് പഴയ മാസ്റ്റർ എഴുന്നേറ്റു, ഇപ്പോൾ വിഐപി രണ്ട് കാറുകളിലാണ്. ഇത് മോശമാണ്.
• ഓർക്കസ്ട്രേറ്റർക്കായി, പഴയ മാസ്റ്ററെയും പുതിയ മാസ്റ്ററെയും വിളിക്കുന്നതിന് നിങ്ങൾ ഒരു സ്ക്രിപ്റ്റ് എഴുതേണ്ടതുണ്ട്. പഴയ മാസ്റ്ററിൽ നിങ്ങൾ ifdown പ്രവർത്തിപ്പിക്കേണ്ടതുണ്ട്, പുതിയ മാസ്റ്ററിൽ - ifup vip. ഒരു തകരാർ സംഭവിക്കുമ്പോൾ, പഴയ മാസ്റ്റേഴ്സ് സ്വിച്ചിലെ പോർട്ട് ഓഫാക്കിയിരിക്കുകയാണെന്ന് ഈ സ്ക്രിപ്റ്റിൽ ഉൾപ്പെടുത്തുന്നത് നന്നായിരിക്കും.
• ആദ്യം VIP നീക്കം ചെയ്യാനും കൂടാതെ/അല്ലെങ്കിൽ സ്വിച്ചിലെ പോർട്ട് കെടുത്താനും ഓർക്കസ്ട്രേറ്റർ നിങ്ങളുടെ സ്‌ക്രിപ്റ്റ് വിളിച്ച ശേഷം, പുതിയ മാസ്റ്ററിൽ VIP റൈസിംഗ് സ്‌ക്രിപ്റ്റ് എന്ന് വിളിച്ചതിന് ശേഷം, പുതിയ VIP ഇപ്പോഴാണെന്ന് എല്ലാവരോടും പറയാൻ ആർപ്പിംഗ് കമാൻഡ് ഉപയോഗിക്കാൻ മറക്കരുത്. ഇവിടെ.
• എല്ലാ അടിമകൾക്കും read_only=1 ഉണ്ടായിരിക്കണം, നിങ്ങൾ അടിമയെ യജമാനനിലേക്ക് ഉയർത്തിയാലുടൻ, അത് read_only=0 ആയിരിക്കണം.
• ഇതിനായി നമ്മൾ തിരഞ്ഞെടുത്ത ഏതൊരു അടിമക്കും യജമാനനാകാൻ കഴിയുമെന്ന കാര്യം മറക്കരുത് (ഓർക്കസ്ട്രേറ്ററിന് ഒരു മുഴുവൻ മുൻഗണന മെക്കാനിസമുണ്ട്, അതിനായി അടിമയെ ആദ്യം ഒരു പുതിയ യജമാനൻ്റെ സ്ഥാനാർത്ഥിയായി പരിഗണിക്കണം, ഏത് രണ്ടാം സ്ഥാനത്ത്, ഏത് അടിമ വേണം ഒരു സാഹചര്യത്തിലും തിരഞ്ഞെടുക്കപ്പെടരുത് മാസ്റ്റർ). അടിമ ഒരു യജമാനനാകുകയാണെങ്കിൽ, അടിമയുടെ ഭാരം അതിൽ നിലനിൽക്കുകയും യജമാനൻ്റെ ഭാരം കൂട്ടിച്ചേർക്കുകയും ചെയ്യും, ഇത് കണക്കിലെടുക്കണം.

നിങ്ങൾക്ക് ഓർക്കസ്‌ട്രേറ്റർ ഇല്ലെങ്കിൽ എന്തുകൊണ്ട് ആവശ്യമാണ്?

• ഓർക്കസ്ട്രേറ്ററിന് വളരെ ഉപയോക്തൃ-സൗഹൃദ ഗ്രാഫിക്കൽ ഇൻ്റർഫേസ് ഉണ്ട്, അത് മുഴുവൻ ടോപ്പോളജിയും പ്രദർശിപ്പിക്കുന്നു (ചുവടെയുള്ള സ്ക്രീൻഷോട്ട് കാണുക).
• ഏതൊക്കെ അടിമകളാണ് പിന്നിലെന്നും, എവിടെയാണ് പൊതുവെ റെപ്ലിക്കേഷൻ തകരാറിലായതെന്നും ഓർക്കസ്‌ട്രേറ്ററിന് ട്രാക്ക് ചെയ്യാൻ കഴിയും (എസ്എംഎസ് അയയ്‌ക്കുന്നതിന് ഓർക്കസ്‌ട്രേറ്ററിൽ സ്‌ക്രിപ്റ്റുകൾ ഘടിപ്പിച്ചിട്ടുണ്ട്).
• ഏതൊക്കെ അടിമകൾക്കാണ് GTID പിഴവുള്ളതെന്ന് ഓർക്കസ്ട്രേറ്റർ നിങ്ങളോട് പറയുന്നു.

ഓർക്കസ്ട്രേറ്റർ ഇൻ്റർഫേസ്:

എന്താണ് GTID തെറ്റ്?

ഓർക്കസ്ട്രേറ്റർ പ്രവർത്തിക്കുന്നതിന് രണ്ട് പ്രധാന ആവശ്യകതകൾ ഉണ്ട്:

• MySQL ക്ലസ്റ്ററിലെ എല്ലാ മെഷീനുകളിലും കപട GTID പ്രവർത്തനക്ഷമമാക്കേണ്ടത് ആവശ്യമാണ്;
• എല്ലായിടത്തും ഒരു തരം ബിൻലോഗുകൾ ഉണ്ടായിരിക്കേണ്ടത് ആവശ്യമാണ്, നിങ്ങൾക്ക് പ്രസ്താവന ഉപയോഗിക്കാം. യജമാനനും ഭൂരിഭാഗം അടിമകൾക്കും റോ ഉള്ള ഒരു കോൺഫിഗറേഷൻ ഞങ്ങൾക്കുണ്ടായിരുന്നു, രണ്ട് ചരിത്രപരമായി മിക്സഡ് മോഡിൽ തുടർന്നു. തൽഫലമായി, ഈ അടിമകളെ പുതിയ യജമാനനുമായി ബന്ധിപ്പിക്കാൻ ഓർക്കസ്ട്രേറ്റർ ആഗ്രഹിച്ചില്ല.

ഒരു പ്രൊഡക്ഷൻ സ്ലേവിൽ ഏറ്റവും പ്രധാനപ്പെട്ട കാര്യം യജമാനനുമായുള്ള അതിൻ്റെ സ്ഥിരതയാണെന്ന് ഓർക്കുക! നിങ്ങളുടെ യജമാനനിലും സ്ലേവിലും ഗ്ലോബൽ ട്രാൻസാക്ഷൻ ഐഡി (ജിടിഐഡി) പ്രവർത്തനക്ഷമമാക്കിയിട്ടുണ്ടെങ്കിൽ, ഡാറ്റാ മാറ്റങ്ങൾക്കായുള്ള സമാന അഭ്യർത്ഥനകൾ ഈ മെഷീനുകളിൽ യഥാർത്ഥത്തിൽ നടപ്പിലാക്കിയിട്ടുണ്ടോ എന്ന് കണ്ടെത്താൻ നിങ്ങൾക്ക് gtid_subset ഫംഗ്ഷൻ ഉപയോഗിക്കാം. നിങ്ങൾക്ക് ഇതിനെക്കുറിച്ച് കൂടുതൽ വായിക്കാം ഇവിടെ.

അങ്ങനെ, യജമാനനല്ലാത്ത ഇടപാടുകൾ സ്ലേവിൽ ഉണ്ടെന്ന് ഓർക്കസ്ട്രേറ്റർ GTID പിഴവിലൂടെ നിങ്ങളെ കാണിക്കുന്നു. എന്തുകൊണ്ടാണ് ഇത് സംഭവിക്കുന്നത്?

• സ്ലേവിൽ Read_only=1 പ്രവർത്തനക്ഷമമാക്കിയിട്ടില്ല, ആരോ ബന്ധിപ്പിച്ച് ഡാറ്റ മാറ്റാനുള്ള അഭ്യർത്ഥന പൂർത്തിയാക്കി.
• Super_read_only=1 സ്ലേവിൽ പ്രവർത്തനക്ഷമമാക്കിയിട്ടില്ല, തുടർന്ന് അഡ്മിൻ, സെർവറിനെ ആശയക്കുഴപ്പത്തിലാക്കി, അകത്തേക്ക് പോയി അഭ്യർത്ഥന അവിടെ നടപ്പിലാക്കി.
• നിങ്ങൾ മുമ്പത്തെ രണ്ട് പോയിൻ്റുകളും കണക്കിലെടുക്കുകയാണെങ്കിൽ, ഒരു ട്രിക്ക് കൂടിയുണ്ട്: MySQL-ൽ, ബിൻലോഗുകൾ ഫ്ലഷ് ചെയ്യാനുള്ള അഭ്യർത്ഥനയും ബിൻലോഗിലേക്ക് പോകുന്നു, അതിനാൽ ആദ്യ ഫ്ലഷിൽ, മാസ്റ്ററിലും എല്ലാ അടിമകളിലും ഒരു GTID പിശക് ദൃശ്യമാകും. ഇത് എങ്ങനെ ഒഴിവാക്കാം? Perona-5.7.25-28 binlog_skip_flush_commands=1 ക്രമീകരണം അവതരിപ്പിച്ചു, ഇത് ബിൻലോഗുകളിലേക്ക് ഫ്ലഷ് എഴുതുന്നത് നിരോധിക്കുന്നു. mysql.com വെബ്‌സൈറ്റിൽ സ്ഥാപിതമായ ഒന്ന് ഉണ്ട് ബഗ്.

മുകളിൽ പറഞ്ഞവയെല്ലാം ഞാൻ സംഗ്രഹിക്കട്ടെ. നിങ്ങൾക്ക് ഇതുവരെ പരാജയ മോഡിൽ ഓർക്കസ്ട്രേറ്റർ ഉപയോഗിക്കാൻ താൽപ്പര്യമില്ലെങ്കിൽ, അത് നിരീക്ഷണ മോഡിൽ ഇടുക. അപ്പോൾ നിങ്ങൾക്ക് എല്ലായ്പ്പോഴും MySQL മെഷീനുകളുടെ പ്രതിപ്രവർത്തനത്തിൻ്റെ ഒരു ഭൂപടവും ഓരോ മെഷീനിലും ഏത് തരത്തിലുള്ള പകർപ്പാണ് ഉള്ളത്, അടിമകൾ പിന്നിലാണോ, ഏറ്റവും പ്രധാനമായി, അവർ യജമാനനുമായി എത്രത്തോളം സ്ഥിരത പുലർത്തുന്നു എന്നതിനെക്കുറിച്ചുള്ള വിഷ്വൽ വിവരങ്ങളും നിങ്ങളുടെ കൺമുന്നിൽ ഉണ്ടായിരിക്കും!

വ്യക്തമായ ചോദ്യം ഇതാണ്: "ഓർക്കസ്ട്രേറ്റർ എങ്ങനെ പ്രവർത്തിക്കണം?" അവൻ നിലവിലെ അടിമകളിൽ നിന്ന് ഒരു പുതിയ യജമാനനെ തിരഞ്ഞെടുക്കണം, തുടർന്ന് എല്ലാ അടിമകളെയും അതിലേക്ക് വീണ്ടും ബന്ധിപ്പിക്കണം (ഇതിന് GTID ആവശ്യമാണ്; നിങ്ങൾ binlog_name, binlog_pos എന്നിവയുള്ള പഴയ സംവിധാനം ഉപയോഗിക്കുകയാണെങ്കിൽ, നിലവിലെ യജമാനനിൽ നിന്ന് ഒരു അടിമയെ പുതിയതിലേക്ക് മാറ്റുക. അസാധ്യമാണ്!). ഞങ്ങൾക്ക് ഓർക്കസ്ട്രേറ്റർ ഉണ്ടാകുന്നതിന് മുമ്പ്, ഒരിക്കൽ എനിക്ക് ഇതെല്ലാം സ്വമേധയാ ചെയ്യേണ്ടിവന്നു. ഒരു ബഗ്ഗി അഡാപ്‌ടെക് കൺട്രോളർ കാരണം പഴയ യജമാനൻ തൂങ്ങിക്കിടക്കുകയായിരുന്നു; അതിന് ഏകദേശം 10 അടിമകൾ ഉണ്ടായിരുന്നു. എനിക്ക് വിഐപിയെ യജമാനനിൽ നിന്ന് ഒരു അടിമയിലേക്ക് മാറ്റുകയും മറ്റെല്ലാ അടിമകളെയും അതിലേക്ക് വീണ്ടും ബന്ധിപ്പിക്കുകയും വേണം. എനിക്ക് എത്ര കൺസോളുകൾ തുറക്കേണ്ടി വന്നു, ഒരേസമയം എത്ര കമാൻഡുകൾ നൽകി... പുലർച്ചെ 3 മണി വരെ എനിക്ക് കാത്തിരിക്കേണ്ടി വന്നു, രണ്ട് ഒഴികെയുള്ള എല്ലാ അടിമകളിൽ നിന്നും ലോഡ് നീക്കം ചെയ്യുക, രണ്ട് യജമാനന്മാരുടെ ആദ്യത്തെ മെഷീൻ ഉണ്ടാക്കുക, രണ്ടാമത്തെ മെഷീൻ ഉടൻ ഘടിപ്പിക്കുക അതിലേക്ക്, അതിനാൽ മറ്റെല്ലാ അടിമകളെയും പുതിയ യജമാനനുമായി ബന്ധിപ്പിച്ച് ലോഡ് തിരികെ നൽകുക. മൊത്തത്തിൽ, ഭയങ്കരം ...

പരാജയ മോഡിലേക്ക് പോകുമ്പോൾ ഓർക്കസ്ട്രേറ്റർ എങ്ങനെ പ്രവർത്തിക്കും? ഒരു മാസ്റ്ററെ ഇപ്പോൾ ഉള്ളതിനേക്കാൾ കൂടുതൽ ശക്തവും ആധുനികവുമായ യന്ത്രമാക്കാൻ ആഗ്രഹിക്കുന്ന ഒരു സാഹചര്യത്തിൻ്റെ ഉദാഹരണത്തിലൂടെ ഇത് വളരെ എളുപ്പത്തിൽ ചിത്രീകരിക്കുന്നു.

പ്രക്രിയയുടെ മധ്യഭാഗം ചിത്രം കാണിക്കുന്നു. ഇത് വരെ എന്തെല്ലാം ചെയ്തു? ചില അടിമകളെ പുതിയ യജമാനനാക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നുവെന്ന് ഞങ്ങൾ പറഞ്ഞു, ഓർക്കസ്ട്രേറ്റർ മറ്റെല്ലാ അടിമകളെയും അതിലേക്ക് വീണ്ടും ബന്ധിപ്പിക്കാൻ തുടങ്ങി, പുതിയ മാസ്റ്റർ ഒരു ട്രാൻസിറ്റ് മെഷീനായി പ്രവർത്തിക്കുന്നു. ഈ സ്കീം ഉപയോഗിച്ച്, പിശകുകളൊന്നും സംഭവിക്കുന്നില്ല, എല്ലാ അടിമകളും പ്രവർത്തിക്കുന്നു, ഓർക്കസ്ട്രേറ്റർ പഴയ മാസ്റ്ററിൽ നിന്ന് വിഐപി നീക്കം ചെയ്യുന്നു, പുതിയതിലേക്ക് മാറ്റുന്നു, റീഡ്_ഓൺലി=0 ആക്കി പഴയ മാസ്റ്ററെ മറക്കുന്നു. എല്ലാം! ഞങ്ങളുടെ സേവനത്തിൻ്റെ പ്രവർത്തനരഹിതമായ സമയം വിഐപി ട്രാൻസ്ഫർ സമയമാണ്, അതായത് 2-3 സെക്കൻഡ്.

ഇന്നത്തേക്ക് അത്രമാത്രം, എല്ലാവർക്കും നന്ദി. ഓർക്കസ്ട്രേറ്ററിനെക്കുറിച്ച് രണ്ടാമത്തെ ലേഖനം ഉടൻ ഉണ്ടാകും. പ്രശസ്ത സോവിയറ്റ് സിനിമയായ "ഗാരേജിൽ" ഒരു കഥാപാത്രം പറഞ്ഞു, "ഞാൻ അവനുമായി രഹസ്യാന്വേഷണത്തിന് പോകില്ല!" അതിനാൽ, ഓർക്കസ്ട്രേറ്റർ, ഞാൻ നിങ്ങളോടൊപ്പം രഹസ്യാന്വേഷണത്തിനായി പോകും!

അവലംബം: www.habr.com