RabbitMQ-ന്റെ കുബർനെറ്റസിലേക്കുള്ള തടസ്സങ്ങളില്ലാത്ത കുടിയേറ്റം

RabbitMQ, എർലാങ്ങിൽ എഴുതിയ ഒരു സന്ദേശ ബ്രോക്കറാണ്, അത് ഒന്നിലധികം നോഡുകളിലുടനീളം പൂർണ്ണമായ ഡാറ്റ റെപ്ലിക്കേഷൻ ഉള്ള ഒരു പരാജയ ക്ലസ്റ്റർ സംഘടിപ്പിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു, അവിടെ ഓരോ നോഡിനും അഭ്യർത്ഥനകൾ വായിക്കാനും എഴുതാനും കഴിയും. പ്രൊഡക്ഷൻ ഓപ്പറേഷനിൽ നിരവധി കുബർനെറ്റസ് ക്ലസ്റ്ററുകൾ ഉള്ളതിനാൽ, ഞങ്ങൾ ധാരാളം റാബിറ്റ്എംക്യു ഇൻസ്റ്റാളേഷനുകളെ പിന്തുണയ്ക്കുന്നു, കൂടാതെ ഒരു ക്ലസ്റ്ററിൽ നിന്ന് മറ്റൊന്നിലേക്ക് പ്രവർത്തനരഹിതമാക്കാതെ ഡാറ്റ മൈഗ്രേറ്റ് ചെയ്യേണ്ടതിന്റെ ആവശ്യകത ഞങ്ങൾ അഭിമുഖീകരിക്കുന്നു.

കുറഞ്ഞത് രണ്ട് സാഹചര്യങ്ങളിലെങ്കിലും ഞങ്ങൾക്ക് ഈ പ്രവർത്തനം ആവശ്യമാണ്:

1. Kubernetes-ൽ സ്ഥിതിചെയ്യാത്ത RabbitMQ ക്ലസ്റ്ററിൽ നിന്ന് പുതിയ - ഇതിനകം "കുബർനെറ്റൈസ്ഡ്" (അതായത് K8s പോഡുകളിൽ പ്രവർത്തിക്കുന്നു) - ക്ലസ്റ്ററിലേക്ക് ഡാറ്റ കൈമാറുന്നു.
2. ഒരു നെയിംസ്‌പെയ്‌സിൽ നിന്ന് മറ്റൊന്നിലേക്ക് കുബർനെറ്റിനുള്ളിലെ RabbitMQ മൈഗ്രേഷൻ (ഉദാഹരണത്തിന്, സർക്യൂട്ടുകളെ നെയിംസ്‌പെയ്‌സുകളാൽ വേർതിരിക്കുകയാണെങ്കിൽ, ഒരു സർക്യൂട്ടിൽ നിന്ന് മറ്റൊന്നിലേക്ക് ഇൻഫ്രാസ്ട്രക്ചർ കൈമാറുന്നതിന്).

ലേഖനത്തിൽ നിർദ്ദേശിച്ചിരിക്കുന്ന പാചകക്കുറിപ്പ്, ഇതിനകം തന്നെ K3 കളിലോ ചില പഴയ സെർവറുകളിലോ സ്ഥിതി ചെയ്യുന്ന ഒരു പഴയ RabbitMQ ക്ലസ്റ്റർ (ഉദാഹരണത്തിന്, 8 നോഡുകൾ) ഉള്ള സാഹചര്യങ്ങളിൽ (എന്നാൽ അവയിൽ പരിമിതമല്ല) ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. Kubernetes-ൽ ഹോസ്റ്റ് ചെയ്‌ത ഒരു ആപ്ലിക്കേഷൻ (ഇതിനകം അവിടെ അല്ലെങ്കിൽ ഭാവിയിൽ) അതിനോടൊപ്പം പ്രവർത്തിക്കുന്നു:

... കുബെർനെറ്റസിലെ പുതിയ ഉൽപ്പാദനത്തിലേക്ക് അതിനെ മൈഗ്രേറ്റ് ചെയ്യാനുള്ള ചുമതലയാണ് ഞങ്ങൾ നേരിടുന്നത്.

ആദ്യം, മൈഗ്രേഷന്റെ പൊതുവായ സമീപനം വിവരിക്കും, അതിനുശേഷം അത് നടപ്പിലാക്കുന്നതിന്റെ സാങ്കേതിക വിശദാംശങ്ങൾ വിവരിക്കും.

മൈഗ്രേഷൻ അൽഗോരിതം

പഴയ RabbitMQ ഇൻസ്റ്റാളേഷനിൽ ഉയർന്ന ലഭ്യത മോഡ് പ്രവർത്തനക്ഷമമാക്കിയിട്ടുണ്ടോ എന്ന് പരിശോധിക്കുന്നതാണ് ഏതൊരു പ്രവർത്തനത്തിനും മുമ്പുള്ള ആദ്യ, പ്രാഥമിക ഘട്ടം (HA). കാരണം വ്യക്തമാണ് - ഒരു ഡാറ്റയും നഷ്‌ടപ്പെടുത്താൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നില്ല. ഈ പരിശോധന നടത്താൻ, നിങ്ങൾക്ക് RabbitMQ അഡ്‌മിൻ പാനലിലേക്ക് പോകാം, അഡ്‌മിൻ → നയങ്ങൾ ടാബിൽ മൂല്യം സജ്ജീകരിച്ചിട്ടുണ്ടെന്ന് ഉറപ്പാക്കുക ha-mode: all:

അടുത്ത ഘട്ടം Kubernetes പോഡുകളിൽ ഒരു പുതിയ RabbitMQ ക്ലസ്റ്റർ ഉയർത്തുക എന്നതാണ് (ഞങ്ങളുടെ കാര്യത്തിൽ, ഉദാഹരണത്തിന്, 3 നോഡുകൾ അടങ്ങിയതാണ്, പക്ഷേ അവയുടെ എണ്ണം വ്യത്യസ്തമായിരിക്കാം).

ഇതിനുശേഷം, ഞങ്ങൾ പഴയതും പുതിയതുമായ RabbitMQ ക്ലസ്റ്ററുകൾ ലയിപ്പിച്ച് ഒരൊറ്റ ക്ലസ്റ്റർ (6 നോഡുകളുടെ) നേടുന്നു:

പഴയതും പുതിയതുമായ RabbitMQ ക്ലസ്റ്ററുകൾ തമ്മിലുള്ള ഡാറ്റ സിൻക്രൊണൈസേഷൻ പ്രക്രിയ ആരംഭിച്ചു. ക്ലസ്റ്ററിലെ എല്ലാ നോഡുകൾക്കുമിടയിൽ എല്ലാ ഡാറ്റയും സമന്വയിപ്പിച്ചുകഴിഞ്ഞാൽ, പുതിയ ക്ലസ്റ്റർ ഉപയോഗിക്കുന്നതിന് നമുക്ക് ആപ്ലിക്കേഷൻ മാറാം:

ഈ പ്രവർത്തനങ്ങൾക്ക് ശേഷം, RabbitMQ ക്ലസ്റ്ററിൽ നിന്ന് പഴയ നോഡുകൾ നീക്കംചെയ്യാൻ ഇത് മതിയാകും, കൂടാതെ നീക്കം പൂർത്തിയായതായി കണക്കാക്കാം:

ഉൽപ്പാദനത്തിൽ ഞങ്ങൾ ഈ സ്കീം പലതവണ ഉപയോഗിച്ചു. എന്നിരുന്നാലും, ഞങ്ങളുടെ സൗകര്യാർത്ഥം, ഒന്നിലധികം Kubernetes ക്ലസ്റ്ററുകളിലുടനീളം സാധാരണ RMQ കോൺഫിഗറേഷനുകൾ വിതരണം ചെയ്യുന്ന ഒരു പ്രത്യേക സംവിധാനത്തിനുള്ളിൽ ഞങ്ങൾ ഇത് നടപ്പിലാക്കി. (ജിജ്ഞാസയുള്ളവർക്ക്: ഞങ്ങൾ സംസാരിക്കുന്നത് addon-operatorഅതിനെ കുറിച്ച് ഞങ്ങൾ അടുത്തിടെ പറഞ്ഞു). നിർദ്ദേശിച്ച പരിഹാരം പ്രവർത്തനക്ഷമമായി പരീക്ഷിക്കുന്നതിനായി ആർക്കും അവരുടെ ഇൻസ്റ്റാളേഷനുകളിൽ പ്രയോഗിക്കാൻ കഴിയുന്ന വ്യക്തിഗത നിർദ്ദേശങ്ങൾ ഞങ്ങൾ ചുവടെ അവതരിപ്പിക്കും.

നമുക്ക് പ്രായോഗികമായി ശ്രമിക്കാം

ആവശ്യകതകൾ

വിശദാംശങ്ങൾ വളരെ ലളിതമാണ്:

1. കുബർനെറ്റസ് ക്ലസ്റ്ററും (മിനിക്യൂബ് പ്രവർത്തിക്കും);
2. RabbitMQ ക്ലസ്റ്റർ (നഗ്നമായ ലോഹത്തിൽ വിന്യസിക്കാം, ഔദ്യോഗിക ഹെൽം ചാർട്ടിൽ നിന്ന് കുബെർനെറ്റസിലെ ഒരു സാധാരണ ക്ലസ്റ്റർ പോലെ നിർമ്മിക്കാം).

ചുവടെയുള്ള ഉദാഹരണത്തിനായി, ഞാൻ കുബർനെറ്റസിലേക്ക് RMQ വിന്യസിക്കുകയും അതിനെ വിളിക്കുകയും ചെയ്തു rmq-old.

സ്റ്റാൻഡ് തയ്യാറെടുപ്പ്

1. ഹെൽം ചാർട്ട് ഡൗൺലോഡ് ചെയ്ത് കുറച്ച് എഡിറ്റ് ചെയ്യുക:

helm fetch --untar stable/rabbitmq-ha

സൗകര്യാർത്ഥം, ഞങ്ങൾ ഒരു പാസ്‌വേഡ് സജ്ജമാക്കി, ErlangCookie രാഷ്ട്രീയം ഉണ്ടാക്കുക ha-allഅങ്ങനെ സ്വതവേ ക്യൂകൾ RMQ ക്ലസ്റ്ററിന്റെ എല്ലാ നോഡുകൾക്കും ഇടയിൽ സമന്വയിപ്പിക്കപ്പെടുന്നു:

rabbitmqPassword: guest
rabbitmqErlangCookie: mae9joopaol7aiVu3eechei2waiGa2we
definitions:
policies: |-
  {
    "name": "ha-all",
    "pattern": ".*",
    "vhost": "/",
    "definition": {
      "ha-mode": "all",
      "ha-sync-mode": "automatic",
      "ha-sync-batch-size": 81920
    }
  }

2. ചാർട്ട് ഇൻസ്റ്റാൾ ചെയ്യുക:

helm install . --name rmq-old --namespace rmq-old

3. RabbitMQ അഡ്‌മിൻ പാനലിലേക്ക് പോകുക, ഒരു പുതിയ ക്യൂ സൃഷ്‌ടിച്ച് നിരവധി സന്ദേശങ്ങൾ ചേർക്കുക. അവ ആവശ്യമായി വരും, അതിനാൽ മൈഗ്രേഷനുശേഷം എല്ലാ ഡാറ്റയും സംരക്ഷിക്കപ്പെട്ടിട്ടുണ്ടെന്നും ഞങ്ങൾക്ക് ഒന്നും നഷ്‌ടപ്പെട്ടിട്ടില്ലെന്നും ഉറപ്പാക്കാൻ കഴിയും:

ടെസ്റ്റ് ബെഞ്ച് തയ്യാറാണ്: ട്രാൻസ്ഫർ ചെയ്യേണ്ട ഡാറ്റയുള്ള "പഴയ" RabbitMQ ഞങ്ങളുടെ പക്കലുണ്ട്.

ഒരു RabbitMQ ക്ലസ്റ്റർ മൈഗ്രേറ്റ് ചെയ്യുന്നു

1. ആദ്യം, നമുക്ക് പുതിയ RabbitMQ വിന്യസിക്കാം സുഹൃത്ത് കൂടെ നെയിംസ്പേസ് അതേ ErlangCookie ഉപയോക്താവിനുള്ള പാസ്‌വേഡും. ഇത് ചെയ്യുന്നതിന്, മുകളിൽ വിവരിച്ച പ്രവർത്തനങ്ങൾ ഞങ്ങൾ നിർവഹിക്കും, RMQ ഇൻസ്റ്റാൾ ചെയ്യുന്നതിനുള്ള അന്തിമ കമാൻഡ് ഇനിപ്പറയുന്നതിലേക്ക് മാറ്റുന്നു:

helm install . --name rmq-new --namespace rmq-new

2. ഇപ്പോൾ നിങ്ങൾ പുതിയ ക്ലസ്റ്ററിനെ പഴയതുമായി ലയിപ്പിക്കേണ്ടതുണ്ട്. ഇത് ചെയ്യുന്നതിന്, ഓരോ പോഡുകളിലേക്കും പോകുക പുതിയ RabbitMQ, കമാൻഡുകൾ എക്സിക്യൂട്ട് ചെയ്യുക:

export OLD_RMQ=rabbit@rmq-old-rabbitmq-ha-0.rmq-old-rabbitmq-ha-discovery.rmq-old.svc.cluster.local && 
  rabbitmqctl stop_app && 
  rabbitmqctl join_cluster $OLD_RMQ && 
  rabbitmqctl start_app

ഒരു വേരിയബിളിൽ OLD_RMQ നോഡുകളിലൊന്നിന്റെ വിലാസം കണ്ടെത്തി പഴയത് RMQ ക്ലസ്റ്റർ.

ഈ കമാൻഡുകൾ നിലവിലെ നോഡ് നിർത്തും പുതിയ RMQ ക്ലസ്റ്റർ, പഴയ ക്ലസ്റ്ററിലേക്ക് ഘടിപ്പിച്ച് വീണ്ടും സമാരംഭിക്കുക.

3. 6 നോഡുകളുടെ RMQ ക്ലസ്റ്റർ തയ്യാറാണ്:

എല്ലാ നോഡുകൾക്കിടയിലും സന്ദേശങ്ങൾ സമന്വയിപ്പിക്കുമ്പോൾ നിങ്ങൾ കാത്തിരിക്കണം. സന്ദേശ സമന്വയ സമയം ക്ലസ്റ്റർ വിന്യസിച്ചിരിക്കുന്ന ഹാർഡ്‌വെയറിന്റെ ശേഷിയെയും സന്ദേശങ്ങളുടെ എണ്ണത്തെയും ആശ്രയിച്ചിരിക്കുന്നുവെന്ന് ഊഹിക്കാൻ പ്രയാസമില്ല. വിവരിച്ച സാഹചര്യത്തിൽ, അവയിൽ 10 എണ്ണം മാത്രമേയുള്ളൂ, അതിനാൽ ഡാറ്റ തൽക്ഷണം സമന്വയിപ്പിക്കപ്പെട്ടു, പക്ഷേ ആവശ്യത്തിന് ധാരാളം സന്ദേശങ്ങൾ ഉള്ളതിനാൽ, സിൻക്രൊണൈസേഷൻ മണിക്കൂറുകളോളം നീണ്ടുനിൽക്കും.

അതിനാൽ, സമന്വയ നില:

ഇത് +5 സന്ദേശങ്ങൾ ഇതിനകം അകത്തുണ്ട് എന്നാണ് അർത്ഥമാക്കുന്നത് കൂടുതൽ 5 നോഡുകളിൽ (ഫീൽഡിൽ സൂചിപ്പിച്ചിരിക്കുന്നവ ഒഴികെ Node). അങ്ങനെ, സമന്വയം വിജയകരമായിരുന്നു.

4. ആപ്ലിക്കേഷനിലെ RMQ വിലാസം പുതിയ ക്ലസ്റ്ററിലേക്ക് മാറ്റുക മാത്രമാണ് അവശേഷിക്കുന്നത് (ഇവിടെയുള്ള നിർദ്ദിഷ്ട പ്രവർത്തനങ്ങൾ നിങ്ങൾ ഉപയോഗിക്കുന്ന ടെക്നോളജി സ്റ്റാക്കിനെയും മറ്റ് ആപ്ലിക്കേഷൻ സവിശേഷതകളെയും ആശ്രയിച്ചിരിക്കുന്നു), അതിനുശേഷം നിങ്ങൾക്ക് പഴയതിനോട് വിടപറയാം.

അവസാന പ്രവർത്തനത്തിന് (അതായത് ഇതിനകം после ആപ്ലിക്കേഷൻ ഒരു പുതിയ ക്ലസ്റ്ററിലേക്ക് മാറ്റുന്നു) ഓരോ നോഡിലേക്കും പോകുക പഴയത് കമാൻഡുകൾ ക്ലസ്റ്റർ ചെയ്ത് എക്സിക്യൂട്ട് ചെയ്യുക:

rabbitmqctl stop_app
rabbitmqctl reset

പഴയ നോഡുകളെ കുറിച്ച് ക്ലസ്റ്റർ "മറന്നു": നിങ്ങൾക്ക് പഴയ RMQ ഇല്ലാതാക്കാൻ കഴിയും, ആ സമയത്ത് നീക്കം പൂർത്തിയാകും.

അഭിപായപ്പെടുക: നിങ്ങൾ സർട്ടിഫിക്കറ്റുകൾക്കൊപ്പം RMQ ഉപയോഗിക്കുകയാണെങ്കിൽ, അടിസ്ഥാനപരമായി ഒന്നും മാറുന്നില്ല - ചലിക്കുന്ന പ്രക്രിയ അതേപടി തന്നെ നടപ്പിലാക്കും.

കണ്ടെത്തലുകൾ

RabbitMQ മൈഗ്രേറ്റ് ചെയ്യേണ്ടിവരുമ്പോൾ അല്ലെങ്കിൽ ഒരു പുതിയ ക്ലസ്റ്ററിലേക്ക് മാറേണ്ടിവരുമ്പോൾ വിവരിച്ച സ്കീം മിക്കവാറും എല്ലാ സാഹചര്യങ്ങൾക്കും അനുയോജ്യമാണ്.

ഞങ്ങളുടെ കാര്യത്തിൽ, പല സ്ഥലങ്ങളിൽ നിന്നും ആർ‌എം‌ക്യു ആക്‌സസ് ചെയ്‌തപ്പോൾ ഒരിക്കൽ മാത്രമാണ് ബുദ്ധിമുട്ടുകൾ ഉണ്ടായത്, മാത്രമല്ല എല്ലായിടത്തും ആർ‌എം‌ക്യു വിലാസം പുതിയതിലേക്ക് മാറ്റാൻ ഞങ്ങൾക്ക് അവസരമില്ലായിരുന്നു. തുടർന്ന് ഞങ്ങൾ അതേ നെയിംസ്‌പെയ്‌സിൽ അതേ ലേബലുകളോടെ ഒരു പുതിയ RMQ സമാരംഭിച്ചു, അതുവഴി അത് നിലവിലുള്ള സേവനങ്ങൾക്കും ഇൻഗ്രെസ്സുകൾക്കും കീഴിലാകും, കൂടാതെ പോഡ് സമാരംഭിക്കുമ്പോൾ ഞങ്ങൾ ലേബലുകൾ കൈകൊണ്ട് കൈകാര്യം ചെയ്യുകയും അഭ്യർത്ഥനകൾ വീഴാതിരിക്കാൻ തുടക്കത്തിൽ തന്നെ നീക്കം ചെയ്യുകയും ചെയ്തു. RMQ ശൂന്യമാക്കി, സന്ദേശങ്ങൾ സമന്വയിപ്പിച്ച ശേഷം അവ തിരികെ ചേർക്കുന്നു.

മാറിയ കോൺഫിഗറേഷനുള്ള ഒരു പുതിയ പതിപ്പിലേക്ക് RabbitMQ അപ്‌ഡേറ്റ് ചെയ്യുമ്പോൾ ഞങ്ങൾ ഇതേ തന്ത്രം ഉപയോഗിച്ചു - എല്ലാം ഒരു ക്ലോക്ക് പോലെ പ്രവർത്തിച്ചു.

പി.എസ്

ഈ മെറ്റീരിയലിന്റെ യുക്തിസഹമായ തുടർച്ചയെന്ന നിലയിൽ, ഞങ്ങൾ മോംഗോഡിബി (ഒരു ഹാർഡ്‌വെയർ സെർവറിൽ നിന്ന് കുബർനെറ്റസിലേക്കുള്ള മൈഗ്രേഷൻ), MySQL (കുബർനെറ്റിനുള്ളിൽ ഈ ഡിബിഎംഎസ് എങ്ങനെ തയ്യാറാക്കുന്നു) എന്നിവയെക്കുറിച്ചുള്ള ലേഖനങ്ങൾ തയ്യാറാക്കുന്നു. അവ വരും മാസങ്ങളിൽ പ്രസിദ്ധീകരിക്കും.

പിപിഎസ്

ഞങ്ങളുടെ ബ്ലോഗിലും വായിക്കുക:

• «ഡാറ്റാബേസുകളും കുബർനെറ്റുകളും (അവലോകനവും വീഡിയോ റിപ്പോർട്ടും)";
• «K8s നുറുങ്ങുകളും തന്ത്രങ്ങളും: വലിയ ഡാറ്റാബേസുകൾക്കായി ബൂട്ട്സ്ട്രാപ്പ് വേഗത്തിലാക്കുന്നു".

അവലംബം: www.habr.com