RabbitMQ નું કુબરનેટ્સમાં સીમલેસ સ્થળાંતર

RabbitMQ એ એર્લાંગમાં લખાયેલ સંદેશ બ્રોકર છે જે તમને બહુવિધ નોડ્સ પર સંપૂર્ણ ડેટા પ્રતિકૃતિ સાથે ફેલઓવર ક્લસ્ટર ગોઠવવાની મંજૂરી આપે છે, જ્યાં દરેક નોડ વિનંતીઓ વાંચવા અને લખવાની સેવા આપી શકે છે. પ્રોડક્શન ઑપરેશનમાં ઘણાં કુબરનેટ્સ ક્લસ્ટરો હોવાને કારણે, અમે મોટી સંખ્યામાં RabbitMQ ઇન્સ્ટોલેશનને સપોર્ટ કરીએ છીએ અને ડાઉનટાઇમ વિના ડેટાને એક ક્લસ્ટરમાંથી બીજા ક્લસ્ટરમાં સ્થાનાંતરિત કરવાની જરૂરિયાતનો સામનો કરવો પડ્યો હતો.

અમને ઓછામાં ઓછા બે કેસોમાં આ ઓપરેશનની જરૂર છે:

1. RabbitMQ ક્લસ્ટરમાંથી ડેટા ટ્રાન્સફર કરી રહ્યા છે જે કુબરનેટ્સમાં સ્થિત નથી - એક નવા - પહેલાથી જ "કુબરનેટાઇઝ્ડ" (એટલે ​​​​કે K8s પોડ્સમાં કાર્યરત છે) - ક્લસ્ટરમાં.
2. RabbitMQ નું Kubernetes માં એક નેમસ્પેસથી બીજામાં સ્થળાંતર (ઉદાહરણ તરીકે, જો સર્કિટ નેમસ્પેસ દ્વારા સીમાંકિત કરવામાં આવે છે, તો પછી એક સર્કિટમાંથી બીજા સર્કિટમાં ઈન્ફ્રાસ્ટ્રક્ચર ટ્રાન્સફર કરવા માટે).

લેખમાં સૂચિત રેસીપી એવી પરિસ્થિતિઓ પર કેન્દ્રિત છે (પરંતુ તે તેના સુધી મર્યાદિત નથી) જેમાં એક જૂનું RabbitMQ ક્લસ્ટર છે (ઉદાહરણ તરીકે, 3 નોડ્સનું), કાં તો પહેલેથી K8s અથવા કેટલાક જૂના સર્વર પર સ્થિત છે. કુબરનેટ્સ પર હોસ્ટ કરેલી એપ્લિકેશન (પહેલેથી જ ત્યાં છે અથવા ભવિષ્યમાં) તેની સાથે કામ કરે છે:

... અને અમે તેને કુબરનેટ્સમાં નવા ઉત્પાદનમાં સ્થાનાંતરિત કરવાના કાર્યનો સામનો કરી રહ્યા છીએ.

પ્રથમ, સ્થળાંતર માટેના સામાન્ય અભિગમનું વર્ણન કરવામાં આવશે, અને તે પછી તેના અમલીકરણની તકનીકી વિગતોનું વર્ણન કરવામાં આવશે.

સ્થળાંતર અલ્ગોરિધમ

કોઈપણ ક્રિયા પહેલાં પ્રથમ, પ્રારંભિક, તબક્કો એ તપાસવાનો છે કે જૂના RabbitMQ ઇન્સ્ટોલેશનમાં ઉચ્ચ ઉપલબ્ધતા મોડ સક્ષમ છે (HA). કારણ સ્પષ્ટ છે - અમે કોઈપણ ડેટા ગુમાવવા માંગતા નથી. આ તપાસ કરવા માટે, તમે RabbitMQ એડમિન પેનલ પર જઈ શકો છો અને એડમિન → નીતિઓ ટૅબમાં ખાતરી કરો કે મૂલ્ય સેટ છે. ha-mode: all:

આગળનું પગલું કુબરનેટ્સ પોડ્સમાં એક નવું RabbitMQ ક્લસ્ટર ઊભું કરવાનું છે (અમારા કિસ્સામાં, ઉદાહરણ તરીકે, 3 નોડ્સનો સમાવેશ થાય છે, પરંતુ તેમની સંખ્યા અલગ હોઈ શકે છે).

આ પછી, અમે જૂના અને નવા RabbitMQ ક્લસ્ટરોને મર્જ કરીએ છીએ, એક જ ક્લસ્ટર (6 નોડ્સનું):

જૂના અને નવા RabbitMQ ક્લસ્ટરો વચ્ચે ડેટા સિંક્રનાઇઝેશનની પ્રક્રિયા શરૂ કરવામાં આવી છે. એકવાર તમામ ડેટા ક્લસ્ટરના તમામ નોડ્સ વચ્ચે સમન્વયિત થઈ જાય, અમે નવા ક્લસ્ટરનો ઉપયોગ કરવા માટે એપ્લિકેશનને સ્વિચ કરી શકીએ છીએ:

આ ઑપરેશન્સ પછી, રેબિટએમક્યુ ક્લસ્ટરમાંથી જૂના ગાંઠોને દૂર કરવા માટે તે પૂરતું છે, અને ચાલને સંપૂર્ણ ગણી શકાય:

અમે ઉત્પાદનમાં ઘણી વખત આ યોજનાનો ઉપયોગ કર્યો છે. જો કે, અમારી પોતાની સગવડ માટે, અમે તેને એક વિશિષ્ટ સિસ્ટમમાં અમલમાં મૂક્યું છે જે બહુવિધ કુબરનેટ્સ ક્લસ્ટરોમાં પ્રમાણભૂત RMQ ગોઠવણીઓનું વિતરણ કરે છે. (જેઓ વિચિત્ર છે તેમના માટે: અમે વાત કરી રહ્યા છીએ એડઓન ઓપરેટરજેના વિશે અમે હમણાં જ કહ્યું). નીચે અમે વ્યક્તિગત સૂચનાઓ રજૂ કરીશું જે કોઈપણ વ્યક્તિ તેમના ઇન્સ્ટોલેશન પર લાગુ કરી શકે છે જેથી કરીને સૂચિત ઉકેલને કાર્યમાં અજમાવી શકાય.

ચાલો વ્યવહારમાં તેનો પ્રયાસ કરીએ

જરૂરીયાતો

વિગતો ખૂબ જ સરળ છે:

1. કુબરનેટ્સ ક્લસ્ટર (મિનીક્યુબ પણ કામ કરશે);
2. રેબિટએમક્યુ ક્લસ્ટર (બેર મેટલ પર તૈનાત કરી શકાય છે, અને સત્તાવાર હેલ્મ ચાર્ટમાંથી કુબરનેટ્સમાં નિયમિત ક્લસ્ટરની જેમ બનાવી શકાય છે).

નીચેના ઉદાહરણ માટે, મેં કુબરનેટ્સ પર RMQ જમાવ્યું અને તેને કૉલ કર્યો rmq-old.

સ્ટેન્ડ તૈયારી

1. હેલ્મ ચાર્ટ ડાઉનલોડ કરો અને તેમાં થોડો ફેરફાર કરો:

helm fetch --untar stable/rabbitmq-ha

સગવડ માટે, અમે પાસવર્ડ સેટ કરીએ છીએ, ErlangCookie અને રાજકારણ કરો ha-allજેથી મૂળભૂત રીતે કતારોને RMQ ક્લસ્ટરના તમામ નોડ્સ વચ્ચે સમન્વયિત કરવામાં આવે:

rabbitmqPassword: guest
rabbitmqErlangCookie: mae9joopaol7aiVu3eechei2waiGa2we
definitions:
policies: |-
  {
    "name": "ha-all",
    "pattern": ".*",
    "vhost": "/",
    "definition": {
      "ha-mode": "all",
      "ha-sync-mode": "automatic",
      "ha-sync-batch-size": 81920
    }
  }

2. ચાર્ટ ઇન્સ્ટોલ કરો:

helm install . --name rmq-old --namespace rmq-old

3. RabbitMQ એડમિન પેનલ પર જાઓ, નવી કતાર બનાવો અને ઘણા સંદેશાઓ ઉમેરો. તેમની જરૂર પડશે જેથી સ્થળાંતર પછી અમે ખાતરી કરી શકીએ કે તમામ ડેટા સાચવેલ છે અને અમે કંઈપણ ગુમાવ્યું નથી:

ટેસ્ટ બેન્ચ તૈયાર છે: અમારી પાસે ડેટા સાથે "જૂનું" RabbitMQ છે જેને ટ્રાન્સફર કરવાની જરૂર છે.

RabbitMQ ક્લસ્ટરનું સ્થાનાંતરણ

1. પ્રથમ, ચાલો નવા RabbitMQ ને જમાવીએ મિત્ર સાથે નેમસ્પેસ સમાન ErlangCookie અને વપરાશકર્તા માટે પાસવર્ડ. આ કરવા માટે, અમે ઉપર વર્ણવેલ ઑપરેશન્સ કરીશું, RMQ ઇન્સ્ટોલ કરવા માટેના અંતિમ આદેશને નીચેનામાં બદલીશું:

helm install . --name rmq-new --namespace rmq-new

2. હવે તમારે નવા ક્લસ્ટરને જૂના સાથે મર્જ કરવાની જરૂર છે. આ કરવા માટે, દરેક શીંગો પર જાઓ નવી RabbitMQ અને આદેશો ચલાવો:

export OLD_RMQ=rabbit@rmq-old-rabbitmq-ha-0.rmq-old-rabbitmq-ha-discovery.rmq-old.svc.cluster.local && 
  rabbitmqctl stop_app && 
  rabbitmqctl join_cluster $OLD_RMQ && 
  rabbitmqctl start_app

ચલમાં OLD_RMQ એક નોડનું સરનામું મળે છે જૂનું RMQ ક્લસ્ટર.

આ આદેશો વર્તમાન નોડને બંધ કરશે નવી RMQ ક્લસ્ટર, તેને જૂના ક્લસ્ટર સાથે જોડો અને તેને ફરીથી લોંચ કરો.

3. 6 નોડ્સનું RMQ ક્લસ્ટર તૈયાર છે:

બધા નોડ્સ વચ્ચે સંદેશાઓ સિંક્રનાઇઝ થાય ત્યાં સુધી તમારે રાહ જોવી પડશે. તે અનુમાન લગાવવું મુશ્કેલ નથી કે સંદેશ સિંક્રનાઇઝેશન સમય હાર્ડવેરની ક્ષમતા કે જેના પર ક્લસ્ટર જમાવવામાં આવે છે અને સંદેશાઓની સંખ્યા પર આધાર રાખે છે. વર્ણવેલ દૃશ્યમાં, તેમાંના ફક્ત 10 જ છે, તેથી ડેટા તરત જ સિંક્રનાઇઝ કરવામાં આવ્યો હતો, પરંતુ પર્યાપ્ત મોટી સંખ્યામાં સંદેશાઓ સાથે, સિંક્રનાઇઝેશન કલાકો સુધી ટકી શકે છે.

તેથી, સિંક્રનાઇઝેશન સ્થિતિ:

તે +5 એટલે કે સંદેશાઓ પહેલાથી જ છે વધુ 5 નોડ્સ પર (ક્ષેત્રમાં જે દર્શાવેલ છે તે સિવાય Node). આમ, સિંક્રનાઇઝેશન સફળ થયું.

4. એપ્લીકેશનમાંના RMQ એડ્રેસને નવા ક્લસ્ટરમાં સ્વિચ કરવાનું બાકી રહે છે (અહીંની ચોક્કસ ક્રિયાઓ તમે ઉપયોગ કરી રહ્યાં છો તે ટેક્નોલોજી સ્ટેક અને અન્ય એપ્લીકેશન સ્પેસિફિકેશન પર આધાર રાખે છે), જે પછી તમે જૂનાને અલવિદા કહી શકો છો.

છેલ્લા ઓપરેશન માટે (એટલે ​​કે પહેલેથી જ после એપ્લિકેશનને નવા ક્લસ્ટર પર સ્વિચ કરી રહ્યા છીએ) દરેક નોડ પર જાઓ જૂનું આદેશોને ક્લસ્ટર કરો અને એક્ઝિક્યુટ કરો:

rabbitmqctl stop_app
rabbitmqctl reset

જૂના નોડ્સ વિશે ક્લસ્ટર "ભૂલી ગયું": તમે જૂના RMQ ને કાઢી શકો છો, જે સમયે ચાલ પૂર્ણ થશે.

નોંધણી: જો તમે પ્રમાણપત્રો સાથે RMQ નો ઉપયોગ કરો છો, તો પછી મૂળભૂત રીતે કંઈપણ બદલાતું નથી - ખસેડવાની પ્રક્રિયા બરાબર એ જ રીતે હાથ ધરવામાં આવશે.

તારણો

વર્ણવેલ સ્કીમ લગભગ તમામ કેસો માટે યોગ્ય છે જ્યારે આપણે RabbitMQ ને સ્થાનાંતરિત કરવાની અથવા ફક્ત નવા ક્લસ્ટરમાં જવાની જરૂર હોય.

અમારા કિસ્સામાં, મુશ્કેલીઓ ફક્ત એક જ વાર ઊભી થઈ, જ્યારે RMQ ને ઘણી જગ્યાએથી એક્સેસ કરવામાં આવ્યું હતું, અને અમારી પાસે દરેક જગ્યાએ RMQ એડ્રેસને નવામાં બદલવાની તક નહોતી. પછી અમે એ જ નેમસ્પેસમાં સમાન લેબલ્સ સાથે એક નવો RMQ લોન્ચ કર્યો જેથી તે હાલની સેવાઓ અને પ્રવેશ હેઠળ આવે, અને પોડ લોન્ચ કરતી વખતે અમે લેબલોને હાથથી ચાલાકી કરી, શરૂઆતમાં તેમને દૂર કર્યા જેથી વિનંતીઓ પર ન આવે. ખાલી RMQ, અને સંદેશાઓ સમન્વયિત થયા પછી તેમને પાછા ઉમેરી રહ્યા છે.

બદલાયેલ રૂપરેખાંકન સાથે RabbitMQ ને નવા સંસ્કરણ પર અપડેટ કરતી વખતે અમે સમાન વ્યૂહરચનાનો ઉપયોગ કર્યો - બધું ઘડિયાળની જેમ કામ કરે છે.

PS

આ સામગ્રીના તાર્કિક સાતત્ય તરીકે, અમે MongoDB (હાર્ડવેર સર્વરથી કુબરનેટ્સમાં સ્થળાંતર) અને MySQL (આ DBMSને કુબરનેટ્સની અંદર કેવી રીતે તૈયાર કરીએ છીએ) વિશે લેખો તૈયાર કરી રહ્યા છીએ. તેઓ આગામી મહિનામાં પ્રકાશિત કરવામાં આવશે.

પી.પી.એસ.

અમારા બ્લોગ પર પણ વાંચો:

• «ડેટાબેસેસ અને કુબરનેટ્સ (સમીક્ષા અને વિડિયો રિપોર્ટ)»;
• «K8s ટીપ્સ અને યુક્તિઓ: મોટા ડેટાબેસેસ માટે બુટસ્ટ્રેપને ઝડપી બનાવવું».

સોર્સ: www.habr.com