સિટીમોબિલમાં અમે અમારા મુખ્ય સતત ડેટા સ્ટોરેજ તરીકે MySQL ડેટાબેઝનો ઉપયોગ કરીએ છીએ. અમારી પાસે વિવિધ સેવાઓ અને હેતુઓ માટે ઘણા ડેટાબેઝ ક્લસ્ટર છે.

માસ્ટરની સતત ઉપલબ્ધતા એ સમગ્ર સિસ્ટમ અને તેના વ્યક્તિગત ભાગોના પ્રદર્શનનું નિર્ણાયક સૂચક છે. મુખ્ય નિષ્ફળતાના કિસ્સામાં સ્વચાલિત ક્લસ્ટર પુનઃપ્રાપ્તિ ઘટના પ્રતિભાવ સમય અને સિસ્ટમ ડાઉનટાઇમને મોટા પ્રમાણમાં ઘટાડે છે. આ લેખમાં, હું MySQL ક્લસ્ટર માટે ઉચ્ચ ઉપલબ્ધતા (HA) ડિઝાઇન જોઈશ MySQL ઓર્કેસ્ટ્રેટર અને વર્ચ્યુઅલ IP એડ્રેસ (VIP).

VIP પર આધારિત HA ઉકેલ

પ્રથમ, હું તમને ટૂંકમાં કહીશ કે અમારી ડેટા સ્ટોરેજ સિસ્ટમ શું છે.

અમે એક લેખન-સુલભ માસ્ટર અને બહુવિધ વાંચન-માત્ર પ્રતિકૃતિઓ સાથે ક્લાસિક પ્રતિકૃતિ યોજનાનો ઉપયોગ કરીએ છીએ. ક્લસ્ટરમાં મધ્યવર્તી માસ્ટર હોઈ શકે છે - એક નોડ જે અન્ય લોકો માટે પ્રતિકૃતિ અને માસ્ટર બંને છે. ગ્રાહકો HAProxy દ્વારા પ્રતિકૃતિઓ ઍક્સેસ કરે છે, જે લોડ વિતરણ અને સરળ સ્કેલિંગ માટે પરવાનગી આપે છે. HAProxy નો ઉપયોગ ઐતિહાસિક કારણોસર છે, અને અમે હાલમાં ProxySQL પર સ્થળાંતર કરવાની પ્રક્રિયામાં છીએ.

પર આધારિત અર્ધ-સિંક્રનસ મોડમાં પ્રતિકૃતિ કરવામાં આવે છે GTID. આનો અર્થ એ છે કે ઓછામાં ઓછી એક પ્રતિકૃતિને સફળ ગણવામાં આવે તે પહેલાં વ્યવહારને લૉગ કરવો આવશ્યક છે. આ પ્રતિકૃતિ મોડ માસ્ટર નોડની નિષ્ફળતાના કિસ્સામાં પ્રદર્શન અને ડેટા સલામતી વચ્ચે શ્રેષ્ઠ સંતુલન પ્રદાન કરે છે. મૂળભૂત રીતે તમામ ફેરફારોનો ઉપયોગ કરીને માસ્ટરમાંથી પ્રતિકૃતિઓમાં સ્થાનાંતરિત થાય છે Row Based Replication (RBR), પરંતુ કેટલાક ગાંઠો હોઈ શકે છે mixed binlog format.

ઓર્કેસ્ટ્રેટર સમયાંતરે ક્લસ્ટર ટોપોલોજીની સ્થિતિને અપડેટ કરે છે, પ્રાપ્ત માહિતીનું વિશ્લેષણ કરે છે અને જો સમસ્યાઓ ઊભી થાય, તો તે સ્વચાલિત પુનઃપ્રાપ્તિ પ્રક્રિયા શરૂ કરી શકે છે. પ્રક્રિયા માટે વિકાસકર્તા પોતે જ જવાબદાર છે, કારણ કે તે વિવિધ રીતે લાગુ કરી શકાય છે: VIP, DNS પર આધારિત, સેવા શોધ સેવાઓ અથવા સ્વ-લેખિત પદ્ધતિઓનો ઉપયોગ કરીને.

જો તે નિષ્ફળ જાય તો માસ્ટરને પુનઃસ્થાપિત કરવાની એક સરળ રીત છે ફ્લોટિંગ VIP સરનામાંનો ઉપયોગ કરવો.

આગળ વધતા પહેલા તમારે આ ઉકેલ વિશે શું જાણવાની જરૂર છે:

• VIP એ IP સરનામું છે જે ચોક્કસ ભૌતિક નેટવર્ક ઇન્ટરફેસ સાથે સંકળાયેલું નથી. જો કોઈ નોડ નિષ્ફળ જાય અથવા સુનિશ્ચિત જાળવણી દરમિયાન, અમે ન્યૂનતમ ડાઉનટાઇમ સાથે VIP ને બીજા સંસાધન પર સ્વિચ કરી શકીએ છીએ.
• વર્ચ્યુઅલ IP એડ્રેસ મુક્ત કરવું અને જારી કરવું એ એક સસ્તી અને ઝડપી કામગીરી છે.
• VIP સાથે કામ કરવા માટે, તમારે SSH મારફતે સર્વરની ઍક્સેસ અથવા વિશિષ્ટ ઉપયોગિતાઓનો ઉપયોગ કરવાની જરૂર છે, ઉદાહરણ તરીકે, keepalived.

ચાલો અમારા વિઝાર્ડ સાથે સંભવિત સમસ્યાઓ જોઈએ અને કલ્પના કરીએ કે સ્વચાલિત પુનઃપ્રાપ્તિ પદ્ધતિ કેવી રીતે કાર્ય કરવી જોઈએ.

માસ્ટર સાથે નેટવર્ક કનેક્ટિવિટી અદૃશ્ય થઈ ગઈ છે, અથવા હાર્ડવેર સ્તરે કોઈ સમસ્યા ઊભી થઈ છે, અને સર્વર અનુપલબ્ધ છે

1. ઓર્કેસ્ટ્રેટર ક્લસ્ટર ટોપોલોજીને અપડેટ કરે છે, દરેક પ્રતિકૃતિ અહેવાલ આપે છે કે માસ્ટર અનુપલબ્ધ છે. ઓર્કેસ્ટ્રેટર નવા માસ્ટરની ભૂમિકા માટે યોગ્ય પ્રતિકૃતિ પસંદ કરવાની પ્રક્રિયા શરૂ કરે છે અને પુનઃપ્રાપ્તિ શરૂ કરે છે.
2. અમે જૂના માસ્ટરથી વીઆઈપીને દૂર કરવાનો પ્રયાસ કરી રહ્યા છીએ - સફળતા વિના.
3. પ્રતિકૃતિ માસ્ટરની ભૂમિકા પર સ્વિચ કરે છે. ટોપોલોજી ફરીથી બનાવવામાં આવી રહી છે.
4. VIP સાથે નવું નેટવર્ક ઈન્ટરફેસ ઉમેરવાનું. VIP ને દૂર કરવું શક્ય ન હોવાથી, અમે સમયાંતરે પૃષ્ઠભૂમિમાં વિનંતી મોકલવાનું શરૂ કરીએ છીએ નિ:શુલ્ક ARP. આ પ્રકારની વિનંતી/પ્રતિસાદ તમને કનેક્ટેડ સ્વીચો પર IP અને MAC એડ્રેસ મેપિંગ ટેબલને અપડેટ કરવાની પરવાનગી આપે છે, જેનાથી તમને સૂચિત કરવામાં આવે છે કે અમારું VIP ખસેડવામાં આવ્યું છે. આ સંભાવનાને ઘટાડે છે split brain જૂના માસ્ટરને પરત કરતી વખતે.
5. બધા નવા કનેક્શન્સને તરત જ નવા માસ્ટર પર રીડાયરેક્ટ કરવામાં આવે છે. જૂના જોડાણો નિષ્ફળ જાય છે અને ડેટાબેઝ પર પુનરાવર્તિત કોલ્સ એપ્લિકેશન સ્તરે કરવામાં આવે છે.

સર્વર સામાન્ય મોડમાં કાર્યરત છે, DBMS સ્તરે નિષ્ફળતા આવી છે

એલ્ગોરિધમ અગાઉના કેસ જેવું જ છે: ટોપોલોજીને અપડેટ કરવું અને પુનઃપ્રાપ્તિ પ્રક્રિયા શરૂ કરવી. સર્વર ઉપલબ્ધ હોવાથી, અમે જૂના માસ્ટર પર VIP સફળતાપૂર્વક રિલીઝ કરીએ છીએ, તેને નવામાં સ્થાનાંતરિત કરીએ છીએ અને ઘણી ARP વિનંતીઓ મોકલીએ છીએ. જૂના માસ્ટરનું સંભવિત વળતર પુનઃનિર્મિત ક્લસ્ટર અને એપ્લિકેશનની કામગીરીને અસર કરતું નથી.

અન્ય સમસ્યાઓ

પ્રતિકૃતિઓ અથવા મધ્યવર્તી માસ્ટર્સની નિષ્ફળતા દોરી નથી સ્વચાલિત ક્રિયાઓ માટે અને મેન્યુઅલ હસ્તક્ષેપની જરૂર છે.

વર્ચ્યુઅલ નેટવર્ક ઈન્ટરફેસ હંમેશા અસ્થાયી રૂપે ઉમેરવામાં આવે છે, એટલે કે, સર્વર રીબૂટ કર્યા પછી, VIP આપમેળે સોંપવામાં આવતું નથી. દરેક ડેટાબેઝ ઇન્સ્ટન્સ ડિફૉલ્ટ રૂપે ફક્ત વાંચવા માટેના મોડમાં શરૂ થાય છે, ઑર્કેસ્ટ્રેટર આપમેળે નવા માસ્ટરને લખવા માટે સ્વિચ કરે છે અને ઇન્સ્ટોલ કરવાનો પ્રયાસ કરે છે read only જૂના માસ્ટર પર. આ ક્રિયાઓનો ઉદ્દેશ્ય શક્યતા ઘટાડવાનો છે split brain.

પુનઃપ્રાપ્તિ પ્રક્રિયા દરમિયાન સમસ્યાઓ ઊભી થઈ શકે છે, જે પ્રમાણભૂત મોનિટરિંગ સાધનો ઉપરાંત ઓર્કેસ્ટ્રેટર UI દ્વારા પણ સૂચિત થવી જોઈએ. અમે આ સુવિધા ઉમેરીને REST API ને વિસ્તૃત કર્યું છે (PR હાલમાં સમીક્ષા હેઠળ છે).

HA સોલ્યુશનનો સામાન્ય આકૃતિ નીચે પ્રસ્તુત છે.

નવો માસ્ટર પસંદ કરી રહ્યા છીએ

ઓર્કેસ્ટ્રેટર પર્યાપ્ત સ્માર્ટ છે અને પસંદ કરવાનો પ્રયાસ કરે છે સૌથી યોગ્ય પ્રતિકૃતિ નીચેના માપદંડો અનુસાર નવા માસ્ટર તરીકે:

• પ્રતિકૃતિ માસ્ટર પાછળ રહે છે;
• માસ્ટર અને પ્રતિકૃતિનું MySQL સંસ્કરણ;
• પ્રતિકૃતિ પ્રકાર (RBR, SBR અથવા મિશ્ર);
• સમાન અથવા અલગ ડેટા કેન્દ્રોમાં સ્થાન;
• પ્રાપ્યતા errant GTID - વ્યવહારો કે જે પ્રતિકૃતિ પર ચલાવવામાં આવ્યા હતા અને માસ્ટર પર નથી;
• વૈવિધ્યપૂર્ણ પસંદગી નિયમો પણ ધ્યાનમાં લેવામાં આવે છે.

દરેક સંકેત માસ્ટર માટે આદર્શ ઉમેદવાર નથી. ઉદાહરણ તરીકે, પ્રતિકૃતિનો ઉપયોગ ડેટા બેકઅપ કરવા માટે થઈ શકે છે, અથવા સર્વર પાસે નબળા હાર્ડવેર રૂપરેખાંકન છે. ઓર્કેસ્ટ્રેટર આધાર આપે છે મેન્યુઅલ નિયમો કે જેના વડે તમે તમારી ઉમેદવાર પસંદગી પસંદગીઓને સૌથી વધુ પસંદગીનીમાંથી અવગણવામાં આવેલી પસંદગીને કસ્ટમાઇઝ કરી શકો છો.

પ્રતિભાવ અને પુનઃપ્રાપ્તિ સમય

ઘટનાના કિસ્સામાં, સિસ્ટમ ડાઉનટાઇમને ઓછો કરવો મહત્વપૂર્ણ છે, તેથી ચાલો MySQL પરિમાણોને ધ્યાનમાં લઈએ જે ઓર્કેસ્ટ્રેટર દ્વારા ક્લસ્ટર ટોપોલોજીના નિર્માણ અને અપડેટને અસર કરે છે:

• slave_net_timeout — સેકન્ડની સંખ્યા કે જે દરમિયાન પ્રતિકૃતિ નવા ડેટાની રાહ જુએ છે અથવા કનેક્શન ખોવાઈ ગયું અને ફરીથી કનેક્ટ થયું તે પહેલાં માસ્ટર તરફથી આવવા માટે હાર્ટબીટ સિગ્નલ આવે છે. મૂલ્ય જેટલું ઓછું છે, તેટલી ઝડપથી પ્રતિકૃતિ નક્કી કરી શકે છે કે માસ્ટર સાથે સંચાર તૂટી ગયો છે. અમે આ મૂલ્યને 5 સેકન્ડ પર સેટ કરીએ છીએ.
• MASTER_CONNECT_RETRY — પુનઃજોડાણના પ્રયાસો વચ્ચે સેકન્ડોની સંખ્યા. નેટવર્ક સમસ્યાઓના કિસ્સામાં, આ પરિમાણ માટેનું ઓછું મૂલ્ય ઝડપી પુનઃજોડાણને મંજૂરી આપશે અને ક્લસ્ટર પુનઃપ્રાપ્તિ પ્રક્રિયાને શરૂ થવાથી અટકાવશે. ભલામણ કરેલ મૂલ્ય 1 સેકન્ડ છે.
• MASTER_RETRY_COUNT — પુનઃજોડાણના પ્રયાસોની મહત્તમ સંખ્યા.
• MASTER_HEARTBEAT_PERIOD - સેકંડમાં અંતરાલ જેના પછી માસ્ટર ધબકારાનો સંકેત મોકલે છે. અડધા મૂલ્ય માટે ડિફોલ્ટ slave_net_timeout.

ઓર્કેસ્ટ્રેટર પરિમાણો:

• DelayMasterPromotionIfSQLThreadNotUpToDate - જો સમાન true, પછી ઉમેદવારની પ્રતિકૃતિ પર જ્યાં સુધી પ્રતિકૃતિના SQL થ્રેડ રિલે લોગમાંથી લાગુ ન કરાયેલા તમામ વ્યવહારો પૂર્ણ ન કરે ત્યાં સુધી માસ્ટર રોલ લાગુ કરવામાં આવશે નહીં. જ્યારે ઉમેદવારોની તમામ પ્રતિકૃતિઓ પાછળ પડી જાય ત્યારે વ્યવહારો ગુમાવવાનું ટાળવા માટે અમે આ વિકલ્પનો ઉપયોગ કરીએ છીએ.
• InstancePollSeconds - ટોપોલોજી બનાવવા અને અપડેટ કરવાની આવર્તન.
• RecoveryPollSeconds - ટોપોલોજી વિશ્લેષણની આવર્તન. જો કોઈ સમસ્યા મળી આવે, તો ટોપોલોજી પુનઃપ્રાપ્તિ શરૂ કરવામાં આવે છે. આ સતત, 1 સેકન્ડની બરાબર.

દરેક ક્લસ્ટર નોડ ઓર્કેસ્ટ્રેટર દ્વારા દર એક વખત મતદાન કરવામાં આવે છે InstancePollSeconds સેકન્ડ જ્યારે કોઈ સમસ્યા શોધાય છે, ત્યારે ક્લસ્ટર સ્થિતિ ફરજિયાત છે અપડેટ કરેલ, અને પછી પુનઃપ્રાપ્તિ કરવા માટે અંતિમ નિર્ણય લેવામાં આવે છે. વિવિધ ડેટાબેઝ અને ઓર્કેસ્ટ્રેટર પરિમાણો સાથે પ્રયોગ કરીને, અમે પ્રતિભાવ અને પુનઃપ્રાપ્તિ સમયને 30 સેકન્ડ સુધી ઘટાડવામાં સક્ષમ હતા.

ટેસ્ટ બેન્ચ

અમે સ્થાનિકના વિકાસ સાથે HA યોજનાનું પરીક્ષણ શરૂ કર્યું ટેસ્ટ બેન્ચ અને પરીક્ષણ અને ઉત્પાદન વાતાવરણમાં વધુ અમલીકરણ. સ્થાનિક સ્ટેન્ડ ડોકર પર આધારિત સંપૂર્ણપણે સ્વચાલિત છે અને તમને ઓર્કેસ્ટ્રેટર અને નેટવર્કના રૂપરેખાંકન સાથે પ્રયોગ કરવા, ક્લસ્ટરને 2-3 સર્વર્સથી કેટલાક ડઝન સુધી સ્કેલ કરવા અને સલામત વાતાવરણમાં કસરતો કરવા માટે પરવાનગી આપે છે.

વ્યાયામ દરમિયાન, અમે સમસ્યા ઇમ્યુલેશન પદ્ધતિઓમાંથી એક પસંદ કરીએ છીએ: તરત જ માસ્ટરનો ઉપયોગ કરીને શૂટ કરો kill -9, નરમાશથી પ્રક્રિયાને સમાપ્ત કરો અને સર્વરને બંધ કરો (docker-compose stop) નો ઉપયોગ કરીને નેટવર્ક સમસ્યાઓનું અનુકરણ કરો iptables -j REJECT અથવા iptables -j DROP. અમે નીચેના પરિણામોની અપેક્ષા રાખીએ છીએ:

• ઓર્કેસ્ટ્રેટર માસ્ટર સાથે સમસ્યાઓ શોધી કાઢશે અને ટોપોલોજીને 10 સેકન્ડથી વધુમાં અપડેટ કરશે;
• પુનઃપ્રાપ્તિ પ્રક્રિયા આપમેળે શરૂ થશે: નેટવર્ક ગોઠવણી બદલાશે, માસ્ટરની ભૂમિકા પ્રતિકૃતિમાં જશે, ટોપોલોજી ફરીથી બનાવવામાં આવશે;
• નવું માસ્ટર લખી શકાય તેવું બનશે, પુનઃનિર્માણ પ્રક્રિયા દરમિયાન જીવંત પ્રતિકૃતિઓ ખોવાઈ જશે નહીં;
• ડેટા નવા માસ્ટર પર લખવાનું શરૂ થશે અને નકલ કરવામાં આવશે;
• કુલ પુનઃપ્રાપ્તિ સમય 30 સેકંડથી વધુ નહીં હોય.

જેમ તમે જાણો છો, સિસ્ટમ વિવિધ હાર્ડવેર અને નેટવર્ક રૂપરેખાંકનો, કૃત્રિમ અને વાસ્તવિક લોડમાં તફાવત વગેરેને કારણે પરીક્ષણ અને ઉત્પાદન વાતાવરણમાં અલગ રીતે વર્તે છે. તેથી, અમે સમયાંતરે વાસ્તવિક પરિસ્થિતિઓમાં કસરતો કરીએ છીએ, જ્યારે નેટવર્ક કનેક્ટિવિટી ખોવાઈ જાય છે અથવા તેના વ્યક્તિગત ભાગો બગડે છે ત્યારે સિસ્ટમ કેવી રીતે વર્તે છે તે તપાસીએ છીએ. ભવિષ્યમાં, અમે બંને વાતાવરણ માટે સંપૂર્ણપણે સમાન ઈન્ફ્રાસ્ટ્રક્ચર બનાવવા અને તેના પરીક્ષણને સ્વચાલિત કરવા માંગીએ છીએ.

તારણો

મુખ્ય સ્ટોરેજ સિસ્ટમ નોડનું આરોગ્ય એ SRE અને ઓપરેશન ટીમના મુખ્ય કાર્યોમાંનું એક છે. VIP પર આધારિત ઓર્કેસ્ટ્રેટર અને HA સોલ્યુશનના અમલીકરણથી અમને નીચેના પરિણામો પ્રાપ્ત કરવાની મંજૂરી મળી:

• ડેટાબેઝ ક્લસ્ટરની ટોપોલોજી સાથે સમસ્યાઓની વિશ્વસનીય શોધ;
• માસ્ટર-સંબંધિત ઘટનાઓ માટે સ્વચાલિત અને ઝડપી પ્રતિસાદ, સિસ્ટમ ડાઉનટાઇમ ઘટાડે છે.

જો કે, ઉકેલની તેની મર્યાદાઓ અને ગેરફાયદા છે:

• HA સ્કીમને કેટલાંક ડેટા સેન્ટરો સુધી સ્કેલિંગ કરવા માટે તેમની વચ્ચે એક L2 નેટવર્કની જરૂર પડશે;
• નવા માસ્ટર પર VIP સોંપતા પહેલા, અમારે તેને જૂના માસ્ટર પર છોડવાની જરૂર છે. પ્રક્રિયા ક્રમિક છે, જે પુનઃપ્રાપ્તિ સમય વધારે છે;
• VIP ને રીલીઝ કરવા માટે સર્વર પર SSH એક્સેસ, અથવા દૂરસ્થ પ્રક્રિયાઓને કૉલ કરવાની અન્ય કોઈપણ પદ્ધતિની જરૂર છે. સર્વર અથવા ડેટાબેઝ પુનઃપ્રાપ્તિ પ્રક્રિયાને કારણે સમસ્યાઓનો અનુભવ કરી રહ્યું હોવાથી, અમે ખાતરી કરી શકતા નથી કે VIP દૂર કરવાનું સફળતાપૂર્વક પૂર્ણ થશે. અને આ સમાન વર્ચ્યુઅલ IP સરનામાં અને સમસ્યાવાળા બે સર્વર્સના દેખાવ તરફ દોરી શકે છે split brain.

ટાળવા માટે split brain, તમે પદ્ધતિનો ઉપયોગ કરી શકો છો સ્ટોનિથ (“શૂટ ધ અધર નોડ ઇન ધ હેડ”), જે સમસ્યા નોડને સંપૂર્ણપણે અલગ અથવા અક્ષમ કરે છે. ક્લસ્ટર ઉચ્ચ ઉપલબ્ધતાને અમલમાં મૂકવાની અન્ય રીતો છે: VIP અને DNS, સેવા શોધ અને પ્રોક્સી સેવાઓ, સિંક્રનસ પ્રતિકૃતિ અને અન્ય પદ્ધતિઓ કે જેના પોતાના ગેરફાયદા અને ફાયદા છે.

મેં MySQL ફેલઓવર ક્લસ્ટર બનાવવાના અમારા અભિગમ વિશે વાત કરી. તે અમલમાં મૂકવું સરળ છે અને વર્તમાન પરિસ્થિતિઓમાં વિશ્વસનીયતાનું સ્વીકાર્ય સ્તર પૂરું પાડે છે. જેમ જેમ સામાન્ય રીતે સમગ્ર સિસ્ટમ અને ખાસ કરીને ઈન્ફ્રાસ્ટ્રક્ચરનો વિકાસ થશે, આ અભિગમ નિઃશંકપણે વિકસિત થશે.

સોર્સ: www.habr.com