MySQL માટે ઓર્કેસ્ટ્રેટર: શા માટે તમે તેના વિના ખામી-સહિષ્ણુ પ્રોજેક્ટ બનાવી શકતા નથી

કોઈપણ મોટા પ્રોજેક્ટની શરૂઆત કેટલાક સર્વરથી થાય છે. પહેલા ત્યાં એક ડીબી સર્વર હતું, પછી વાંચનને માપવા માટે તેમાં ગુલામો ઉમેરવામાં આવ્યા હતા. અને પછી - રોકો! ત્યાં એક માસ્ટર છે, પરંતુ ઘણા ગુલામો છે; જો ગુલામોમાંથી એક છોડે છે, તો બધું સારું થઈ જશે, પરંતુ જો માસ્ટર છોડશે, તો તે ખરાબ થશે: ડાઉનટાઇમ, એડમિન સર્વરને વધારવાનો પ્રયાસ કરી રહ્યા છે. શુ કરવુ? એક માસ્ટર અનામત. મારા સાથીદાર પાવેલે આ વિશે પહેલેથી જ લખ્યું છે એક લેખ, હું તેને પુનરાવર્તન કરીશ નહીં. તેના બદલે, હું તમને કહીશ કે તમને MySQL માટે ઓર્કેસ્ટ્રેટરની જરૂર શા માટે છે!

ચાલો મુખ્ય પ્રશ્ન સાથે પ્રારંભ કરીએ: "જ્યારે માસ્ટર છોડશે ત્યારે અમે કોડને નવા મશીન પર કેવી રીતે સ્વિચ કરીશું?"

• મને વીઆઈપી (વર્ચ્યુઅલ આઈપી) સાથેની યોજના સૌથી વધુ ગમે છે, અમે તેના વિશે નીચે વાત કરીશું. તે સૌથી સરળ અને સૌથી સ્પષ્ટ છે, જો કે તેની સ્પષ્ટ મર્યાદા છે: માસ્ટર કે જે અમે આરક્ષિત કરીશું તે નવા મશીન સાથે L2 સેગમેન્ટમાં હોવું આવશ્યક છે, એટલે કે, આપણે બીજા DC વિશે ભૂલી શકીએ છીએ. અને, સૌહાર્દપૂર્ણ રીતે, જો તમે નિયમનું પાલન કરો છો કે મોટો L2 દુષ્ટ છે, કારણ કે L2 માત્ર રેક દીઠ છે, અને L3 રેક્સની વચ્ચે છે, અને આવી યોજનામાં હજી વધુ પ્રતિબંધો છે.
• તમે કોડમાં DNS નામ લખી શકો છો અને તેને /etc/hosts દ્વારા ઉકેલી શકો છો. વાસ્તવમાં, કોઈ ઠરાવ થશે નહીં. યોજનાનો ફાયદો: પ્રથમ પદ્ધતિની કોઈ મર્યાદા લાક્ષણિકતા નથી, એટલે કે, ક્રોસ-ડીસી ગોઠવવાનું શક્ય છે. પરંતુ પછી સ્પષ્ટ પ્રશ્ન ઊભો થાય છે: પપેટ-એન્સિબલ દ્વારા આપણે /etc/hosts ને કેટલી ઝડપથી ફેરફાર પહોંચાડી શકીએ?
• તમે બીજી પદ્ધતિને થોડી બદલી શકો છો: બધા વેબ સર્વર્સ પર કેશીંગ DNS ઇન્સ્ટોલ કરો, જેના દ્વારા કોડ માસ્ટર ડેટાબેઝ પર જશે. તમે DNS માં આ એન્ટ્રી માટે TTL 60 સેટ કરી શકો છો. એવું લાગે છે કે જો યોગ્ય રીતે અમલ કરવામાં આવે તો, પદ્ધતિ સારી છે.
• સેવાની શોધ સાથેની યોજના, કન્સ્યુલ અને વગેરેનો ઉપયોગ સૂચવે છે.
• સાથે એક રસપ્રદ વિકલ્પ પ્રોક્સીએસક્યુએલ. તમારે ProxySQL દ્વારા MySQL પર તમામ ટ્રાફિકને રૂટ કરવાની જરૂર છે; ProxySQL પોતે જ નિર્ધારિત કરી શકે છે કે માસ્ટર કોણ છે. માર્ગ દ્વારા, તમે મારામાં આ ઉત્પાદનનો ઉપયોગ કરવાના વિકલ્પોમાંથી એક વિશે વાંચી શકો છો લેખ.

ઓર્કેસ્ટ્રેટરના લેખક, ગીથબમાં કામ કરતા, પ્રથમ વીઆઈપી સાથે પ્રથમ યોજના અમલમાં મૂકી, અને પછી તેને કોન્સ્યુલ સાથેની યોજનામાં રૂપાંતરિત કરી.

લાક્ષણિક ઈન્ફ્રાસ્ટ્રક્ચર લેઆઉટ:

હું તરત જ સ્પષ્ટ પરિસ્થિતિઓનું વર્ણન કરીશ જેને ધ્યાનમાં લેવાની જરૂર છે:

• VIP સરનામું કોઈપણ સર્વર પરની રૂપરેખામાં નોંધાયેલ હોવું જોઈએ નહીં. ચાલો એક પરિસ્થિતિની કલ્પના કરીએ: માસ્ટર રીબૂટ થયો, અને જ્યારે તે લોડ થઈ રહ્યો હતો, ત્યારે ઓર્કેસ્ટ્રેટર ફેલઓવર મોડમાં ગયો અને ગુલામોમાંથી એકને માસ્ટર બનાવ્યો; પછી જૂના માસ્ટર ગુલાબ, અને હવે VIP બે કાર પર છે. આ ખરાબ છે.
• ઓર્કેસ્ટ્રેટર માટે, તમારે જૂના માસ્ટર અને નવા માસ્ટરને કૉલ કરવા માટે એક સ્ક્રિપ્ટ લખવાની જરૂર પડશે. જૂના માસ્ટર પર તમારે ifdown ચલાવવાની જરૂર છે, અને નવા માસ્ટર પર - ifup vip. આ સ્ક્રિપ્ટમાં એ પણ સામેલ કરવું સરસ રહેશે કે ફેલઓવરની ઘટનામાં, જૂના માસ્ટરની સ્વીચ પરનું પોર્ટ કોઈપણ સ્પ્લિટબ્રેઈનને ટાળવા માટે ખાલી બંધ કરવામાં આવે છે.
• ઓર્કેસ્ટ્રેટરે તમારી સ્ક્રિપ્ટને પહેલા VIP ને દૂર કરવા અને/અથવા સ્વીચ પરના પોર્ટને ઓલવવા માટે કૉલ કર્યા પછી, અને પછી નવા માસ્ટર પર VIP રાઇઝિંગ સ્ક્રિપ્ટ કહેવાય છે, દરેકને જણાવવા માટે આર્પિંગ આદેશનો ઉપયોગ કરવાનું ભૂલશો નહીં કે નવો VIP હવે છે. અહીં
• બધા ગુલામો પાસે ફક્ત વાંચવા માટે_માત્ર = 1 હોવો જોઈએ, અને જલદી તમે ગુલામને માસ્ટર માટે પ્રમોટ કરો છો, તે ફક્ત વાંચવા માટે_ માત્ર=0 હોવો જોઈએ.
• ભૂલશો નહીં કે અમે આ માટે પસંદ કરેલ કોઈપણ ગુલામ માસ્ટર બની શકે છે (ઓર્કેસ્ટ્રેટરની પાસે સંપૂર્ણ પસંદગી પદ્ધતિ છે કે કયા ગુલામને પ્રથમ સ્થાને નવા માસ્ટર માટે ઉમેદવાર તરીકે ધ્યાનમાં લેવું જોઈએ, બીજા સ્થાને અને કયા ગુલામને પસંદ કરવું જોઈએ. કોઈપણ સંજોગોમાં માસ્ટરની પસંદગી કરવામાં આવશે નહીં). જો ગુલામ માસ્ટર બનશે, તો ગુલામનો ભાર તેના પર રહેશે અને માસ્ટરનો ભાર ઉમેરાશે, આ ધ્યાનમાં લેવું આવશ્યક છે.

જો તમારી પાસે ન હોય તો તમને ઓર્કેસ્ટ્રેટરની શા માટે જરૂર છે?

• ઓર્કેસ્ટ્રેટરમાં ખૂબ જ વપરાશકર્તા મૈત્રીપૂર્ણ ગ્રાફિકલ ઇન્ટરફેસ છે જે સમગ્ર ટોપોલોજી દર્શાવે છે (નીચે સ્ક્રીનશોટ જુઓ).
• ઓર્કેસ્ટ્રેટર ટ્રેક કરી શકે છે કે કયા ગુલામો પાછળ છે, અને જ્યાં પ્રતિકૃતિ સામાન્ય રીતે તૂટી ગઈ છે (અમારી પાસે એસએમએસ મોકલવા માટે ઓર્કેસ્ટ્રેટરની સાથે સ્ક્રિપ્ટો જોડાયેલ છે).
• ઓર્કેસ્ટ્રેટર તમને જણાવે છે કે કયા ગુલામો પાસે GTID ભૂલ છે.

ઓર્કેસ્ટ્રેટર ઇન્ટરફેસ:

GTID ભૂલ શું છે?

ઓર્કેસ્ટ્રેટરને કામ કરવા માટે બે મુખ્ય આવશ્યકતાઓ છે:

• MySQL ક્લસ્ટરમાં તમામ મશીનો પર સ્યુડો GTID સક્ષમ હોય તે જરૂરી છે; અમારી પાસે GTID સક્ષમ છે.
• તે જરૂરી છે કે દરેક જગ્યાએ એક પ્રકારનો બિનલોગ હોય, તમે સ્ટેટમેન્ટનો ઉપયોગ કરી શકો છો. અમારી પાસે એક રૂપરેખાંકન હતું જેમાં માસ્ટર અને મોટાભાગના ગુલામો પાસે પંક્તિ હતી, અને બે ઐતિહાસિક રીતે મિશ્ર મોડમાં રહ્યા હતા. પરિણામે, ઓર્કેસ્ટ્રેટર ફક્ત આ ગુલામોને નવા માસ્ટર સાથે જોડવા માંગતા ન હતા.

યાદ રાખો કે પ્રોડક્શન સ્લેવમાં સૌથી મહત્વની વસ્તુ એ માસ્ટર સાથે તેની સુસંગતતા છે! જો તમારી પાસે તમારા માસ્ટર અને સ્લેવ બંને પર ગ્લોબલ ટ્રાન્ઝેક્શન ID (GTID) સક્ષમ છે, તો તમે gtid_subset ફંક્શનનો ઉપયોગ કરી શકો છો કે કેમ તે જાણવા માટે કે ડેટા ફેરફારો માટેની સમાન વિનંતીઓ ખરેખર આ મશીનો પર ચલાવવામાં આવી છે. તમે આ વિશે વધુ વાંચી શકો છો અહીં.

આમ, ઓર્કેસ્ટ્રેટર તમને GTID ભૂલ દ્વારા બતાવે છે કે ગુલામ પર એવા વ્યવહારો છે જે માસ્ટર પર નથી. આવું કેમ થઈ રહ્યું છે?

• ફક્ત વાંચો=1 સ્લેવ પર સક્ષમ નથી, કોઈએ કનેક્ટ કર્યું છે અને ડેટા બદલવાની વિનંતી પૂર્ણ કરી છે.
• સુપર_રીડ_ઓન્લી=1 સ્લેવ પર સક્ષમ નથી, પછી એડમિન, સર્વરને મૂંઝવણમાં મૂકીને, અંદર ગયો અને ત્યાં વિનંતીનો અમલ કર્યો.
• જો તમે અગાઉના બંને મુદ્દાઓને ધ્યાનમાં લીધા હોય, તો પછી એક વધુ યુક્તિ છે: MySQL માં, બિનલોગને ફ્લશ કરવાની વિનંતી પણ બિનલોગને જાય છે, તેથી પ્રથમ ફ્લશ વખતે, માસ્ટર અને બધા ગુલામો પર GTID ભૂલ દેખાશે. આને કેવી રીતે ટાળવું? Perona-5.7.25-28 એ binlog_skip_flush_commands=1 સેટિંગ રજૂ કર્યું છે, જે બિનલોગ પર ફ્લશ લખવાનું પ્રતિબંધિત કરે છે. mysql.com વેબસાઇટ પર એક સ્થાપિત છે ભૂલ.

ચાલો હું ઉપરોક્ત તમામનો સારાંશ આપું. જો તમે હજુ સુધી ફેઈલઓવર મોડમાં ઓર્કેસ્ટ્રેટરનો ઉપયોગ કરવા માંગતા નથી, તો તેને ઓબ્ઝર્વેશન મોડમાં મૂકો. પછી તમારી આંખો સમક્ષ હંમેશા MySQL મશીનોની ક્રિયાપ્રતિક્રિયાનો નકશો અને દરેક મશીન પર કયા પ્રકારની પ્રતિકૃતિ છે, શું ગુલામો પાછળ છે કે કેમ અને સૌથી અગત્યનું, તેઓ માસ્ટર સાથે કેટલા સુસંગત છે તે વિશેની દ્રશ્ય માહિતી હશે!

સ્પષ્ટ પ્રશ્ન છે: "ઓર્કેસ્ટ્રેટરે કેવી રીતે કાર્ય કરવું જોઈએ?" તેણે વર્તમાન ગુલામોમાંથી એક નવો માસ્ટર પસંદ કરવો જોઈએ, અને પછી બધા ગુલામોને તેની સાથે ફરીથી જોડવા જોઈએ (આ માટે GTID જરૂરી છે; જો તમે binlog_name અને binlog_pos સાથે જૂની પદ્ધતિનો ઉપયોગ કરો છો, તો પછી વર્તમાન માસ્ટરમાંથી નવામાં સ્લેવને સ્વિચ કરો. ફક્ત અશક્ય છે!). અમારી પાસે ઓર્કેસ્ટ્રેટર હતો તે પહેલાં, મારે એકવાર આ બધું જાતે કરવું પડ્યું. બગડેલ એડેપ્ટેક કંટ્રોલરને કારણે જૂનો માસ્ટર લટકતો હતો; તેમાં લગભગ 10 ગુલામો હતા. મારે માસ્ટરમાંથી એક સ્લેવમાં VIP ટ્રાન્સફર કરવાની અને બીજા બધા ગુલામોને તેની સાથે ફરીથી કનેક્ટ કરવાની જરૂર હતી. મારે કેટલા કન્સોલ ખોલવાના હતા, મેં એક સાથે કેટલા આદેશો દાખલ કર્યા હતા... મારે સવારના 3 વાગ્યા સુધી રાહ જોવી પડી હતી, બે સિવાયના તમામ સ્લેવમાંથી લોડ દૂર કરો, બે માસ્ટરમાંથી પ્રથમ મશીન બનાવો, તરત જ બીજું મશીન જોડો તેના માટે, તેથી અન્ય તમામ ગુલામોને નવા માસ્ટર સાથે જોડો અને લોડ પરત કરો. એકંદરે, ભયંકર ...

જ્યારે તે ફેલઓવર મોડમાં જાય છે ત્યારે ઓર્કેસ્ટ્રેટર કેવી રીતે કાર્ય કરે છે? આ પરિસ્થિતિના ઉદાહરણ દ્વારા સૌથી સહેલાઈથી સમજાવવામાં આવે છે જ્યાં આપણે માસ્ટરને આપણી પાસે છે તેના કરતા વધુ શક્તિશાળી, વધુ આધુનિક મશીન બનાવવા માંગીએ છીએ.

આકૃતિ પ્રક્રિયાની મધ્ય બતાવે છે. આ બિંદુ સુધી પહેલેથી જ શું કરવામાં આવ્યું છે? અમે કહ્યું કે અમે કેટલાક ગુલામને નવા માસ્ટર બનાવવા માગીએ છીએ, ઓર્કેસ્ટ્રેટરે તેની સાથે અન્ય તમામ ગુલામોને ફરીથી જોડવાનું શરૂ કર્યું, નવા માસ્ટર ટ્રાન્ઝિટ મશીન તરીકે કામ કરે છે. આ સ્કીમ સાથે, કોઈ ભૂલો થતી નથી, બધા ગુલામો કામ કરે છે, ઓર્કેસ્ટ્રેટર જૂના માસ્ટરમાંથી VIP દૂર કરે છે, તેને નવામાં સ્થાનાંતરિત કરે છે, ફક્ત read_only=0 બનાવે છે અને જૂના માસ્ટર વિશે ભૂલી જાય છે. બધા! અમારી સેવાનો ડાઉનટાઇમ વીઆઇપી ટ્રાન્સફર સમય છે, જે 2-3 સેકન્ડ છે.

આજ માટે આટલું જ, દરેકનો આભાર. ટૂંક સમયમાં ઓર્કેસ્ટ્રેટર વિશે બીજો લેખ આવશે. પ્રખ્યાત સોવિયેત ફિલ્મ "ગેરેજ" માં, એક પાત્રે કહ્યું, "હું તેની સાથે જાસૂસી કરવા જઈશ નહીં!" તેથી, ઓર્કેસ્ટ્રેટર, હું તમારી સાથે જાસૂસી પર જઈશ!

સોર્સ: www.habr.com