WAL-G: નવી સુવિધાઓ અને સમુદાય વિસ્તરણ. જ્યોર્જી રાયલોવ

હું તમને જ્યોર્જી રાયલોવ દ્વારા "WAL-G: નવી તકો અને સમુદાયનું વિસ્તરણ" ના પ્રારંભિક 2020 અહેવાલની ટ્રાન્સક્રિપ્ટ વાંચવાનું સૂચન કરું છું.

ઓપન-સોર્સ જાળવણીકારો જેમ જેમ તેઓ વધે છે તેમ તેમ તેમને ઘણા પડકારોનો સામનો કરવો પડે છે. વધુ અને વધુ જરૂરી સુવિધાઓ કેવી રીતે લખવી, વધુ અને વધુ સમસ્યાઓને ઠીક કરવી અને વધુ અને વધુ પુલ વિનંતીઓ જોવાનું સંચાલન કેવી રીતે કરવું? ઉદાહરણ તરીકે WAL-G (PostgreSQL માટે બેકઅપ-ટૂલ) નો ઉપયોગ કરીને, હું તમને કહીશ કે અમે યુનિવર્સિટીમાં ઓપન-સોર્સ ડેવલપમેન્ટ પર કોર્સ શરૂ કરીને આ સમસ્યાઓ કેવી રીતે હલ કરી, અમે શું હાંસલ કર્યું અને અમે આગળ ક્યાં જઈશું.

દરેકને ફરીથી હેલો! હું યેકાટેરિનબર્ગનો યાન્ડેક્સ ડેવલપર છું. અને આજે હું WAL-G વિશે વાત કરીશ.

રિપોર્ટનું શીર્ષક એવું નથી કહેતું કે તે બેકઅપ વિશે કંઈક હતું. શું કોઈને ખબર છે કે WAL-G શું છે? અથવા દરેકને ખબર છે? જો તમને ખબર ન હોય તો તમારો હાથ ઉંચો કરો. હોલી શિટ, તમે રિપોર્ટ પર આવ્યા છો અને તે શું છે તે ખબર નથી.

ચાલો હું તમને જણાવું કે આજે શું થશે. એવું બને છે કે અમારી ટીમ ઘણા સમયથી બેકઅપ કરી રહી છે. અને આ શ્રેણીમાંનો બીજો અહેવાલ છે જ્યાં અમે ડેટાને કેવી રીતે સુરક્ષિત, સુરક્ષિત, સગવડતાપૂર્વક અને કાર્યક્ષમ રીતે સંગ્રહિત કરીએ છીએ તે વિશે વાત કરીએ છીએ.

અગાઉની શ્રેણીમાં આન્દ્રે બોરોડિન અને વ્લાદિમીર લેસ્કોવ દ્વારા ઘણા અહેવાલો હતા. અમને ઘણા હતા. અને અમે ઘણા વર્ષોથી WAL-G વિશે વાત કરી રહ્યા છીએ.

clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981

આ અહેવાલ અન્ય કરતા થોડો અલગ હશે જેમાં તે તકનીકી ભાગ વિશે વધુ હતો, પરંતુ અહીં હું તે વિશે વાત કરીશ કે સમુદાયના વિકાસ સાથે સંકળાયેલી સમસ્યાઓનો સામનો કેવી રીતે થયો. અને અમે કેવી રીતે એક નાનો વિચાર લઈને આવ્યા જે અમને આનો સામનો કરવામાં મદદ કરે છે.

થોડા વર્ષો પહેલા, WAL-G એકદમ નાનો પ્રોજેક્ટ હતો જે અમને સિટસ ડેટામાંથી મળ્યો હતો. અને અમે હમણાં જ તે લીધું. અને તે એક વ્યક્તિ દ્વારા વિકસાવવામાં આવી હતી.

અને માત્ર WAL-G પાસે ન હતું:

• પ્રતિકૃતિમાંથી બેકઅપ.
• ત્યાં કોઈ વધારાના બેકઅપ્સ ન હતા.
• ત્યાં કોઈ WAL-Delta બેકઅપ નથી.
• અને હજુ પણ ઘણું બધું ખૂટતું હતું.

આ થોડા વર્ષોમાં, WAL-G ઘણો વિકસ્યો છે.

અને 2020 સુધીમાં, ઉપરોક્ત તમામ પહેલેથી જ દેખાયા છે. અને આમાં હવે આપણી પાસે જે છે તે ઉમેરવામાં આવ્યું છે:

• GitHub પર 1 થી વધુ સ્ટાર્સ.
• 150 ફોર્કસ.
• લગભગ 15 ઓપન પી.આર.
• અને ઘણા વધુ યોગદાનકર્તાઓ.
• અને બધા સમય ખુલ્લા મુદ્દાઓ. અને આ એ હકીકત હોવા છતાં કે આપણે શાબ્દિક રીતે દરરોજ ત્યાં જઈએ છીએ અને તેના વિશે કંઈક કરીએ છીએ.

અને અમે આ નિષ્કર્ષ પર આવ્યા કે આ પ્રોજેક્ટ પર અમારું વધુ ધ્યાન જરૂરી છે, ત્યારે પણ જ્યારે અમને યાન્ડેક્સમાં અમારી મેનેજ્ડ ડેટાબેસેસ સેવા માટે કંઈપણ લાગુ કરવાની જરૂર નથી.

અને ક્યાંક 2018 ના પાનખરમાં, અમારા મગજમાં એક વિચાર આવ્યો. જો તમારી પાસે પૂરતા હાથ ન હોય તો સામાન્ય રીતે ટીમ પાસે કેટલીક સુવિધાઓ વિકસાવવા અથવા બગ્સને ઠીક કરવાની ઘણી રીતો હોય છે. ઉદાહરણ તરીકે, તમે બીજા ડેવલપરને રાખી શકો છો અને તેને પૈસા ચૂકવી શકો છો. અથવા તમે થોડા સમય માટે ઇન્ટર્ન લઈ શકો છો અને તેને થોડો પગાર પણ આપી શકો છો. પરંતુ હજી પણ લોકોનો ઘણો મોટો જૂથ છે, જેમાંથી કેટલાક પહેલેથી જ કોડ કેવી રીતે લખવો તે જાણે છે. તમે હંમેશા જાણતા નથી કે કોડ કઈ ગુણવત્તા છે.

અમે તેના વિશે વિચાર્યું અને વિદ્યાર્થીઓને આકર્ષવાનો પ્રયાસ કરવાનું નક્કી કર્યું. પરંતુ વિદ્યાર્થીઓ અમારી સાથે દરેક બાબતમાં ભાગ લેશે નહીં. તેઓ કામનો અમુક ભાગ જ કરશે. અને તેઓ, ઉદાહરણ તરીકે, પરીક્ષણો લખશે, બગ્સ ઠીક કરશે, સુવિધાઓ અમલમાં મૂકશે જે મુખ્ય કાર્યક્ષમતાને અસર કરતી નથી. મુખ્ય કાર્યક્ષમતા બેકઅપ બનાવવા અને બેકઅપ પુનઃસ્થાપિત કરી રહી છે. જો અમે બેકઅપ બનાવવામાં ભૂલ કરીએ છીએ, તો અમે ડેટા ગુમાવવાનો અનુભવ કરીશું. અને અલબત્ત, કોઈ આ ઇચ્છતું નથી. દરેક વ્યક્તિ ઇચ્છે છે કે બધું ખૂબ જ સુરક્ષિત રહે. તેથી, અલબત્ત, અમે એવા કોડને જવા દેવા માંગતા નથી કે જેના પર અમને અમારા પોતાના કરતાં ઓછો વિશ્વાસ હોય. એટલે કે, કોઈપણ બિન-જટિલ કોડ તે છે જે અમે અમારા વધારાના કામદારો પાસેથી મેળવવા માંગીએ છીએ.

કઈ શરતો હેઠળ વિદ્યાર્થી પીઆર સ્વીકારવામાં આવે છે?

• તેઓએ તેમના કોડને પરીક્ષણો સાથે આવરી લેવા જરૂરી છે. બધું CI માં થવું જોઈએ.
• અને અમે 2 સમીક્ષાઓ પણ પસાર કરીએ છીએ. એક આન્દ્રે બોરોદિન દ્વારા અને એક મારા દ્વારા.
• અને વધુમાં, તે તપાસવા માટે કે આ અમારી સેવામાં કંઈપણ ભંગ કરશે નહીં, હું અલગથી આ પ્રતિબદ્ધતા સાથે એસેમ્બલી અપલોડ કરું છું. અને અમે એન્ડ-ટુ-એન્ડ પરીક્ષણો તપાસીએ છીએ કે કંઈપણ નિષ્ફળ થતું નથી.

ઓપન સોર્સ પર વિશેષ કોર્સ

આ શા માટે જરૂરી છે અને શા માટે આ, તે મને લાગે છે, તે એક સરસ વિચાર છે.

અમારા માટે, નફો સ્પષ્ટ છે:

• અમને વધારાના હાથ મળે છે.
• અને અમે સ્માર્ટ કોડ લખનારા સ્માર્ટ વિદ્યાર્થીઓમાં ટીમ માટે ઉમેદવારો શોધી રહ્યા છીએ.

વિદ્યાર્થીઓ માટે શું ફાયદો છે?

તેઓ ઓછા સ્પષ્ટ હોઈ શકે છે, કારણ કે વિદ્યાર્થીઓ, ઓછામાં ઓછા, તેઓ લખેલા કોડ માટે પૈસા મેળવતા નથી, પરંતુ માત્ર તેમના વિદ્યાર્થી રેકોર્ડ માટે ગ્રેડ મેળવે છે.

મેં તેમને આ વિશે પૂછ્યું. અને તેમના શબ્દોમાં:

• ઓપન સોર્સમાં ફાળો આપનારનો અનુભવ.
• તમારા CV માં એક લાઇન મેળવો.
• તમારી જાતને સાબિત કરો અને યાન્ડેક્સમાં ઇન્ટરવ્યુ પાસ કરો.
• GSoC સભ્ય બનો.
• કોડ લખવા માંગતા લોકો માટે +1 વિશેષ કોર્સ.

હું કોર્સની રચના કેવી રીતે કરવામાં આવી હતી તે વિશે વાત કરીશ નહીં. હું ફક્ત એટલું જ કહીશ કે WAL-G મુખ્ય પ્રોજેક્ટ હતો. અમે આ કોર્સમાં Odyssey, PostgreSQL અને ClickHouse જેવા પ્રોજેક્ટનો પણ સમાવેશ કર્યો છે.

અને તેઓએ માત્ર આ કોર્સમાં જ સમસ્યાઓ આપી નહીં, પણ ડિપ્લોમા અને કોર્સવર્ક પણ આપ્યા.

વપરાશકર્તાઓ માટે લાભ વિશે શું?

હવે ચાલો તે ભાગ તરફ આગળ વધીએ જે તમને સૌથી વધુ રુચિ ધરાવે છે. આનાથી તમને શું ફાયદો થાય છે? મુદ્દો એ છે કે વિદ્યાર્થીઓએ ઘણી બધી ભૂલો સુધારી છે. અને તમે અમને જે કરવાનું કહ્યું હતું તે અમે વિનંતી સુવિધાઓ બનાવી છે.

અને હું તમને તે વસ્તુઓ વિશે કહું જે તમે લાંબા સમયથી ઇચ્છતા હતા અને જે સાકાર થઈ ગઈ છે.

ટેબલસ્પેસ સપોર્ટ. WAL-G માં ટેબલસ્પેસની અપેક્ષા કદાચ WAL-G ના પ્રકાશન પછીથી કરવામાં આવી હતી, કારણ કે WAL-G એ અન્ય બેકઅપ ટૂલ WAL-E નો અનુગામી છે, જ્યાં ટેબલસ્પેસ સાથેના ડેટાબેઝ બેકઅપને સપોર્ટ કરવામાં આવ્યો હતો.

ચાલો હું તમને સંક્ષિપ્તમાં યાદ અપાવી દઉં કે તે શું છે અને તે શા માટે જરૂરી છે. સામાન્ય રીતે, તમારો તમામ Postgres ડેટા ફાઇલ સિસ્ટમ પર એક ડિરેક્ટરી ધરાવે છે, જેને આધાર કહેવાય છે. અને આ ડાયરેક્ટરી પહેલાથી જ પોસ્ટગ્રેસ દ્વારા જરૂરી બધી ફાઇલો અને સબડિરેક્ટરીઝ ધરાવે છે.

ટેબલસ્પેસ એ ડિરેક્ટરીઓ છે જેમાં પોસ્ટગ્રેસ ડેટા હોય છે, પરંતુ તે બેઝ ડિરેક્ટરીની બહાર સ્થિત નથી. સ્લાઇડ બતાવે છે કે ટેબલસ્પેક્સ બેઝ ડિરેક્ટરીની બહાર સ્થિત છે.

Postgres માટે આ શું દેખાય છે? બેઝ ડિરેક્ટરીમાં એક અલગ સબડિરેક્ટરી pg_tblspc છે. અને તે ડિરેક્ટરીઓની સિમલિંક ધરાવે છે જે વાસ્તવમાં બેઝ ડિરેક્ટરીની બહાર પોસ્ટગ્રેસ ડેટા ધરાવે છે.

જ્યારે તમે આ બધાનો ઉપયોગ કરો છો, ત્યારે તમારા માટે આ આદેશો કંઈક આના જેવા દેખાઈ શકે છે. એટલે કે, તમે અમુક ચોક્કસ ટેબલસ્પેસમાં એક ટેબલ બનાવો અને જુઓ કે તે હવે ક્યાં છે. આ છેલ્લી બે લીટીઓ છે, છેલ્લા બે આદેશો કહેવાય છે. અને ત્યાં તે સ્પષ્ટ છે કે ત્યાં કોઈ રસ્તો છે. પરંતુ વાસ્તવમાં, આ વાસ્તવિક રીત નથી. આ બેઝ ડિરેક્ટરીથી ટેબલસ્પેસ સુધીનો ઉપસર્ગ પાથ છે. અને ત્યાંથી તે સિમલિંક સાથે મેળ ખાય છે જે તમારા વાસ્તવિક ડેટા તરફ દોરી જાય છે.

અમે અમારી ટીમમાં આ બધાનો ઉપયોગ કરતા નથી, પરંતુ તેનો ઉપયોગ અન્ય ઘણા WAL-E વપરાશકર્તાઓ દ્વારા કરવામાં આવ્યો હતો જેમણે અમને લખ્યું હતું કે તેઓ WAL-G પર જવા માગે છે, પરંતુ આ તેમને રોકી રહ્યું હતું. આ હવે સપોર્ટેડ છે.

અમારો વિશેષ અભ્યાસક્રમ અમને લાવ્યો તે અન્ય વિશેષતા છે કેચઅપ. જે લોકોએ પોસ્ટગ્રેસ કરતાં ઓરેકલ સાથે વધુ કામ કર્યું છે તેઓ કૅચઅપ વિશે જાણે છે.

તે શું છે તે વિશે સંક્ષિપ્તમાં. અમારી સેવામાં ક્લસ્ટર ટોપોલોજી સામાન્ય રીતે કંઈક આના જેવી દેખાઈ શકે છે. અમારી પાસે માસ્ટર છે. ત્યાં એક પ્રતિકૃતિ છે જે તેમાંથી લખવા-આગળના લોગને સ્ટ્રીમ કરે છે. અને પ્રતિકૃતિ માસ્ટરને કહે છે કે તે હાલમાં કયો LSN ચાલુ છે. અને ક્યાંક આની સાથે સમાંતર, લોગને આર્કાઇવ કરી શકાય છે. અને લોગને આર્કાઇવ કરવા ઉપરાંત, બેકઅપ પણ ક્લાઉડ પર મોકલવામાં આવે છે. અને ડેલ્ટા બેકઅપ મોકલવામાં આવે છે.

શું સમસ્યા હોઈ શકે છે? જ્યારે તમારી પાસે એકદમ મોટો ડેટાબેઝ હોય, ત્યારે તે બહાર આવી શકે છે કે તમારી પ્રતિકૃતિ માસ્ટરથી ઘણી પાછળ રહેવાનું શરૂ કરે છે. અને તે એટલી પાછળ રહી જાય છે કે તે ક્યારેય તેની સાથે મળી શકતી નથી. આ સમસ્યાને સામાન્ય રીતે કોઈક રીતે હલ કરવાની જરૂર છે.

અને સૌથી સહેલો રસ્તો એ છે કે પ્રતિકૃતિને દૂર કરવી અને તેને ફરીથી અપલોડ કરવી, કારણ કે તે ક્યારેય પકડશે નહીં, અને સમસ્યાનો સામનો કરવાની જરૂર છે. પરંતુ આ ઘણો લાંબો સમય છે, કારણ કે સમગ્ર 10 TB ડેટાબેઝ બેકઅપને પુનઃસ્થાપિત કરવું એ ખૂબ જ લાંબો સમય છે. અને જો આવી સમસ્યાઓ ઊભી થાય તો અમે આ બધું શક્ય તેટલી ઝડપથી કરવા માંગીએ છીએ. અને કેચઅપ માટે તે બરાબર છે.

કેચઅપ તમને ડેલ્ટા બેકઅપનો ઉપયોગ કરવાની મંજૂરી આપે છે, જે આ રીતે ક્લાઉડમાં સંગ્રહિત થાય છે. તમે કહો કે લેગીંગ રેપ્લિકા હાલમાં કઈ LSN પર છે અને તે LSN અને LSN વચ્ચે ડેલ્ટા બેકઅપ બનાવવા માટે કેચઅપ કમાન્ડમાં તેનો ઉલ્લેખ કરો કે જેના પર તમારું ક્લસ્ટર હાલમાં સ્થિત છે. અને તે પછી તમે આ બેકઅપને તે પ્રતિકૃતિમાં પુનઃસ્થાપિત કરો જે પાછળ રહી ગઈ હતી.

અન્ય પાયા

વિદ્યાર્થીઓએ અમને એકસાથે ઘણી બધી સુવિધાઓ પણ લાવી. યાન્ડેક્ષમાં અમે માત્ર પોસ્ટગ્રેસ જ નહીં, અમારી પાસે MySQL, MongoDB, Redis, ClickHouse પણ છે, અમુક સમયે અમારે MySQL માટે પોઈન્ટ-ઈન-ટાઇમ રિકવરી સાથે બેકઅપ્સ બનાવવા માટે સક્ષમ બનવાની જરૂર હતી, અને જેથી અપલોડ કરવાની તક મળી. તેમને વાદળ તરફ.

અને અમે તેને WAL-G જે કરે છે તેના જેવી જ રીતે કરવા માંગીએ છીએ. અને અમે પ્રયોગ કરવાનું નક્કી કર્યું અને જુઓ કે તે બધું કેવી રીતે દેખાશે.

અને શરૂઆતમાં, આ તર્કને કોઈપણ રીતે શેર કર્યા વિના, તેઓએ ફોર્કમાં કોડ લખ્યો. તેઓએ જોયું કે અમારી પાસે એક પ્રકારનું વર્કિંગ મોડલ છે અને તે ઉડી શકે છે. પછી અમે વિચાર્યું કે અમારો મુખ્ય સમુદાય પોસ્ટગ્રેસીસ્ટ છે, તેઓ WAL-G નો ઉપયોગ કરે છે. અને તેથી આપણે આ ભાગોને કોઈક રીતે અલગ કરવાની જરૂર છે. એટલે કે, જ્યારે અમે Postgres માટે કોડ સંપાદિત કરીએ છીએ, ત્યારે અમે MySQL તોડતા નથી; જ્યારે અમે MySQL સંપાદિત કરીએ છીએ, ત્યારે અમે Postgres તોડતા નથી.

આને કેવી રીતે અલગ કરવું તે વિશેનો પ્રથમ વિચાર એ જ અભિગમનો ઉપયોગ કરવાનો વિચાર હતો જેનો ઉપયોગ PostgreSQL એક્સ્ટેન્શન્સમાં થાય છે. અને, હકીકતમાં, MySQL બેકઅપ બનાવવા માટે તમારે અમુક પ્રકારની ડાયનેમિક લાઇબ્રેરી ઇન્સ્ટોલ કરવી પડી હતી.

પરંતુ અહીં આ અભિગમની અસમપ્રમાણતા તરત જ દેખાય છે. જ્યારે તમે પોસ્ટગ્રેસનો બેકઅપ લો છો, ત્યારે તમે તેના પર પોસ્ટગ્રેસ માટે સામાન્ય બેકઅપ મૂકો છો અને બધું સારું છે. અને MySQL માટે તે તારણ આપે છે કે તમે Postgres માટે બેકઅપ ઇન્સ્ટોલ કરો છો અને તેના માટે MySQL માટે ડાયનેમિક લાઇબ્રેરી પણ ઇન્સ્ટોલ કરો છો. તે વિચિત્ર પ્રકારની લાગે છે. અમે પણ એવું જ વિચાર્યું અને નક્કી કર્યું કે આ ઉકેલ અમને જોઈતો નથી.

Postgres, MySQL, MongoDB, Redis માટે વિવિધ બિલ્ડ્સ

પરંતુ આનાથી અમને લાગે છે કે, સાચા નિર્ણય પર આવવાની - વિવિધ પાયા માટે વિવિધ એસેમ્બલીઓ ફાળવવાની. આનાથી વિવિધ ડેટાબેસેસના બેકઅપ સાથે જોડાયેલા તર્કને અલગ કરવાનું શક્ય બન્યું જે WAL-G અમલમાં મૂકે છે તે સામાન્ય APIને ઍક્સેસ કરશે.

આ તે ભાગ છે જે અમે જાતે લખ્યો છે - વિદ્યાર્થીઓને સમસ્યાઓ આપતા પહેલા. એટલે કે, આ તે જ ભાગ છે જ્યાં તેઓ કંઈક ખોટું કરી શકે છે, તેથી અમે નક્કી કર્યું કે અમે આના જેવું કંઈક કરીશું અને બધું સારું થઈ જશે.

તે પછી અમે સમસ્યાઓ આપી. તેઓ તરત જ તોડી પાડવામાં આવ્યા હતા. વિદ્યાર્થીઓએ ત્રણ પાયાને ટેકો આપવો જરૂરી હતો.

આ MySQL છે, જેનો અમે એક વર્ષથી વધુ સમયથી WAL-G નો ઉપયોગ કરીને બેકઅપ લઈ રહ્યા છીએ.

અને હવે મોંગોડીબી ઉત્પાદનની નજીક છે, જ્યાં તેઓ તેને ફાઇલ સાથે સમાપ્ત કરી રહ્યાં છે. હકીકતમાં, અમે આ બધા માટે ફ્રેમવર્ક લખ્યું છે. પછી વિદ્યાર્થીઓએ કેટલીક કાર્યક્ષમ બાબતો લખી. અને પછી અમે તેમને એવી સ્થિતિમાં લાવીએ છીએ કે અમે ઉત્પાદનમાં સ્વીકારી શકીએ.

આ સમસ્યાઓ વિદ્યાર્થીઓને આ દરેક ડેટાબેઝ માટે સંપૂર્ણ બેકઅપ ટૂલ્સ લખવા માટે જરૂરી લાગતી નથી. અમને આવી કોઈ સમસ્યા નહોતી. અમારી સમસ્યા એ હતી કે અમને પોઈન્ટ-ઈન-ટાઇમ રિકવરી જોઈતી હતી અને અમે ક્લાઉડ પર બેકઅપ લેવા માગીએ છીએ. અને તેઓએ વિદ્યાર્થીઓને કેટલાક કોડ લખવા કહ્યું જે આને હલ કરે. વિદ્યાર્થીઓએ પહેલાથી અસ્તિત્વમાં રહેલા બેકઅપ ટૂલ્સનો ઉપયોગ કર્યો, જે કોઈક રીતે બેકઅપ લે છે, અને પછી તે બધાને WAL-G સાથે ગુંદર કરે છે, જેણે તે બધું ક્લાઉડ પર ફોરવર્ડ કર્યું છે. અને તેઓએ આમાં પોઈન્ટ-ઈન-ટાઇમ રિકવરી પણ ઉમેરી.

વિદ્યાર્થીઓ બીજું શું લાવ્યા? તેઓ WAL-G માટે લિબસોડિયમ એન્ક્રિપ્શન સપોર્ટ લાવ્યા.

અમારી પાસે બેકઅપ સ્ટોરેજ નીતિઓ પણ છે. હવે બેકઅપને કાયમી તરીકે ચિહ્નિત કરી શકાય છે. અને કોઈક રીતે તમારી સેવા માટે તેમને સ્ટોર કરવાની પ્રક્રિયાને સ્વચાલિત કરવા માટે તે વધુ અનુકૂળ છે.

આ પ્રયોગનું પરિણામ શું આવ્યું?

શરૂઆતમાં 100 થી વધુ લોકોએ અભ્યાસક્રમ માટે નોંધણી કરાવી હતી. શરૂઆતમાં મેં કહ્યું ન હતું કે યેકાટેરિનબર્ગની યુનિવર્સિટી યુરલ ફેડરલ યુનિવર્સિટી છે. અમે ત્યાં બધું જાહેર કર્યું. 100 લોકોએ નોંધણી કરાવી. વાસ્તવમાં, ઘણા ઓછા લોકોએ કંઈક કરવાનું શરૂ કર્યું, લગભગ 30 લોકો.

તેનાથી પણ ઓછા લોકોએ કોર્સ પૂર્ણ કર્યો, કારણ કે પહેલાથી અસ્તિત્વમાં છે તે કોડ્સ માટે પરીક્ષણો લખવા જરૂરી હતા. અને કેટલીક બગ ઠીક કરો અથવા કેટલીક વિશેષતા બનાવો. અને કેટલાક વિદ્યાર્થીઓએ હજુ પણ કોર્સ બંધ રાખ્યો હતો.

હાલમાં, આ કોર્સ દરમિયાન, વિદ્યાર્થીઓએ લગભગ 14 મુદ્દાઓનું નિરાકરણ કર્યું છે અને વિવિધ કદની 10 વિશેષતાઓ બનાવી છે. અને, તે મને લાગે છે, આ એક અથવા બે વિકાસકર્તાઓની સંપૂર્ણ સુવિધાયુક્ત બદલી છે.

અન્ય બાબતોમાં, અમે ડિપ્લોમા અને અભ્યાસક્રમ જારી કર્યા. અને 12 ડિપ્લોમા મેળવ્યા હતા. તેમાંથી 6 પહેલાથી જ "5" પર પોતાનો બચાવ કરી ચૂક્યા છે. જેઓ બાકી રહ્યા હતા તેમની પાસે હજી સુધી રક્ષણ નથી, પરંતુ મને લાગે છે કે તેમના માટે પણ બધું સારું રહેશે.

ભવિષ્યની યોજનાઓ

ભવિષ્ય માટે આપણી પાસે કઈ યોજનાઓ છે?

ઓછામાં ઓછી તે સુવિધા વિનંતીઓ કે જે અમે પહેલાથી જ વપરાશકર્તાઓ પાસેથી સાંભળી છે અને કરવા માંગીએ છીએ. આ:

• HA ક્લસ્ટર બેકઅપ આર્કાઇવમાં સમયરેખા ટ્રેકિંગની ચોકસાઈનું નિરીક્ષણ કરવું. તમે WAL-G સાથે આ કરી શકો છો. અને મને લાગે છે કે અમારી પાસે એવા વિદ્યાર્થીઓ હશે જેઓ આ બાબતને ઉઠાવશે.
• અમારી પાસે પહેલેથી જ બેકઅપ અને WAL ને વાદળો વચ્ચે સ્થાનાંતરિત કરવા માટે જવાબદાર વ્યક્તિ છે.
• અને અમે તાજેતરમાં એક વિચાર પ્રકાશિત કર્યો છે કે અમે પૃષ્ઠોને ફરીથી લખ્યા વિના વધારાના બેકઅપ્સને અનપેક કરીને અને અમે ત્યાં મોકલીએ છીએ તે આર્કાઇવ્સને ઑપ્ટિમાઇઝ કરીને અમે WAL-G ને વધુ ઝડપી બનાવી શકીએ છીએ.

તમે તેમને અહીં શેર કરી શકો છો

આ રિપોર્ટ શેના માટે હતો? તદુપરાંત, હવે, આ પ્રોજેક્ટને ટેકો આપનારા 4 લોકો ઉપરાંત, અમારી પાસે વધારાના હાથ છે, જેમાંથી ઘણા બધા છે. ખાસ કરીને જો તમે તેમને વ્યક્તિગત સંદેશમાં લખો. અને જો તમે તમારા ડેટાનો બેકઅપ લો અને તે WAL-G નો ઉપયોગ કરીને કરો અથવા WAL-G પર જવા માંગો છો, તો અમે તમારી ઇચ્છાઓને સરળતાથી સમાવી શકીએ છીએ.

આ એક QR કોડ અને એક લિંક છે. તમે તેમાંથી પસાર થઈ શકો છો અને તમારી બધી ઇચ્છાઓ લખી શકો છો. ઉદાહરણ તરીકે, અમે કેટલીક ભૂલોને ઠીક કરી રહ્યા નથી. અથવા તમને ખરેખર કોઈ વિશેષતા જોઈએ છે, પરંતુ કેટલાક કારણોસર તે હજી સુધી અમારા સહિત કોઈપણ બેકઅપમાં નથી. આ વિશે લખવાની ખાતરી કરો.

પ્રશ્નો

નમસ્તે! રિપોર્ટ માટે આભાર! WAL-G વિશે પ્રશ્ન, પરંતુ Postgres વિશે નહીં. WAL-G MySQL બેકઅપ લે છે અને વધારાનો બેકઅપ બોલાવે છે. જો આપણે CentOS પર આધુનિક ઇન્સ્ટોલેશન લઈએ અને જો તમે MySQL ને yum ઇન્સ્ટોલ કરો, તો MariDB ઇન્સ્ટોલ થશે. વર્ઝન 10.3 થી વધારાનું બેકઅપ સપોર્ટેડ નથી, MariDB બેકઅપ સપોર્ટેડ છે. તમે આ સાથે કેવી રીતે કરી રહ્યા છો?

આ ક્ષણે અમે MariDB નો બેકઅપ લેવાનો પ્રયાસ કર્યો નથી. અમારી પાસે ફાઉન્ડેશનડીબી સપોર્ટ માટે વિનંતીઓ છે, પરંતુ સામાન્ય રીતે, જો આવી વિનંતી હોય, તો અમે એવા લોકોને શોધી શકીએ છીએ જેઓ તે કરશે. તે મને લાગે છે તેટલું લાંબું અથવા મુશ્કેલ નથી.

શુભ બપોર રિપોર્ટ માટે આભાર! સંભવિત નવી સુવિધાઓ વિશે પ્રશ્ન. શું તમે WAL-G ને ટેપ સાથે કામ કરવા માટે તૈયાર છો જેથી કરીને તમે ટેપનો બેકઅપ લઈ શકો?

ટેપ સ્ટોરેજ પર બેકઅપનો દેખીતી રીતે અર્થ થાય છે?

હા.

આન્દ્રે બોરોડિન છે, જે આ પ્રશ્નનો મારા કરતાં વધુ સારી રીતે જવાબ આપી શકે છે.

(એન્ડ્રે) હા, પ્રશ્ન માટે આભાર! અમારી પાસે ક્લાઉડ સ્ટોરેજમાંથી ટેપમાં બેકઅપ ટ્રાન્સફર કરવાની વિનંતી હતી. અને આ માટે કરવત વાદળો વચ્ચે પરિવહન. કારણ કે ક્લાઉડ-ટુ-ક્લાઉડ ટ્રાન્સફર એ ટેપ ટ્રાન્સફરનું સામાન્યકૃત સંસ્કરણ છે. વધુમાં, અમારી પાસે સ્ટોરેજની દ્રષ્ટિએ એક્સ્ટેન્સિબલ આર્કિટેક્ચર છે. માર્ગ દ્વારા, ઘણા સ્ટોરેજ વિદ્યાર્થીઓ દ્વારા લખવામાં આવ્યા હતા. અને જો તમે ટેપ માટે સ્ટોરેજ લખો છો, તો તે, અલબત્ત, સપોર્ટેડ રહેશે. અમે પુલ વિનંતીઓ પર વિચાર કરવા તૈયાર છીએ. ત્યાં તમારે ફાઇલ લખવાની, ફાઇલ વાંચવાની જરૂર છે. જો તમે Go માં આ વસ્તુઓ કરો છો, તો તમે સામાન્ય રીતે કોડની 50 રેખાઓ સાથે સમાપ્ત થશો. અને પછી WAL-G માં ટેપને સપોર્ટ કરવામાં આવશે.

રિપોર્ટ માટે આભાર! રસપ્રદ વિકાસ પ્રક્રિયા. બેકઅપ એ કાર્યક્ષમતાનો ગંભીર ભાગ છે જે પરીક્ષણો દ્વારા સારી રીતે આવરી લેવામાં આવવો જોઈએ. જ્યારે તમે નવા ડેટાબેઝ માટે કાર્યક્ષમતાનો અમલ કર્યો હતો, ત્યારે શું વિદ્યાર્થીઓએ પણ પરીક્ષણો લખ્યા હતા, અથવા શું તમે જાતે પરીક્ષણો લખ્યા હતા અને પછી વિદ્યાર્થીઓને અમલીકરણ આપ્યું હતું?

વિદ્યાર્થીઓએ ટેસ્ટ પણ લખી હતી. પરંતુ વિદ્યાર્થીઓએ નવા ડેટાબેઝ જેવી સુવિધાઓ માટે વધુ લખ્યું. તેઓએ એકીકરણ પરીક્ષણો લખ્યા. અને તેઓએ એકમ કસોટીઓ લખી. જો એકીકરણ પસાર થાય છે, એટલે કે, આ ક્ષણે, આ એક સ્ક્રિપ્ટ છે જે તમે મેન્યુઅલી ચલાવો છો અથવા તમારી પાસે ક્રોન છે, ઉદાહરણ તરીકે. એટલે કે ત્યાંની સ્ક્રિપ્ટ એકદમ સ્પષ્ટ છે.

વિદ્યાર્થીઓ પાસે બહુ અનુભવ નથી. શું સમીક્ષા કરવામાં ઘણો સમય લાગે છે?

હા, સમીક્ષાઓ ઘણો સમય લે છે. એટલે કે, સામાન્ય રીતે, જ્યારે એક સાથે અનેક કમિટર્સ આવે છે અને કહે છે કે મેં આ કર્યું, મેં તે કર્યું, તો તમારે ત્યાં શું લખ્યું છે તે શોધવા માટે તમારે લગભગ અડધો દિવસ વિચારવાની અને અલગ રાખવાની જરૂર છે. કારણ કે કોડ કાળજીપૂર્વક વાંચવો જોઈએ. તેમની પાસે કોઈ ઇન્ટરવ્યુ ન હતો. અમે તેમને સારી રીતે ઓળખતા નથી, તેથી તે ઘણો સમય લે છે.

રિપોર્ટ માટે આભાર! અગાઉ, એન્ડ્રે બોરોડિને જણાવ્યું હતું કે WAL-G માં આર્કાઇવ_કમાન્ડને સીધો કૉલ કરવો જોઈએ. પરંતુ અમુક પ્રકારના ક્લસ્ટર કારતૂસના કિસ્સામાં, શાફ્ટ મોકલવા માટે નોડ નક્કી કરવા માટે અમને વધારાના તર્કની જરૂર છે. તમે આ સમસ્યા જાતે કેવી રીતે હલ કરશો?

અહીં તમારી સમસ્યા શું છે? ચાલો કહીએ કે તમારી પાસે સિંક્રનસ પ્રતિકૃતિ છે જેની સાથે તમે બેકઅપ બનાવી રહ્યા છો? અથવા શું?

(એન્ડ્રે) હકીકત એ છે કે ખરેખર WAL-G નો ઉપયોગ શેલ સ્ક્રિપ્ટ્સ વિના કરવાનો છે. જો કંઈક ખૂટે છે, તો ચાલો તર્ક ઉમેરીએ જે WAL-G ની અંદર હોવો જોઈએ. આર્કાઇવિંગ ક્યાંથી આવવું જોઈએ તે અંગે, અમે માનીએ છીએ કે આર્કાઇવિંગ ક્લસ્ટરમાં વર્તમાન માસ્ટર પાસેથી હોવું જોઈએ. પ્રતિકૃતિમાંથી આર્કાઇવ કરવું એ ખરાબ વિચાર છે. સમસ્યાઓ સાથે વિવિધ સંભવિત દૃશ્યો છે. ખાસ કરીને, સમયરેખા અને કોઈપણ વધારાની માહિતીને આર્કાઇવ કરવામાં સમસ્યાઓ. પ્રશ્ન માટે આભાર!

(સ્પષ્ટતા: અમે શેલ સ્ક્રિપ્ટોથી છૂટકારો મેળવ્યો આ અંકમાં)

શુભ સાંજ! રિપોર્ટ માટે આભાર! તમે જે કેચઅપની વાત કરી છે તેમાં મને રસ છે. અમને એવી પરિસ્થિતિનો સામનો કરવો પડ્યો કે જ્યાં પ્રતિકૃતિ પાછળ હતી અને તે પકડી શકી ન હતી. અને મને WAL-G દસ્તાવેજોમાં આ સુવિધાનું વર્ણન મળ્યું નથી.

કેચઅપ શાબ્દિક રીતે 20મી જાન્યુઆરી 2020 ના રોજ દેખાયો. દસ્તાવેજીકરણ માટે કેટલાક વધુ કામની જરૂર પડી શકે છે. અમે તેને જાતે લખીએ છીએ અને અમે તેને ખૂબ સારી રીતે લખતા નથી. અને કદાચ આપણે વિદ્યાર્થીઓને તે લખવા માટે જરૂરી કરવાનું શરૂ કરવું જોઈએ.

શું તે પહેલાથી જ રિલીઝ થયું છે?

પુલ વિનંતી પહેલેથી જ મરી ગઈ છે, એટલે કે મેં તેને તપાસ્યું છે. મેં ટેસ્ટ ક્લસ્ટર પર આનો પ્રયાસ કર્યો. અત્યાર સુધી અમારી પાસે એવી પરિસ્થિતિ નથી કે જ્યાં અમે આને લડાઇના ઉદાહરણમાં ચકાસી શકીએ.

ક્યારે અપેક્ષા રાખવી?

મને ખબર નથી. એક મહિના રાહ જુઓ, અમે ખાતરી માટે તપાસ કરીશું.

સોર્સ: www.habr.com