કુબરનેટ્સ, અમારી પસંદગીઓ અને અનુભવો માટે પોસ્ટગ્રેએસક્યુએલ નિવેદનોની સંક્ષિપ્ત ઝાંખી

વધુને વધુ, ગ્રાહકોને નીચેની વિનંતીઓ પ્રાપ્ત થઈ રહી છે: “અમે તેને એમેઝોન આરડીએસની જેમ ઈચ્છીએ છીએ, પરંતુ સસ્તું”; "અમે તેને આરડીએસની જેમ ઈચ્છીએ છીએ, પરંતુ દરેક જગ્યાએ, કોઈપણ ઈન્ફ્રાસ્ટ્રક્ચરમાં." Kubernetes પર આવા મેનેજ્ડ સોલ્યુશનને અમલમાં મૂકવા માટે, અમે PostgreSQL (સ્ટોલોન, ક્રન્ચી ડેટા અને ઝાલેન્ડોના ઓપરેટરો) માટેના સૌથી લોકપ્રિય ઓપરેટર્સની વર્તમાન સ્થિતિ જોઈ અને અમારી પસંદગી કરી.

આ લેખ એ અનુભવ છે જે આપણે સૈદ્ધાંતિક દૃષ્ટિકોણથી (ઉકેલની સમીક્ષા) અને વ્યવહારિક બાજુથી (શું પસંદ કરવામાં આવ્યું હતું અને તેમાંથી શું આવ્યું છે) બંનેથી મેળવ્યો છે. પરંતુ પહેલા, ચાલો નક્કી કરીએ કે RDS ના સંભવિત રિપ્લેસમેન્ટ માટે સામાન્ય જરૂરિયાતો શું છે...

RDS શું છે

જ્યારે લોકો RDS વિશે વાત કરે છે, અમારા અનુભવમાં, તેઓનો અર્થ વ્યવસ્થાપિત DBMS સેવા છે જે:

1. રૂપરેખાંકિત કરવા માટે સરળ;
2. સ્નેપશોટ સાથે કામ કરવાની અને તેમાંથી પુનઃપ્રાપ્ત કરવાની ક્ષમતા ધરાવે છે (પ્રાધાન્યમાં સપોર્ટ સાથે પીઆઈટીઆર);
3. તમને માસ્ટર-સ્લેવ ટોપોલોજી બનાવવાની મંજૂરી આપે છે;
4. એક્સ્ટેંશનની સમૃદ્ધ સૂચિ છે;
5. ઓડિટીંગ અને વપરાશકર્તા/એક્સેસ મેનેજમેન્ટ પ્રદાન કરે છે.

સામાન્ય રીતે કહીએ તો, હાથ પરના કાર્યને અમલમાં મૂકવાના અભિગમો ખૂબ જ અલગ હોઈ શકે છે, પરંતુ શરતી જવાબો સાથેનો માર્ગ આપણી નજીક નથી. (પરિણામે 2GIS ના સાથીદારો સમાન નિષ્કર્ષ પર આવ્યા તેનો પ્રયાસ "પોસ્ટગ્રેસ-આધારિત ફેલઓવર ક્લસ્ટરને ઝડપથી જમાવવા માટે એક સાધન બનાવો.")

ઓપરેટર્સ એ કુબરનેટસ ઇકોસિસ્ટમમાં સમાન સમસ્યાઓ ઉકેલવા માટે એક સામાન્ય અભિગમ છે. "Flanta" ના ટેકનિકલ નિયામક પહેલાથી જ Kubernetes ની અંદર શરૂ કરાયેલ ડેટાબેસેસના સંબંધમાં તેમના વિશે વધુ વિગતવાર વાત કરી ચૂક્યા છે. ડિસ્ટોલમાં તેના અહેવાલોમાંથી એક.

NB: ઝડપથી સરળ ઓપરેટરો બનાવવા માટે, અમે અમારી ઓપન સોર્સ ઉપયોગિતા પર ધ્યાન આપવાની ભલામણ કરીએ છીએ શેલ-ઓપરેટર. તેનો ઉપયોગ કરીને, તમે ગોના જ્ઞાન વિના આ કરી શકો છો, પરંતુ સિસ્ટમ સંચાલકો માટે વધુ પરિચિત રીતે: Bash, Python, વગેરેમાં.

PostgreSQL માટે ઘણા લોકપ્રિય K8s ઓપરેટરો છે:

• સ્ટોલોન;
• ક્રન્ચી ડેટા પોસ્ટગ્રેએસક્યુએલ ઓપરેટર;
• Zalando Postgres ઓપરેટર.

ચાલો તેમને વધુ નજીકથી જોઈએ.

ઓપરેટરની પસંદગી

ઉપરોક્ત પહેલાથી જ ઉલ્લેખિત મહત્વની વિશેષતાઓ ઉપરાંત, અમે - કુબરનેટસ ઇન્ફ્રાસ્ટ્રક્ચર ઑપરેશન એન્જિનિયર તરીકે - ઑપરેટરો પાસેથી નીચેની અપેક્ષાઓ પણ રાખીએ છીએ:

• Git અને સાથે જમાવટ કસ્ટમ સંસાધનો;
• પોડ વિરોધી એફિનિટી સપોર્ટ;
• નોડ એફિનિટી અથવા નોડ સિલેક્ટર ઇન્સ્ટોલ કરવું;
• સહિષ્ણુતાની સ્થાપના;
• ટ્યુનિંગ ક્ષમતાઓની ઉપલબ્ધતા;
• સમજી શકાય તેવી તકનીકો અને આદેશો પણ.

દરેક મુદ્દાની વિગતોમાં ગયા વિના (જો તમને આખો લેખ વાંચ્યા પછી પણ તેના વિશે પ્રશ્નો હોય તો ટિપ્પણીઓમાં પૂછો), હું સામાન્ય રીતે નોંધ લઈશ કે ક્લસ્ટર નોડ્સની વિશેષતાનું વધુ સચોટ વર્ણન કરવા માટે આ પરિમાણો જરૂરી છે. તેમને ચોક્કસ એપ્લિકેશન માટે ઓર્ડર કરો. આ રીતે અમે પ્રદર્શન અને ખર્ચના સંદર્ભમાં શ્રેષ્ઠ સંતુલન હાંસલ કરી શકીએ છીએ.

હવે ચાલો PostgreSQL ઓપરેટરો પર આગળ વધીએ.

1. સ્ટોલોન

સ્ટોલોન માં ઇટાલિયન કંપની Sorint.lab તરફથી પહેલેથી જ ઉલ્લેખિત અહેવાલ ડીબીએમએસ માટે ઓપરેટરોમાં એક પ્રકારનું ધોરણ માનવામાં આવતું હતું. આ એકદમ જૂનો પ્રોજેક્ટ છે: તેનું પ્રથમ સાર્વજનિક પ્રકાશન નવેમ્બર 2015(!) માં થયું હતું અને GitHub રિપોઝીટરી લગભગ 3000 સ્ટાર્સ અને 40+ યોગદાનકર્તાઓ ધરાવે છે.

ખરેખર, સ્ટોલોન વિચારશીલ આર્કિટેક્ચરનું ઉત્તમ ઉદાહરણ છે:

આ ઓપરેટરનું ઉપકરણ અહેવાલમાં વિગતવાર મળી શકે છે અથવા પ્રોજેક્ટ દસ્તાવેજીકરણ. સામાન્ય રીતે, તે કહેવું પૂરતું છે કે તે વર્ણવેલ બધું જ કરી શકે છે: ફેલઓવર, પારદર્શક ક્લાયંટ એક્સેસ માટે પ્રોક્સી, બેકઅપ... વધુમાં, પ્રોક્સીઓ એક એન્ડપોઇન્ટ સેવા દ્વારા એક્સેસ પ્રદાન કરે છે - નીચે ચર્ચા કરાયેલા અન્ય બે ઉકેલોથી વિપરીત (તેઓ દરેક માટે બે સેવાઓ ધરાવે છે. પ્રવેશ આધાર).

જો કે, સ્ટોલોન કોઈ કસ્ટમ સંસાધનો નથી, તેથી જ તેને કુબરનેટ્સમાં DBMS દાખલા બનાવવા માટે - "હોટ કેકની જેમ" - સરળ અને ઝડપી હોય તે રીતે તેનો ઉપયોગ કરી શકાતો નથી. સંચાલન ઉપયોગિતા દ્વારા હાથ ધરવામાં આવે છે stolonctl, ડિપ્લોયમેન્ટ હેલ્મ ચાર્ટ દ્વારા કરવામાં આવે છે, અને કસ્ટમને ConfigMap માં વ્યાખ્યાયિત અને ઉલ્લેખિત કરવામાં આવે છે.

એક તરફ, તે તારણ આપે છે કે ઓપરેટર ખરેખર ઓપરેટર નથી (છેવટે, તે CRD નો ઉપયોગ કરતું નથી). પરંતુ બીજી બાજુ, તે એક લવચીક સિસ્ટમ છે જે તમને K8s માં સંસાધનો ગોઠવવાની પરવાનગી આપે છે કારણ કે તમે યોગ્ય જુઓ છો.

સારાંશ માટે, અમારા માટે વ્યક્તિગત રીતે દરેક ડેટાબેઝ માટે એક અલગ ચાર્ટ બનાવવાનું શ્રેષ્ઠ લાગતું નથી. તેથી, અમે વિકલ્પો શોધવાનું શરૂ કર્યું.

2. ક્રન્ચી ડેટા પોસ્ટગ્રેએસક્યુએલ ઓપરેટર

ક્રન્ચી ડેટામાંથી ઓપરેટર, એક યુવાન અમેરિકન સ્ટાર્ટઅપ, એક તાર્કિક વિકલ્પ જેવું લાગતું હતું. તેનો સાર્વજનિક ઇતિહાસ માર્ચ 2017 માં પ્રથમ પ્રકાશન સાથે શરૂ થાય છે, ત્યારથી GitHub રિપોઝીટરીને માત્ર 1300થી ઓછા સ્ટાર્સ અને 50+ યોગદાનકર્તાઓ પ્રાપ્ત થયા છે. સપ્ટેમ્બરથી તાજેતરની રિલીઝનું પરીક્ષણ કુબરનેટ્સ 1.15-1.18, ઓપનશિફ્ટ 3.11+ અને 4.4+, GKE અને VMware Enterprise PKS 1.3+ સાથે કામ કરવા માટે કરવામાં આવ્યું હતું.

ક્રન્ચી ડેટા પોસ્ટગ્રેએસક્યુએલ ઓપરેટરનું આર્કિટેક્ચર પણ જણાવેલી જરૂરિયાતોને પૂર્ણ કરે છે:

વ્યવસ્થાપન ઉપયોગિતા દ્વારા થાય છે pgoજો કે, તે બદલામાં કુબરનેટ્સ માટે કસ્ટમ સંસાધનો જનરેટ કરે છે. તેથી, ઓપરેટર સંભવિત વપરાશકર્તાઓ તરીકે અમને ખુશ કરે છે:

• CRD દ્વારા નિયંત્રણ છે;
• અનુકૂળ વપરાશકર્તા વ્યવસ્થાપન (સીઆરડી દ્વારા પણ);
• અન્ય ઘટકો સાથે એકીકરણ ભચડ અવાજવાળું ડેટા કન્ટેનર સ્યુટ — PostgreSQL માટે કન્ટેનર ઈમેજોનો વિશિષ્ટ સંગ્રહ અને તેની સાથે કામ કરવા માટેની ઉપયોગિતાઓ (pgBackRest, pgAudit, યોગદાનમાંથી એક્સ્ટેન્શન્સ વગેરે સહિત).

જો કે, ક્રન્ચી ડેટામાંથી ઓપરેટરનો ઉપયોગ શરૂ કરવાના પ્રયાસોએ ઘણી સમસ્યાઓ જાહેર કરી:

• સહન કરવાની કોઈ શક્યતા ન હતી - ફક્ત નોડસેલેક્ટર પ્રદાન કરવામાં આવે છે.
• અમે સ્ટેટફુલ એપ્લિકેશનનો ઉપયોગ કર્યો હોવા છતાં બનાવેલ પોડ્સ ડિપ્લોયમેન્ટનો ભાગ હતા. સ્ટેટફુલસેટ્સથી વિપરીત, ડિપ્લોયમેન્ટ ડિસ્ક બનાવી શકતા નથી.

છેલ્લી ખામી રમુજી ક્ષણો તરફ દોરી જાય છે: પરીક્ષણ પર્યાવરણ પર અમે એક ડિસ્ક સાથે 3 પ્રતિકૃતિઓ ચલાવવામાં વ્યવસ્થાપિત છીએ સ્થાનિક સંગ્રહ, જેના કારણે ઓપરેટરે જાણ કરી કે 3 પ્રતિકૃતિઓ કામ કરી રહી છે (તેઓ ન હોવા છતાં).

આ ઓપરેટરની બીજી વિશેષતા એ વિવિધ સહાયક પ્રણાલીઓ સાથે તેનું તૈયાર એકીકરણ છે. ઉદાહરણ તરીકે, pgAdmin અને pgBounce, અને માં ઇન્સ્ટોલ કરવું સરળ છે દસ્તાવેજીકરણ પૂર્વ-રૂપરેખાંકિત Grafana અને Prometheus ગણવામાં આવે છે. હાલ મા 4.5.0-beta1 રિલીઝ કરો પ્રોજેક્ટ સાથે સુધારેલ એકીકરણ અલગથી નોંધવામાં આવે છે પીજી મોનિટર, જેનો આભાર ઓપરેટર બોક્સની બહાર PgSQL મેટ્રિક્સનું સ્પષ્ટ વિઝ્યુલાઇઝેશન ઓફર કરે છે.

જો કે, કુબરનેટસ-જનરેટેડ સંસાધનોની વિચિત્ર પસંદગીએ અમને એક અલગ ઉકેલ શોધવાની જરૂરિયાત તરફ દોરી.

3. ઝાલેન્ડો પોસ્ટગ્રેસ ઓપરેટર

અમે ઝાલેન્ડોના ઉત્પાદનોને લાંબા સમયથી જાણીએ છીએ: અમને ઝાલેનિયમનો ઉપયોગ કરવાનો અનુભવ છે અને, અલબત્ત, અમે પ્રયાસ કર્યો પટ્રોની PostgreSQL માટે તેમનું લોકપ્રિય HA સોલ્યુશન છે. બનાવવા માટે કંપનીના અભિગમ વિશે પોસ્ટગ્રેસ ઓપરેટર તેના લેખકોમાંના એક, એલેક્સી ક્લ્યુકિને, પ્રસારણમાં જણાવ્યું હતું પોસ્ટગ્રેસ-મંગળવાર #5, અને અમને તે ગમ્યું.

આ લેખમાં ચર્ચા કરવામાં આવેલો સૌથી નાનો ઉકેલ છે: પ્રથમ પ્રકાશન ઓગસ્ટ 2018 માં થયું હતું. જો કે, ઓછી સંખ્યામાં ઔપચારિક પ્રકાશનો હોવા છતાં, પ્રોજેક્ટે ઘણો લાંબો રસ્તો કાઢ્યો છે, જે પહેલાથી જ લોકપ્રિયતામાં ક્રન્ચી ડેટાના ઉકેલને GitHub પર 1300+ સ્ટાર્સ અને મહત્તમ સંખ્યામાં ફાળો આપનારા (70+)ને વટાવી ગયો છે.

"હૂડ હેઠળ" આ ઓપરેટર સમય-ચકાસાયેલ ઉકેલોનો ઉપયોગ કરે છે:

• પટ્રોની અને સ્પિલો ડ્રાઇવિંગ માટે,
• WAL-E - બેકઅપ માટે,
• PgBouncer - જોડાણ પૂલ તરીકે.

ઝાલેન્ડોમાંથી ઓપરેટર આર્કિટેક્ચર આ રીતે રજૂ કરવામાં આવ્યું છે:

ઑપરેટર સંપૂર્ણપણે કસ્ટમ રિસોર્સિસ દ્વારા સંચાલિત થાય છે, તે કન્ટેનરમાંથી આપમેળે સ્ટેટફુલસેટ બનાવે છે, જે પછી પોડમાં વિવિધ સાઇડકાર ઉમેરીને કસ્ટમાઇઝ કરી શકાય છે. ક્રન્ચી ડેટાના ઓપરેટરની સરખામણીમાં આ બધો જ નોંધપાત્ર ફાયદો છે.

અમે વિચારણા હેઠળના 3 વિકલ્પોમાંથી ઝાલેન્ડોમાંથી સોલ્યુશન પસંદ કર્યું હોવાથી, તેની ક્ષમતાઓનું વધુ વર્ણન, એપ્લિકેશનની પ્રેક્ટિસ સાથે તરત જ નીચે રજૂ કરવામાં આવશે.

ઝાલેન્ડોના પોસ્ટગ્રેસ ઓપરેટર સાથે પ્રેક્ટિસ કરો

ઓપરેટર જમાવટ ખૂબ જ સરળ છે: ફક્ત GitHub માંથી વર્તમાન પ્રકાશન ડાઉનલોડ કરો અને ડિરેક્ટરીમાંથી YAML ફાઇલો લાગુ કરો મેનીફેસ્ટ. વૈકલ્પિક રીતે, તમે પણ ઉપયોગ કરી શકો છો ઓપરેટરહબ.

ઇન્સ્ટોલેશન પછી, તમારે સેટઅપ વિશે ચિંતા કરવી જોઈએ લોગ અને બેકઅપ માટે સંગ્રહ. આ ConfigMap દ્વારા કરવામાં આવે છે postgres-operator નેમસ્પેસમાં જ્યાં તમે ઓપરેટર ઇન્સ્ટોલ કર્યું છે. એકવાર રિપોઝીટરીઝ રૂપરેખાંકિત થઈ જાય, પછી તમે તમારું પ્રથમ PostgreSQL ક્લસ્ટર જમાવી શકો છો.

ઉદાહરણ તરીકે, અમારી માનક જમાવટ આના જેવી દેખાય છે:

apiVersion: acid.zalan.do/v1
kind: postgresql
metadata:
 name: staging-db
spec:
 numberOfInstances: 3
 patroni:
   synchronous_mode: true
 postgresql:
   version: "12"
 resources:
   limits:
     cpu: 100m
     memory: 1Gi
   requests:
     cpu: 100m
     memory: 1Gi
 sidecars:
 - env:
   - name: DATA_SOURCE_URI
     value: 127.0.0.1:5432
   - name: DATA_SOURCE_PASS
     valueFrom:
       secretKeyRef:
         key: password
         name: postgres.staging-db.credentials
   - name: DATA_SOURCE_USER
     value: postgres
   image: wrouesnel/postgres_exporter
   name: prometheus-exporter
   resources:
     limits:
       cpu: 500m
       memory: 100Mi
     requests:
       cpu: 100m
       memory: 100Mi
 teamId: staging
 volume:
   size: 2Gi

આ મેનિફેસ્ટ ફોર્મમાં સાઇડકાર સાથે 3 ઇન્સ્ટન્સનું ક્લસ્ટર જમાવે છે postgres_exporter, જેમાંથી અમે એપ્લિકેશન મેટ્રિક્સ લઈએ છીએ. જેમ તમે જોઈ શકો છો, બધું ખૂબ જ સરળ છે, અને જો તમે ઈચ્છો, તો તમે શાબ્દિક રીતે અમર્યાદિત સંખ્યામાં ક્લસ્ટરો બનાવી શકો છો.

તેના પર ધ્યાન આપવું યોગ્ય છે વેબ એડમિનિસ્ટ્રેશન પેનલ - postgres-operator-ui. તે ઓપરેટર સાથે આવે છે અને તમને ક્લસ્ટર બનાવવા અને કાઢી નાખવાની તેમજ ઓપરેટર દ્વારા બનાવેલા બેકઅપ સાથે કામ કરવાની મંજૂરી આપે છે.

PostgreSQL ક્લસ્ટરોની યાદી

બેકઅપ મેનેજમેન્ટ

અન્ય રસપ્રદ લક્ષણ આધાર છે ટીમ્સ API. આ મિકેનિઝમ આપોઆપ બનાવે છે PostgreSQL માં ભૂમિકાઓ, વપરાશકર્તાનામોની પરિણામી સૂચિના આધારે. પછી API તમને એવા વપરાશકર્તાઓની સૂચિ પરત કરવાની મંજૂરી આપે છે કે જેના માટે ભૂમિકાઓ આપમેળે બનાવવામાં આવે છે.

સમસ્યાઓ અને ઉકેલો

જો કે, ઓપરેટરના ઉપયોગથી ટૂંક સમયમાં ઘણી નોંધપાત્ર ખામીઓ બહાર આવી:

1. નોડસેલેક્ટર સપોર્ટનો અભાવ;
2. બેકઅપને અક્ષમ કરવામાં અસમર્થતા;
3. ડેટાબેઝ બનાવટ કાર્યનો ઉપયોગ કરતી વખતે, મૂળભૂત વિશેષાધિકારો દેખાતા નથી;
4. સમયાંતરે, દસ્તાવેજો ખૂટે છે અથવા જૂનું છે.

સદનસીબે, તેમાંના ઘણા ઉકેલી શકાય છે. ચાલો અંતથી શરૂ કરીએ - સાથે સમસ્યાઓ દસ્તાવેજીકરણ.

મોટે ભાગે, તમે એ હકીકતનો સામનો કરશો કે બેકઅપ કેવી રીતે રજીસ્ટર કરવું અને ઓપરેટર UI સાથે બેકઅપ બકેટને કેવી રીતે કનેક્ટ કરવું તે હંમેશા સ્પષ્ટ હોતું નથી. દસ્તાવેજીકરણ આ વિશે વાત કરે છે, પરંતુ વાસ્તવિક વર્ણન તેમાં છે PR:

1. ગુપ્ત બનાવવાની જરૂર છે;
2. તેને પેરામીટર તરીકે ઓપરેટરને પાસ કરો pod_environment_secret_name ઑપરેટર સેટિંગ્સ સાથે CRD માં અથવા ConfigMap માં (તમે ઑપરેટરને કેવી રીતે ઇન્સ્ટોલ કરવાનું નક્કી કરો છો તેના આધારે).

જો કે, તે બહાર આવ્યું તેમ, આ હાલમાં અશક્ય છે. તેથી જ અમે એકત્રિત કર્યા ઓપરેટરનું તમારું સંસ્કરણ કેટલાક વધારાના તૃતીય-પક્ષ વિકાસ સાથે. તેના વિશે વધુ માહિતી માટે, નીચે જુઓ.

જો તમે ઓપરેટરને બેકઅપ માટેના પરિમાણો પાસ કરો છો, એટલે કે - wal_s3_bucket અને AWS S3 માં ઍક્સેસ કીઓ, પછી તે બધું બેકઅપ લેશે: માત્ર ઉત્પાદનમાં જ નહીં, પણ સ્ટેજીંગ પણ. આ અમને અનુકૂળ ન હતું.

સ્પિલો માટેના પરિમાણોના વર્ણનમાં, જે ઓપરેટરનો ઉપયોગ કરતી વખતે PgSQL માટે મૂળભૂત ડોકર રેપર છે, તે બહાર આવ્યું છે: તમે પરિમાણ પસાર કરી શકો છો WAL_S3_BUCKET ખાલી, ત્યાંથી બેકઅપને અક્ષમ કરે છે. તદુપરાંત, મહાન આનંદ માટે, મને મળ્યું તૈયાર પીઆર, જેને અમે તરત જ અમારા ફોર્કમાં સ્વીકારી લીધું. હવે તમારે ફક્ત ઉમેરવાની જરૂર છે enableWALArchiving: false PostgreSQL ક્લસ્ટર સ્ત્રોત માટે.

હા, 2 ઓપરેટરો ચલાવીને તેને અલગ રીતે કરવાની તક હતી: એક સ્ટેજીંગ માટે (બેકઅપ વિના), અને બીજું ઉત્પાદન માટે. પરંતુ અમે એક સાથે કરવા સક્ષમ હતા.

ઠીક છે, અમે S3 માટે ડેટાબેસેસની ઍક્સેસ કેવી રીતે સ્થાનાંતરિત કરવી તે શીખ્યા અને બેકઅપ્સ સ્ટોરેજમાં આવવા લાગ્યા. ઓપરેટર UI માં બેકઅપ પૃષ્ઠો કેવી રીતે કાર્ય કરે છે?

તમારે ઑપરેટર UI માં 3 ચલો ઉમેરવાની જરૂર પડશે:

• SPILO_S3_BACKUP_BUCKET
• AWS_ACCESS_KEY_ID
• AWS_SECRET_ACCESS_KEY

આ પછી, બેકઅપ્સનું સંચાલન ઉપલબ્ધ થશે, જે અમારા કિસ્સામાં સ્ટેજીંગ સાથે કાર્યને સરળ બનાવશે, અમને વધારાની સ્ક્રિપ્ટો વિના ઉત્પાદનમાંથી સ્લાઇસેસ પહોંચાડવાની મંજૂરી આપશે.

ટીમ્સ API સાથે કામ કરવાનો બીજો ફાયદો અને ઓપરેટર ટૂલ્સનો ઉપયોગ કરીને ડેટાબેઝ અને ભૂમિકાઓ બનાવવા માટેની પૂરતી તકો હતી. જો કે, બનાવેલ છે ભૂમિકાઓને મૂળભૂત રીતે કોઈ અધિકારો નહોતા. તદનુસાર, વાંચવાના અધિકારો ધરાવતા વપરાશકર્તા નવા કોષ્ટકો વાંચી શકતા નથી.

તે શા માટે છે? કોડમાં હકીકત હોવા છતાં છે જરૂરી GRANT, તેઓ હંમેશા ઉપયોગમાં લેવાતા નથી. ત્યાં 2 પદ્ધતિઓ છે: syncPreparedDatabases и syncDatabases. આ syncPreparedDatabases - વિભાગમાં હકીકત હોવા છતાં preparedDatabases છે એક શરત છે defaultRoles и defaultUsers ભૂમિકાઓ બનાવવા માટે, ડિફોલ્ટ અધિકારો લાગુ થતા નથી. અમે પેચ તૈયાર કરવાની પ્રક્રિયામાં છીએ જેથી કરીને આ અધિકારો આપમેળે લાગુ થાય.

અને સુધારાઓમાં છેલ્લો મુદ્દો જે આપણા માટે સુસંગત છે - પેચ, જે બનાવેલ સ્ટેટફુલસેટમાં નોડ એફિનિટી ઉમેરે છે. અમારા ગ્રાહકો ઘણીવાર સ્પોટ ઇન્સ્ટન્સનો ઉપયોગ કરીને ખર્ચ ઘટાડવાનું પસંદ કરે છે, અને તેઓ સ્પષ્ટપણે ડેટાબેઝ સેવાઓને હોસ્ટ કરવા યોગ્ય નથી. આ સમસ્યા સહનશીલતા દ્વારા ઉકેલી શકાય છે, પરંતુ નોડ એફિનિટીની હાજરી વધુ આત્મવિશ્વાસ આપે છે.

શું થયું?

ઉપરોક્ત સમસ્યાઓ ઉકેલવાના પરિણામોના આધારે, અમે ઝાલેન્ડોમાંથી પોસ્ટગ્રેસ ઓપરેટરને તમારા ભંડાર, જ્યાં તે આવા ઉપયોગી પેચો સાથે એકત્રિત કરવામાં આવે છે. અને વધુ સગવડ માટે, અમે પણ એકત્રિત કર્યું ડોકર છબી.

ફોર્કમાં સ્વીકૃત પીઆરની સૂચિ:

• ડોકરમાં ઓપરેટર માટે સુરક્ષિત હળવા વજનની છબી બનાવવી;
• બેકઅપને અક્ષમ કરી રહ્યું છે;
• k8s ની વર્તમાન આવૃત્તિઓ માટે સંસાધન આવૃત્તિઓ સુધારી રહ્યા છીએ;
• નોડ એફિનિટીનો અમલ.

જો સમુદાય આ PR ને સમર્થન આપે તો તે મહાન રહેશે જેથી તેઓ ઑપરેટરના આગલા સંસ્કરણ સાથે અપસ્ટ્રીમ મેળવી શકે (1.6).

બોનસ! ઉત્પાદન સ્થળાંતર સફળતા વાર્તા

જો તમે Patroni નો ઉપયોગ કરો છો, તો લાઇવ પ્રોડક્શનને ન્યૂનતમ ડાઉનટાઇમ સાથે ઓપરેટર પર સ્થાનાંતરિત કરી શકાય છે.

સ્પિલો તમને S3 સ્ટોરેજ દ્વારા સ્ટેન્ડબાય ક્લસ્ટર બનાવવા માટે પરવાનગી આપે છે વોલ-ઇ, જ્યારે PgSQL બાઈનરી લોગ પ્રથમ S3 માં સંગ્રહિત થાય છે અને પછી પ્રતિકૃતિ દ્વારા બહાર કાઢવામાં આવે છે. પરંતુ જો તમારી પાસે હોય તો શું કરવું નથી જૂના ઈન્ફ્રાસ્ટ્રક્ચર પર Wal-E દ્વારા ઉપયોગમાં લેવાય છે? આ સમસ્યાનો ઉકેલ પહેલેથી જ છે તે સૂચવવામાં આવ્યું હતું હબ પર.

PostgreSQL લોજિકલ પ્રતિકૃતિ બચાવમાં આવે છે. જો કે, અમે પ્રકાશનો અને સબ્સ્ક્રિપ્શન્સ કેવી રીતે બનાવવું તે વિશે વિગતમાં જઈશું નહીં, કારણ કે... અમારી યોજના ફિયાસ્કો હતી.

હકીકત એ છે કે ડેટાબેઝમાં લાખો પંક્તિઓ સાથે ઘણા લોડ કરેલા કોષ્ટકો હતા, જે વધુમાં, સતત ફરી ભરાઈ ગયા હતા અને કાઢી નાખવામાં આવ્યા હતા. સરળ સબ્સ્ક્રિપ્શન с copy_data, જ્યારે નવી પ્રતિકૃતિ માસ્ટરના તમામ સમાવિષ્ટોની નકલ કરે છે, ત્યારે તે ફક્ત માસ્ટર સાથે ચાલુ રાખી શકતી નથી. સામગ્રીની નકલ કરવાનું એક અઠવાડિયા સુધી કામ કર્યું, પરંતુ માસ્ટર સાથે ક્યારેય પકડાયું નહીં. અંતે, તેણે મને સમસ્યા હલ કરવામાં મદદ કરી લેખ Avito ના સાથીદારો: તમે ઉપયોગ કરીને ડેટા ટ્રાન્સફર કરી શકો છો pg_dump. હું આ અલ્ગોરિધમના અમારા (થોડા ફેરફાર કરેલા) સંસ્કરણનું વર્ણન કરીશ.

વિચાર એ છે કે તમે ચોક્કસ પ્રતિકૃતિ સ્લોટ સાથે બંધાયેલ અક્ષમ સબ્સ્ક્રિપ્શન બનાવી શકો છો અને પછી ટ્રાન્ઝેક્શન નંબર સુધારી શકો છો. ઉત્પાદન કાર્ય માટે ઉપલબ્ધ પ્રતિકૃતિઓ હતી. આ મહત્વપૂર્ણ છે કારણ કે પ્રતિકૃતિ સતત ડમ્પ બનાવવામાં મદદ કરશે અને માસ્ટર તરફથી ફેરફારો પ્રાપ્ત કરવાનું ચાલુ રાખશે.

સ્થળાંતર પ્રક્રિયાનું વર્ણન કરતા અનુગામી આદેશો નીચેના હોસ્ટ નોટેશનનો ઉપયોગ કરશે:

1. માસ્ટર - સ્ત્રોત સર્વર;
2. પ્રતિકૃતિ1 — જૂના ઉત્પાદન પર સ્ટ્રીમિંગ પ્રતિકૃતિ;
3. પ્રતિકૃતિ2 - નવી લોજિકલ પ્રતિકૃતિ.

સ્થળાંતર યોજના

1. સ્કીમામાં તમામ કોષ્ટકો માટે માસ્ટર પર સબ્સ્ક્રિપ્શન બનાવો public પાયો dbname:

psql -h master -d dbname -c "CREATE PUBLICATION dbname FOR ALL TABLES;"

2. માસ્ટર પર પ્રતિકૃતિ સ્લોટ બનાવો:

psql -h master -c "select pg_create_logical_replication_slot('repl', 'pgoutput');"

3. જૂની પ્રતિકૃતિ પર પ્રતિકૃતિ બંધ કરો:

psql -h replica1 -c "select pg_wal_replay_pause();"

4. માસ્ટર પાસેથી ટ્રાન્ઝેક્શન નંબર મેળવો:

psql -h master -c "select replay_lsn from pg_stat_replication where client_addr = 'replica1';"

5. જૂની પ્રતિકૃતિમાંથી ડમ્પ દૂર કરો. અમે આને કેટલાક થ્રેડોમાં કરીશું, જે પ્રક્રિયાને ઝડપી બનાવવામાં મદદ કરશે:

pg_dump -h replica1 --no-publications --no-subscriptions -O -C -F d -j 8 -f dump/ dbname

6. નવા સર્વર પર ડમ્પ અપલોડ કરો:

pg_restore -h replica2 -F d -j 8 -d dbname dump/

7. ડમ્પ ડાઉનલોડ કર્યા પછી, તમે સ્ટ્રીમિંગ પ્રતિકૃતિ પર પ્રતિકૃતિ શરૂ કરી શકો છો:

psql -h replica1 -c "select pg_wal_replay_resume();"

7. ચાલો નવી લોજિકલ પ્રતિકૃતિ પર સબ્સ્ક્રિપ્શન બનાવીએ:

psql -h replica2 -c "create subscription oldprod connection 'host=replica1 port=5432 user=postgres password=secret dbname=dbname' publication dbname with (enabled = false, create_slot = false, copy_data = false, slot_name='repl');"

8. ચાલો મેળવીએ oid સબ્સ્ક્રિપ્શન્સ:

psql -h replica2 -d dbname -c "select oid, * from pg_subscription;"

9. ચાલો કહીએ કે તે પ્રાપ્ત થયું હતું oid=1000. ચાલો સબ્સ્ક્રિપ્શન પર ટ્રાન્ઝેક્શન નંબર લાગુ કરીએ:

psql -h replica2 -d dbname -c "select pg_replication_origin_advance('pg_1000', 'AA/AAAAAAAA');"

10. ચાલો નકલ શરૂ કરીએ:

psql -h replica2 -d dbname -c "alter subscription oldprod enable;"

11. સબ્સ્ક્રિપ્શન સ્થિતિ તપાસો, પ્રતિકૃતિ કામ કરવી જોઈએ:

psql -h replica2 -d dbname -c "select * from pg_replication_origin_status;"
psql -h master -d dbname -c "select slot_name, restart_lsn, confirmed_flush_lsn from pg_replication_slots;"

12. પ્રતિકૃતિ શરૂ થયા પછી અને ડેટાબેસેસ સમન્વયિત થયા પછી, તમે સ્વિચ કરી શકો છો.

13. પ્રતિકૃતિને અક્ષમ કર્યા પછી, તમારે સિક્વન્સ સુધારવાની જરૂર છે. આ સારી રીતે વર્ણવેલ છે wiki.postgresql.org પરના લેખમાં.

આ યોજના બદલ આભાર, સ્વિચઓવર ન્યૂનતમ વિલંબ સાથે થયું.

નિષ્કર્ષ

Kubernetes ઓપરેટરો તમને K8s સંસાધનોની રચનામાં ઘટાડો કરીને વિવિધ ક્રિયાઓને સરળ બનાવવાની મંજૂરી આપે છે. જો કે, તેમની સહાયથી નોંધપાત્ર ઓટોમેશન પ્રાપ્ત કર્યા પછી, તે યાદ રાખવું યોગ્ય છે કે તે સંખ્યાબંધ અણધારી ઘોંઘાટ પણ લાવી શકે છે, તેથી તમારા ઓપરેટરોને સમજદારીપૂર્વક પસંદ કરો.

PostgreSQL માટે ત્રણ સૌથી લોકપ્રિય કુબરનેટ્સ ઓપરેટરોને ધ્યાનમાં લીધા પછી, અમે ઝાલેન્ડોમાંથી પ્રોજેક્ટ પસંદ કર્યો. અને અમારે તેની સાથે કેટલીક મુશ્કેલીઓ દૂર કરવી પડી હતી, પરંતુ પરિણામ ખરેખર આનંદદાયક હતું, તેથી અમે આ અનુભવને કેટલાક અન્ય PgSQL સ્થાપનોમાં વિસ્તારવાની યોજના બનાવીએ છીએ. જો તમને સમાન ઉકેલોનો ઉપયોગ કરવાનો અનુભવ હોય, તો અમને ટિપ્પણીઓમાં વિગતો જોઈને આનંદ થશે!

PS

અમારા બ્લોગ પર પણ વાંચો:

• «ડેટાબેસેસ અને કુબરનેટ્સ (સમીક્ષા અને વિડિયો રિપોર્ટ)»;
• «પોસ્ટગ્રેસ મંગળવાર #5: PostgreSQL અને Kubernetes. CI/CD. પરીક્ષણ ઓટોમેશન»;
• «K8s માં Redis ઑપરેટર સાથેની એક વાર્તા અને આ ડેટાબેઝમાંથી ડેટાનું પૃથ્થકરણ કરવા માટે ઉપયોગિતાઓની મીની-સમીક્ષા».

સોર્સ: www.habr.com