🥇कुबेरनेट्स के लिए पोस्टग्रेएसक्यूएल ऑपरेटरों का एक संक्षिप्त अवलोकन, हमारी पसंद और अनुभव

तेजी से, ग्राहकों को निम्नलिखित अनुरोध प्राप्त हो रहे हैं: "हम इसे अमेज़ॅन आरडीएस की तरह चाहते हैं, लेकिन सस्ता"; "हम इसे आरडीएस की तरह चाहते हैं, लेकिन हर जगह, किसी भी बुनियादी ढांचे में।" कुबेरनेट्स पर इस तरह के प्रबंधित समाधान को लागू करने के लिए, हमने PostgreSQL (स्टोलन, क्रंची डेटा और ज़ालैंडो के ऑपरेटर) के लिए सबसे लोकप्रिय ऑपरेटरों की वर्तमान स्थिति को देखा और अपनी पसंद बनाई।

यह लेख वह अनुभव है जो हमने सैद्धांतिक दृष्टिकोण (समाधान की समीक्षा) और व्यावहारिक पक्ष (क्या चुना गया और इससे क्या हुआ) दोनों से प्राप्त किया है। लेकिन पहले, आइए यह निर्धारित करें कि आरडीएस के संभावित प्रतिस्थापन के लिए सामान्य आवश्यकताएं क्या हैं...

आरडीएस क्या है?

जब लोग आरडीएस के बारे में बात करते हैं, तो हमारे अनुभव में, उनका मतलब एक प्रबंधित डीबीएमएस सेवा है:

कॉन्फ़िगर करना आसान;
स्नैपशॉट के साथ काम करने और उनसे पुनर्प्राप्त करने की क्षमता है (अधिमानतः समर्थन के साथ)। पी.आई.टी.आर);
आपको मास्टर-स्लेव टोपोलॉजी बनाने की अनुमति देता है;
एक्सटेंशन की एक समृद्ध सूची है;
ऑडिटिंग और उपयोगकर्ता/पहुंच प्रबंधन प्रदान करता है।

आम तौर पर, कार्य को लागू करने के दृष्टिकोण बहुत भिन्न हो सकते हैं, लेकिन सशर्त एंसिबल वाला मार्ग हमारे करीब नहीं है। (परिणामस्वरूप 2जीआईएस के सहकर्मी इसी निष्कर्ष पर पहुंचे उसका प्रयास "पोस्टग्रेज-आधारित फेलओवर क्लस्टर को शीघ्रता से तैनात करने के लिए एक उपकरण बनाएं।")

कुबेरनेट्स पारिस्थितिकी तंत्र में समान समस्याओं को हल करने के लिए ऑपरेटर एक सामान्य दृष्टिकोण है। कुबेरनेट्स के अंदर लॉन्च किए गए डेटाबेस के संबंध में "फ्लैंटा" के तकनीकी निदेशक पहले ही उनके बारे में अधिक विस्तार से बात कर चुके हैं। डिस्टोलमें उनकी एक रिपोर्ट.

NB: शीघ्रता से सरल ऑपरेटर बनाने के लिए, हम अपनी ओपन सोर्स उपयोगिता पर ध्यान देने की सलाह देते हैं शेल-ऑपरेटर. इसका उपयोग करके, आप इसे गो के ज्ञान के बिना, लेकिन सिस्टम प्रशासकों से अधिक परिचित तरीकों से कर सकते हैं: बैश, पायथन, आदि में।

PostgreSQL के लिए कई लोकप्रिय K8s ऑपरेटर हैं:

स्टोलन;
क्रंची डेटा पोस्टग्रेएसक्यूएल ऑपरेटर;
ज़ालैंडो पोस्टग्रेज़ ऑपरेटर।

आइए उन पर अधिक बारीकी से नजर डालें।

प्रचालक चयन

ऊपर उल्लिखित महत्वपूर्ण विशेषताओं के अलावा, हम - कुबेरनेट्स इंफ्रास्ट्रक्चर ऑपरेशंस इंजीनियरों के रूप में - ऑपरेटरों से निम्नलिखित की भी अपेक्षा करते हैं:

Git और साथ से तैनाती कस्टम संसाधन;
पॉड एंटी-एफ़िनिटी समर्थन;
नोड एफ़िनिटी या नोड चयनकर्ता स्थापित करना;
सहनशीलता की स्थापना;
ट्यूनिंग क्षमताओं की उपलब्धता;
समझने योग्य प्रौद्योगिकियाँ और यहाँ तक कि आदेश भी।

प्रत्येक बिंदु पर विवरण में जाने के बिना (टिप्पणियों में पूछें कि क्या आपके पास पूरे लेख को पढ़ने के बाद भी उनके बारे में प्रश्न हैं), मैं सामान्य तौर पर ध्यान दूंगा कि क्लस्टर नोड्स की विशेषज्ञता का अधिक सटीक वर्णन करने के लिए इन मापदंडों की आवश्यकता है विशिष्ट अनुप्रयोगों के लिए उन्हें ऑर्डर करें. इस तरह हम प्रदर्शन और लागत के मामले में इष्टतम संतुलन प्राप्त कर सकते हैं।

आइए अब स्वयं PostgreSQL ऑपरेटरों पर चलते हैं।

1. स्टोलन

भूस्तरी इटालियन कंपनी Sorint.lab से पहले ही उल्लेखित रिपोर्ट इसे DBMS के लिए ऑपरेटरों के बीच एक प्रकार का मानक माना जाता था। यह एक काफी पुराना प्रोजेक्ट है: इसकी पहली सार्वजनिक रिलीज़ नवंबर 2015 में हुई थी (!), और GitHub रिपॉजिटरी में लगभग 3000 सितारे और 40+ योगदानकर्ता हैं।

वास्तव में, स्टोलन विचारशील वास्तुकला का एक उत्कृष्ट उदाहरण है:

इस ऑपरेटर का उपकरण रिपोर्ट में विस्तार से पाया जा सकता है या परियोजना प्रलेखन. सामान्य तौर पर, यह कहना पर्याप्त होगा कि यह वर्णित सब कुछ कर सकता है: फेलओवर, पारदर्शी क्लाइंट एक्सेस के लिए प्रॉक्सी, बैकअप... इसके अलावा, प्रॉक्सी एक एंडपॉइंट सेवा के माध्यम से पहुंच प्रदान करते हैं - नीचे चर्चा किए गए अन्य दो समाधानों के विपरीत (उनमें से प्रत्येक के लिए दो सेवाएं हैं) आधार तक पहुंच)

हालाँकि, स्टोलन कोई कस्टम संसाधन नहीं, यही कारण है कि इसे इस तरह से तैनात नहीं किया जा सकता है कि कुबेरनेट्स में डीबीएमएस इंस्टेंस बनाना आसान और त्वरित हो - "हॉट केक की तरह"। प्रबंधन उपयोगिता के माध्यम से किया जाता है stolonctl, परिनियोजन हेल्म चार्ट के माध्यम से किया जाता है, और कस्टम को कॉन्फ़िगमैप में परिभाषित और निर्दिष्ट किया जाता है।

एक ओर, यह पता चलता है कि ऑपरेटर वास्तव में एक ऑपरेटर नहीं है (आखिरकार, यह सीआरडी का उपयोग नहीं करता है)। लेकिन दूसरी ओर, यह एक लचीली प्रणाली है जो आपको K8s में संसाधनों को अपनी इच्छानुसार कॉन्फ़िगर करने की अनुमति देती है।

संक्षेप में कहें तो, हमारे लिए व्यक्तिगत रूप से प्रत्येक डेटाबेस के लिए एक अलग चार्ट बनाना इष्टतम नहीं लगा। इसलिए, हमने विकल्प तलाशना शुरू किया।

2. क्रंची डेटा पोस्टग्रेएसक्यूएल ऑपरेटर

क्रंची डेटा से ऑपरेटरएक युवा अमेरिकी स्टार्टअप, एक तार्किक विकल्प की तरह लग रहा था। इसका सार्वजनिक इतिहास मार्च 2017 में पहली रिलीज़ के साथ शुरू होता है, तब से GitHub रिपॉजिटरी को केवल 1300 से कम सितारे और 50+ योगदानकर्ता प्राप्त हुए हैं। सितंबर की नवीनतम रिलीज़ को कुबेरनेट्स 1.15-1.18, ओपनशिफ्ट 3.11+ और 4.4+, जीकेई और वीएमवेयर एंटरप्राइज पीकेएस 1.3+ के साथ काम करने के लिए परीक्षण किया गया था।

क्रंची डेटा पोस्टग्रेएसक्यूएल ऑपरेटर का आर्किटेक्चर भी बताई गई आवश्यकताओं को पूरा करता है:

प्रबंधन उपयोगिता के माध्यम से होता है pgoहालाँकि, यह बदले में कुबेरनेट्स के लिए कस्टम संसाधन उत्पन्न करता है। इसलिए, ऑपरेटर ने हमें संभावित उपयोगकर्ताओं के रूप में प्रसन्न किया:

सीआरडी के माध्यम से नियंत्रण होता है;
सुविधाजनक उपयोगकर्ता प्रबंधन (सीआरडी के माध्यम से भी);
अन्य घटकों के साथ एकीकरण कुरकुरा डेटा कंटेनर सुइट - PostgreSQL के लिए कंटेनर छवियों और इसके साथ काम करने के लिए उपयोगिताओं का एक विशेष संग्रह (pgBackRest, pgAudit, योगदान से एक्सटेंशन आदि सहित)।

हालाँकि, क्रंची डेटा से ऑपरेटर का उपयोग शुरू करने के प्रयासों से कई समस्याएं सामने आईं:

सहनशीलता की कोई संभावना नहीं थी - केवल नोड चयनकर्ता प्रदान किया गया है।
बनाए गए पॉड्स परिनियोजन का हिस्सा थे, इस तथ्य के बावजूद कि हमने एक स्टेटफुल एप्लिकेशन तैनात किया था। स्टेटफुलसेट्स के विपरीत, परिनियोजन डिस्क नहीं बना सकते।

आखिरी कमी अजीब क्षणों की ओर ले जाती है: परीक्षण वातावरण में हम एक डिस्क के साथ 3 प्रतिकृतियां चलाने में कामयाब रहे स्थानीय भंडार, जिससे ऑपरेटर को रिपोर्ट करना पड़ा कि 3 प्रतिकृतियां काम कर रही थीं (भले ही वे नहीं थीं)।

इस ऑपरेटर की एक अन्य विशेषता विभिन्न सहायक प्रणालियों के साथ इसका तैयार एकीकरण है। उदाहरण के लिए, pgAdmin और pgBounce आदि को इंस्टॉल करना आसान है प्रलेखन पूर्व-कॉन्फ़िगर ग्राफ़ाना और प्रोमेथियस पर विचार किया जाता है। हाल ही में 4.5.0-बीटा1 जारी करें परियोजना के साथ बेहतर एकीकरण को अलग से नोट किया गया है पीजी मॉनिटर, जिसकी बदौलत ऑपरेटर बॉक्स से बाहर PgSQL मेट्रिक्स का स्पष्ट दृश्य प्रदान करता है।

हालाँकि, कुबेरनेट्स-जनित संसाधनों की अजीब पसंद ने हमें एक अलग समाधान खोजने की आवश्यकता के लिए प्रेरित किया।

3. ज़ालैंडो पोस्टग्रेज़ ऑपरेटर

हम ज़ालैंडो उत्पादों को लंबे समय से जानते हैं: हमारे पास ज़ेलेनियम का उपयोग करने का अनुभव है और निश्चित रूप से, हमने कोशिश की है संरक्षक PostgreSQL के लिए उनका लोकप्रिय HA समाधान है। निर्माण के प्रति कंपनी के दृष्टिकोण के बारे में पोस्टग्रेस ऑपरेटर इसके लेखकों में से एक, एलेक्सी क्लाइयुकिन ने ऑन एयर कहा पोस्टग्रेस-मंगलवार #5, और हमें यह पसंद आया।

यह लेख में चर्चा किया गया सबसे युवा समाधान है: पहली रिलीज़ अगस्त 2018 में हुई थी। हालाँकि, औपचारिक रिलीज़ की कम संख्या के बावजूद, परियोजना ने एक लंबा सफर तय किया है, पहले से ही GitHub पर 1300+ सितारों और योगदानकर्ताओं की अधिकतम संख्या (70+) के साथ क्रंची डेटा के समाधान की लोकप्रियता को पीछे छोड़ दिया है।

"अंडर द हुड" यह ऑपरेटर समय-परीक्षणित समाधानों का उपयोग करता है:

पेट्रोनी और स्पिलो ड्राइविंग के लिए,
WALE - बैकअप के लिए,
पीजीबाउंसर - एक कनेक्शन पूल के रूप में.

ज़ालैंडो के ऑपरेटर आर्किटेक्चर को इस प्रकार प्रस्तुत किया गया है:

ऑपरेटर पूरी तरह से कस्टम संसाधनों के माध्यम से प्रबंधित होता है, स्वचालित रूप से कंटेनरों से एक स्टेटफुलसेट बनाता है, जिसे पॉड में विभिन्न साइडकार जोड़कर अनुकूलित किया जा सकता है। क्रंची डेटा के ऑपरेटर की तुलना में यह सब एक महत्वपूर्ण लाभ है।

चूंकि हमने विचाराधीन 3 विकल्पों में से ज़ालैंडो के समाधान को चुना है, इसलिए इसकी क्षमताओं का एक और विवरण तुरंत आवेदन के अभ्यास के साथ नीचे प्रस्तुत किया जाएगा।

ज़ालैंडो के पोस्टग्रेज़ ऑपरेटर के साथ अभ्यास करें

ऑपरेटर परिनियोजन बहुत सरल है: बस GitHub से वर्तमान रिलीज़ डाउनलोड करें और निर्देशिका से YAML फ़ाइलें लागू करें प्रकट होता है. वैकल्पिक रूप से, आप भी उपयोग कर सकते हैं app.

इंस्टालेशन के बाद, आपको सेटिंग के बारे में चिंता करनी चाहिए लॉग और बैकअप के लिए भंडारण. यह कॉन्फ़िगमैप के माध्यम से किया जाता है postgres-operator उस नामस्थान में जहां आपने ऑपरेटर स्थापित किया था। एक बार रिपॉजिटरी कॉन्फ़िगर हो जाने के बाद, आप अपना पहला PostgreSQL क्लस्टर तैनात कर सकते हैं।

उदाहरण के लिए, हमारी मानक तैनाती इस तरह दिखती है:

apiVersion: acid.zalan.do/v1
kind: postgresql
metadata:
 name: staging-db
spec:
 numberOfInstances: 3
 patroni:
   synchronous_mode: true
 postgresql:
   version: "12"
 resources:
   limits:
     cpu: 100m
     memory: 1Gi
   requests:
     cpu: 100m
     memory: 1Gi
 sidecars:
 - env:
   - name: DATA_SOURCE_URI
     value: 127.0.0.1:5432
   - name: DATA_SOURCE_PASS
     valueFrom:
       secretKeyRef:
         key: password
         name: postgres.staging-db.credentials
   - name: DATA_SOURCE_USER
     value: postgres
   image: wrouesnel/postgres_exporter
   name: prometheus-exporter
   resources:
     limits:
       cpu: 500m
       memory: 100Mi
     requests:
       cpu: 100m
       memory: 100Mi
 teamId: staging
 volume:
   size: 2Gi

यह मेनिफेस्ट फॉर्म में एक साइडकार के साथ 3 उदाहरणों का एक क्लस्टर तैनात करता है पोस्टग्रेस_निर्यातक, जिससे हम एप्लिकेशन मेट्रिक्स लेते हैं। जैसा कि आप देख सकते हैं, सब कुछ बहुत सरल है, और यदि आप चाहें, तो आप वस्तुतः असीमित संख्या में क्लस्टर बना सकते हैं।

यह ध्यान देने योग्य है वेब प्रशासन पैनल - पोस्टग्रेस-ऑपरेटर-यूआई. यह ऑपरेटर के साथ आता है और आपको क्लस्टर बनाने और हटाने के साथ-साथ ऑपरेटर द्वारा बनाए गए बैकअप के साथ काम करने की अनुमति देता है।

PostgreSQL क्लस्टर की सूची

बैकअप प्रबंधन

एक और दिलचस्प विशेषता समर्थन है टीम एपीआई. यह तंत्र स्वतः ही निर्मित हो जाता है PostgreSQL में भूमिकाएँ, उपयोगकर्ता नामों की परिणामी सूची के आधार पर। एपीआई आपको उन उपयोगकर्ताओं की एक सूची वापस करने की अनुमति देता है जिनके लिए भूमिकाएँ स्वचालित रूप से बनाई जाती हैं।

समस्याओं और समाधान

हालाँकि, ऑपरेटर के उपयोग से जल्द ही कई महत्वपूर्ण कमियाँ सामने आईं:

नोड चयनकर्ता समर्थन की कमी;
बैकअप अक्षम करने में असमर्थता;
डेटाबेस निर्माण फ़ंक्शन का उपयोग करते समय, डिफ़ॉल्ट विशेषाधिकार प्रकट नहीं होते हैं;
कभी-कभी दस्तावेज़ गुम हो जाते हैं या पुराने हो जाते हैं।

सौभाग्य से, उनमें से कई को हल किया जा सकता है। आइए अंत से शुरू करें - समस्याएं प्रलेखन.

सबसे अधिक संभावना है, आप इस तथ्य का सामना करेंगे कि यह हमेशा स्पष्ट नहीं होता है कि बैकअप कैसे पंजीकृत करें और बैकअप बकेट को ऑपरेटर यूआई से कैसे कनेक्ट करें। दस्तावेज़ में इसके बारे में बात की गई है, लेकिन वास्तविक विवरण इसमें है PR:

एक रहस्य बनाने की जरूरत है;
इसे एक पैरामीटर के रूप में ऑपरेटर को पास करें pod_environment_secret_name सीआरडी में ऑपरेटर सेटिंग्स के साथ या कॉन्फिग मैप में (यह इस पर निर्भर करता है कि आप ऑपरेटर को स्थापित करने का निर्णय कैसे लेते हैं)।

हालाँकि, जैसा कि यह पता चला है, यह वर्तमान में असंभव है। इसलिए हमने संग्रह किया ऑपरेटर का आपका संस्करण कुछ अतिरिक्त तृतीय-पक्ष विकास के साथ। इसके बारे में अधिक जानकारी के लिए नीचे देखें.

यदि आप ऑपरेटर को बैकअप के लिए पैरामीटर पास करते हैं, अर्थात् - wal_s3_bucket और AWS S3 में एक्सेस कुंजियाँ, फिर यह हर चीज का बैकअप ले लूंगा: न केवल उत्पादन में आधार, बल्कि मंचन भी। यह हमें शोभा नहीं देता.

स्पिलो के लिए पैरामीटर के विवरण में, जो ऑपरेटर का उपयोग करते समय PgSQL के लिए मूल डॉकर रैपर है, यह पता चला: आप एक पैरामीटर पास कर सकते हैं WAL_S3_BUCKET खाली, जिससे बैकअप अक्षम हो गया। इसके अलावा, मुझे बड़ी खुशी हुई तैयार पीआर, जिसे हमने तुरंत अपने कांटे में स्वीकार कर लिया। अब आपको बस जोड़ना है enableWALArchiving: false PostgreSQL क्लस्टर संसाधन के लिए।

हां, 2 ऑपरेटरों को चलाकर इसे अलग तरीके से करने का अवसर था: एक स्टेजिंग के लिए (बैकअप के बिना), और दूसरा उत्पादन के लिए। लेकिन हम एक के साथ काम करने में सक्षम थे।

ठीक है, हमने सीखा कि S3 के लिए डेटाबेस तक पहुंच कैसे स्थानांतरित की जाए और बैकअप स्टोरेज में आना शुरू हो गया। ऑपरेटर यूआई में बैकअप पेज कैसे काम करें?

आपको ऑपरेटर यूआई में 3 वेरिएबल जोड़ने की आवश्यकता होगी:

SPILO_S3_BACKUP_BUCKET
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY

इसके बाद, बैकअप का प्रबंधन उपलब्ध हो जाएगा, जो हमारे मामले में स्टेजिंग के साथ काम को सरल बना देगा, जिससे हम अतिरिक्त स्क्रिप्ट के बिना उत्पादन से स्लाइस वितरित कर सकेंगे।

एक अन्य लाभ टीम्स एपीआई के साथ काम करना और ऑपरेटर टूल का उपयोग करके डेटाबेस और भूमिकाएँ बनाने के पर्याप्त अवसर थे। हालाँकि, बनाया गया भूमिकाओं का डिफ़ॉल्ट रूप से कोई अधिकार नहीं था. तदनुसार, पढ़ने के अधिकार वाला कोई उपयोगकर्ता नई तालिकाएँ नहीं पढ़ सकता।

ऐसा क्यों? इस तथ्य के बावजूद कि कोड में वहाँ है ज़रूरी GRANT, उनका हमेशा उपयोग नहीं किया जाता है। 2 विधियाँ हैं: syncPreparedDatabases и syncDatabases. में syncPreparedDatabases - इस तथ्य के बावजूद कि अनुभाग में preparedDatabases वहाँ है एक शर्त है defaultRoles и defaultUsers भूमिकाएँ बनाने के लिए, डिफ़ॉल्ट अधिकार लागू नहीं किए जाते हैं। हम एक पैच तैयार करने की प्रक्रिया में हैं ताकि ये अधिकार स्वचालित रूप से लागू हो जाएं।

और सुधारों में अंतिम बिंदु जो हमारे लिए प्रासंगिक हैं - पैच, जो निर्मित स्टेटफुलसेट में नोड एफ़िनिटी जोड़ता है। हमारे ग्राहक अक्सर स्पॉट इंस्टेंस का उपयोग करके लागत कम करना पसंद करते हैं, और वे स्पष्ट रूप से डेटाबेस सेवाओं की मेजबानी के लायक नहीं हैं। इस मुद्दे को सहनशीलता के माध्यम से हल किया जा सकता है, लेकिन नोड एफ़िनिटी की उपस्थिति अधिक आत्मविश्वास देती है।

क्या हुआ था?

उपरोक्त समस्याओं को हल करने के परिणामों के आधार पर, हमने ज़ालैंडो से पोस्टग्रेज़ ऑपरेटर को शामिल किया आपका भंडार, जहां इसे ऐसे उपयोगी पैच के साथ एकत्र किया जाता है। और अधिक सुविधा के लिए हमने संग्रह भी किया डोकर छवि.

कांटे में स्वीकृत पीआर की सूची:

यह बहुत अच्छा होगा यदि समुदाय इन पीआर का समर्थन करता है ताकि वे ऑपरेटर के अगले संस्करण (1.6) के साथ अपस्ट्रीम हो सकें।

बक्शीश! प्रोडक्शन माइग्रेशन सफलता की कहानी

यदि आप पेट्रोनी का उपयोग करते हैं, तो लाइव उत्पादन को न्यूनतम डाउनटाइम के साथ ऑपरेटर के पास स्थानांतरित किया जा सकता है।

स्पिलो आपको S3 स्टोरेज के माध्यम से स्टैंडबाय क्लस्टर बनाने की अनुमति देता है Wale, जब PgSQL बाइनरी लॉग को पहले S3 में संग्रहीत किया जाता है और फिर प्रतिकृति द्वारा पंप किया जाता है। लेकिन है तो क्या करें नहीं Wal-E द्वारा पुराने बुनियादी ढांचे पर उपयोग किया जाता है? इस समस्या का समाधान पहले से ही है यह सुझाव दिया गया था हब पर.

PostgreSQL तार्किक प्रतिकृति बचाव के लिए आती है। हालाँकि, हम प्रकाशन और सदस्यताएँ बनाने के तरीके के बारे में विस्तार से नहीं बताएंगे, क्योंकि... हमारी योजना असफल रही।

तथ्य यह है कि डेटाबेस में लाखों पंक्तियों वाली कई भरी हुई तालिकाएँ थीं, जो, इसके अलावा, लगातार पुनःपूर्ति और हटा दी गई थीं। सरल सदस्यता с copy_data, जब नई प्रतिकृति मास्टर से सभी सामग्रियों की प्रतिलिपि बनाती है, तो यह मास्टर के साथ तालमेल नहीं बिठा पाती है। सामग्री की प्रतिलिपि बनाने में एक सप्ताह तक काम किया गया, लेकिन कभी मास्टर तक नहीं पहुंच पाया। आख़िरकार, इससे मुझे समस्या सुलझाने में मदद मिली लेख एविटो के सहकर्मी: आप इसका उपयोग करके डेटा स्थानांतरित कर सकते हैं pg_dump. मैं इस एल्गोरिथम के हमारे (थोड़ा संशोधित) संस्करण का वर्णन करूंगा।

विचार यह है कि आप एक विशिष्ट प्रतिकृति स्लॉट से जुड़ी एक अक्षम सदस्यता बना सकते हैं, और फिर लेनदेन संख्या को सही कर सकते हैं। उत्पादन कार्य के लिए प्रतिकृतियाँ उपलब्ध थीं। यह महत्वपूर्ण है क्योंकि प्रतिकृति एक सुसंगत डंप बनाने में मदद करेगी और मास्टर से परिवर्तन प्राप्त करना जारी रखेगी।

माइग्रेशन प्रक्रिया का वर्णन करने वाले बाद के आदेश निम्नलिखित होस्ट नोटेशन का उपयोग करेंगे:

मास्टर - स्रोत सर्वर;
प्रतिकृति1 - पुराने उत्पादन पर स्ट्रीमिंग प्रतिकृति;
प्रतिकृति2 - नई तार्किक प्रतिकृति.

प्रवास योजना

1. स्कीमा में सभी तालिकाओं के लिए मास्टर पर एक सदस्यता बनाएं public आधार dbname:

psql -h master -d dbname -c "CREATE PUBLICATION dbname FOR ALL TABLES;"

2. मास्टर पर एक प्रतिकृति स्लॉट बनाएं:

psql -h master -c "select pg_create_logical_replication_slot('repl', 'pgoutput');"

3. पुरानी प्रतिकृति पर प्रतिकृति बंद करें:

psql -h replica1 -c "select pg_wal_replay_pause();"

4. मास्टर से लेनदेन संख्या प्राप्त करें:

psql -h master -c "select replay_lsn from pg_stat_replication where client_addr = 'replica1';"

5. पुरानी प्रतिकृति से डंप हटा दें. हम इसे कई थ्रेड्स में करेंगे, जिससे प्रक्रिया को गति देने में मदद मिलेगी:

pg_dump -h replica1 --no-publications --no-subscriptions -O -C -F d -j 8 -f dump/ dbname

6. डंप को नए सर्वर पर अपलोड करें:

pg_restore -h replica2 -F d -j 8 -d dbname dump/

7. डंप डाउनलोड करने के बाद, आप स्ट्रीमिंग प्रतिकृति पर प्रतिकृति शुरू कर सकते हैं:

psql -h replica1 -c "select pg_wal_replay_resume();"

7. आइए एक नई तार्किक प्रतिकृति पर एक सदस्यता बनाएं:

psql -h replica2 -c "create subscription oldprod connection 'host=replica1 port=5432 user=postgres password=secret dbname=dbname' publication dbname with (enabled = false, create_slot = false, copy_data = false, slot_name='repl');"

8. आइए जानें oid सदस्यताएँ:

psql -h replica2 -d dbname -c "select oid, * from pg_subscription;"

9. मान लीजिए कि यह प्राप्त हो गया oid=1000. आइए लेनदेन संख्या को सदस्यता पर लागू करें:

psql -h replica2 -d dbname -c "select pg_replication_origin_advance('pg_1000', 'AA/AAAAAAAA');"

10. आइए प्रतिकृति शुरू करें:

psql -h replica2 -d dbname -c "alter subscription oldprod enable;"

11. सदस्यता की स्थिति जांचें, प्रतिकृति को काम करना चाहिए:

psql -h replica2 -d dbname -c "select * from pg_replication_origin_status;"
psql -h master -d dbname -c "select slot_name, restart_lsn, confirmed_flush_lsn from pg_replication_slots;"

12. प्रतिकृति शुरू होने और डेटाबेस सिंक्रनाइज़ होने के बाद, आप स्विच कर सकते हैं।

13. प्रतिकृति को अक्षम करने के बाद, आपको अनुक्रमों को सही करने की आवश्यकता है। इसका अच्छे से वर्णन किया गया है wiki.postgresql.org पर आलेख में.

इस योजना की बदौलत, स्विचओवर न्यूनतम देरी के साथ हुआ।

निष्कर्ष

कुबेरनेट्स ऑपरेटर आपको K8s संसाधनों के निर्माण को कम करके विभिन्न कार्यों को सरल बनाने की अनुमति देते हैं। हालाँकि, उनकी मदद से उल्लेखनीय स्वचालन हासिल करने के बाद, यह याद रखने योग्य है कि यह कई अप्रत्याशित बारीकियाँ भी ला सकता है, इसलिए अपने ऑपरेटरों को बुद्धिमानी से चुनें।

PostgreSQL के लिए तीन सबसे लोकप्रिय Kubernetes ऑपरेटरों पर विचार करने के बाद, हमने Zalando से प्रोजेक्ट चुना। और हमें इसके साथ कुछ कठिनाइयों को दूर करना पड़ा, लेकिन परिणाम वास्तव में सुखद था, इसलिए हमने इस अनुभव को कुछ अन्य PgSQL इंस्टॉलेशन में विस्तारित करने की योजना बनाई है। यदि आपके पास समान समाधानों का उपयोग करने का अनुभव है, तो हमें टिप्पणियों में विवरण देखकर खुशी होगी!

पुनश्च

हमारे ब्लॉग पर भी पढ़ें:

स्रोत: www.habr.com

कुबेरनेट्स, हमारी पसंद और अनुभव के लिए पोस्टग्रेएसक्यूएल स्टेटमेंट का संक्षिप्त अवलोकन