🥇कुबेरनेट्स का उपयोग करके एक हाइब्रिड क्लाउड कैसे बनाएं जो DBaaS को प्रतिस्थापित कर सके

मेरा नाम पेट्र जैतसेव है, मैं सीईओ, संस्थापक हूं Percona और मैं आपको बताना चाहता हूं:

हम एक सेवा के रूप में ओपन सोर्स समाधान से डेटाबेस तक कैसे आए;
क्लाउड में डेटाबेस तैनात करने के लिए क्या दृष्टिकोण मौजूद हैं;
Kubernetes कैसे DBaaS को प्रतिस्थापित कर सकता है, विक्रेता निर्भरता को समाप्त कर सकता है और एक सेवा के रूप में DBMS की सरलता को बनाए रख सकता है।

यह लेख Mail.ru क्लाउड सॉल्यूशंस और टारनटूल द्वारा @Databases meetup की एक रिपोर्ट के आधार पर तैयार किया गया था। अगर आप पढ़ना नहीं चाहते तो देख सकते हैं:

हम क्लाउड में एक सेवा के रूप में ओपन सोर्स से डेटाबेस तक कैसे आए

मैं 90 के दशक से ओपन सोर्स में काम कर रहा हूं। बीस साल पहले, डेटाबेस जैसे ओपन सोर्स का उपयोग करना इतना आसान नहीं था। स्रोत कोड को डाउनलोड करना, उसे पैच करना, उसे संकलित करना और उसके बाद ही उसका उपयोग करना आवश्यक था।

ओपन सोर्स फिर सरलीकरणों की एक श्रृंखला से गुजरा:

टार.जीज़ और इंस्टाल स्रोत जिन्हें संकलित करने की आवश्यकता है;
.deb और .rpm जैसी निर्भरता वाले पैकेज, जहां आपको केवल पैकेजों का एक सेट स्थापित करने की आवश्यकता होती है;
APT और YUM जैसे पैकेज रिपॉजिटरी, जिनके साथ इंस्टॉलेशन स्वचालित है;
डॉकर और स्नैप जैसे समाधान, जो आपको बाहरी निर्भरता के बिना इंस्टॉलेशन द्वारा पैकेज प्राप्त करने की अनुमति देते हैं।

परिणामस्वरूप, ओपन सोर्स सॉफ़्टवेयर का उपयोग करना आसान हो जाता है और ऐसे अनुप्रयोगों को विकसित करने में प्रवेश की बाधा भी कम हो जाती है।

साथ ही, 20 साल पहले की स्थिति के विपरीत, जब हर कोई असेंबली विशेषज्ञ था, अब अधिकांश डेवलपर्स उन उपकरणों का निर्माण नहीं कर सकते हैं जिनका वे उपयोग करते हैं।

वास्तव में, यह बुरा नहीं है, क्योंकि:

हम अधिक जटिल लेकिन अधिक उपयोगकर्ता-अनुकूल सॉफ़्टवेयर का उपयोग कर सकते हैं। उदाहरण के लिए, एक ब्राउज़र का उपयोग करना सुविधाजनक है, लेकिन इसमें कई खुले स्रोत घटक शामिल हैं और स्क्रैच से निर्माण करना असुविधाजनक है।
अधिक लोग ओपन सोर्स और अन्य सॉफ़्टवेयर के डेवलपर बन सकते हैं, व्यवसायों द्वारा अधिक सॉफ़्टवेयर का उपयोग किया जाता है, और इसकी आवश्यकता अधिक होती है।

नकारात्मक पक्ष यह है कि सरलीकरण में अगला कदम क्लाउड समाधानों के उपयोग से जुड़ा है, और इससे एक निश्चित विक्रेता लॉक-इन हो जाता है, यानी एक आपूर्तिकर्ता के लिए बाध्य होना पड़ता है। हम सरल समाधानों का उपयोग करते हैं और प्रदाता खुले स्रोत घटकों का उपयोग करते हैं, लेकिन वास्तव में वे बड़े बादलों में से एक से जुड़े होते हैं। यानी, मालिकाना एपीआई का उपयोग करके, क्लाउड में ओपन सोर्स (और इसके साथ संगत सॉफ़्टवेयर) को तैनात करने का सबसे आसान और तेज़ तरीका है।

जब क्लाउड में डेटाबेस की बात आती है, तो दो दृष्टिकोण होते हैं:

एक नियमित डेटा सेंटर की तरह, डेटाबेस इंफ्रास्ट्रक्चर को इकट्ठा करें। अर्थात्, मानक बिल्डिंग ब्लॉक लें: गणना, भंडारण, इत्यादि, उन पर लिनक्स और एक डेटाबेस स्थापित करें, और उन्हें कॉन्फ़िगर करें।
एक सेवा के रूप में डेटाबेस का उपयोग करें, जहां प्रदाता क्लाउड के अंदर एक तैयार डेटाबेस प्रदान करता है।

DBaaS इस समय तेजी से बढ़ता हुआ बाजार है क्योंकि यह डेवलपर्स को डेटाबेस के साथ सीधे काम करने की अनुमति देता है और नियमित काम को कम करता है। प्रदाता उच्च उपलब्धता और आसान स्केलिंग, डेटाबेस पैचिंग, बैकअप और प्रदर्शन ट्यूनिंग सुनिश्चित करने का कार्य करता है।

ओपन सोर्स पर आधारित सेवा के रूप में दो प्रकार के डेटाबेस और कुबेरनेट्स के रूप में एक विकल्प

खुले डेटाबेस के लिए सेवा के रूप में डेटाबेस दो प्रकार के होते हैं:

आसान तैनाती और प्रबंधन के लिए प्रशासन बैकएंड में पैक किया गया एक मानक खुला स्रोत उत्पाद।
विभिन्न ऐड-ऑन के साथ एक उन्नत वाणिज्यिक समाधान, खुले स्रोत के साथ संगत।

दोनों विकल्प बादलों के बीच प्रवास की संभावना को कम करते हैं और डेटा और एप्लिकेशन की पोर्टेबिलिटी को कम करते हैं। उदाहरण के लिए, इस तथ्य के बावजूद कि विभिन्न प्रकार के क्लाउड अनिवार्य रूप से एक ही मानक MySQL का समर्थन करते हैं, उनके बीच महत्वपूर्ण अंतर हैं: संचालन, प्रदर्शन, बैकअप, इत्यादि में। एक क्लाउड से दूसरे क्लाउड पर माइग्रेट करना चुनौतीपूर्ण हो सकता है, खासकर जटिल अनुप्रयोगों के लिए।

और यहां सवाल उठता है - क्या डेटाबेस की सुविधा एक सेवा के रूप में नहीं बल्कि एक सरल ओपन सोर्स समाधान के रूप में प्राप्त करना संभव है?

बुरी खबर यह है कि, दुर्भाग्य से, बाज़ार में अभी तक ऐसा कोई समाधान मौजूद नहीं है। अच्छी खबर यह है कि कुबेरनेट्स मौजूद है, जो आपको ऐसे समाधान लागू करने की अनुमति देता है।

कुबेरनेट्स क्लाउड या डेटा सेंटर के लिए एक ऑपरेटिंग सिस्टम है जो आपको एक ही होस्ट के बजाय एक क्लस्टर में कई सर्वरों पर एक एप्लिकेशन को तैनात और प्रबंधित करने की अनुमति देता है।

अब Kubernetes ऐसे सॉफ़्टवेयर की श्रेणी में अग्रणी है। ऐसी समस्याओं के लिए कई अलग-अलग समाधान थे, लेकिन यह मानक बन गया। कई कंपनियाँ जो पहले वैकल्पिक समाधानों पर ध्यान केंद्रित करती थीं, अब कुबेरनेट्स का समर्थन करने के लिए अपने उत्पादों को अपनाने पर ध्यान केंद्रित कर रही हैं।

इसके अलावा, कुबेरनेट्स एक सार्वभौमिक समाधान है जो कई विक्रेताओं के निजी, सार्वजनिक और हाइब्रिड क्लाउड में समर्थित है, उदाहरण के लिए: AWS, Google क्लाउड, Microsoft Azure, Mail.ru क्लाउड सॉल्यूशंस.

कुबेरनेट्स डेटाबेस के साथ कैसे काम करता है

कुबेरनेट्स को मूल रूप से स्टेटलेस अनुप्रयोगों के लिए डिज़ाइन किया गया था जो डेटा को संसाधित करते हैं लेकिन कुछ भी संग्रहीत नहीं करते हैं, जैसे कि माइक्रोसर्विसेज या वेब एप्लिकेशन। डेटाबेस स्पेक्ट्रम के दूसरे छोर पर हैं, यानी, वे स्टेटफुल एप्लिकेशन हैं। और कुबेरनेट्स मूल रूप से ऐसे अनुप्रयोगों के लिए अभिप्रेत नहीं था।

हालाँकि, कुबेरनेट्स में हाल ही में ऐसी विशेषताएं सामने आई हैं जो डेटाबेस और अन्य स्टेटफुल एप्लिकेशन के उपयोग की अनुमति देती हैं:

स्टेटफुलसेट अवधारणा पॉड्स के काम को रोकने और ग्रेसफुल शटडाउन (एप्लिकेशन के पूर्वानुमानित शटडाउन) को लागू करने के बारे में घटनाओं को संसाधित करने के लिए प्राइमेटिव्स की एक पूरी श्रृंखला है।
परसिस्टेंट वॉल्यूम डेटा स्टोर हैं जो पॉड्स, कुबेरनेट्स प्रबंधन ऑब्जेक्ट से जुड़े होते हैं।
ऑपरेटर फ्रेमवर्क - यानी, कई नोड्स में वितरित डेटाबेस और अन्य स्टेटफुल अनुप्रयोगों के प्रबंधन के लिए घटक बनाने की क्षमता।

पहले से ही सार्वजनिक क्लाउड में एक सेवा के रूप में बड़े डेटाबेस हैं, जिसका बैकएंड कुबेरनेट्स है, उदाहरण के लिए: कॉकरोचक्लाउड, इन्फ्लक्सडीबी, प्लैनेटस्केल। यानी, कुबेरनेट्स पर एक डेटाबेस न केवल कुछ ऐसा है जो सैद्धांतिक रूप से संभव है, बल्कि कुछ ऐसा है जो व्यवहार में भी काम करता है।

पेरकोना के पास कुबेरनेट्स के लिए दो खुले स्रोत समाधान हैं:

MongoDB के लिए पेरकोना सर्वर के लिए कुबेरनेट्स ऑपरेटर।
XtraDB क्लस्टर के लिए Kubernetes ऑपरेटर एक ऐसी सेवा है जो MySQL के साथ संगत है और उच्च उपलब्धता और स्थिरता प्रदान करती है। यदि उच्च उपलब्धता की आवश्यकता नहीं है, तो आप एकल नोड का भी उपयोग कर सकते हैं, उदाहरण के लिए डेव डेटाबेस के लिए।

Kubernetes उपयोगकर्ताओं को दो समूहों में विभाजित किया जा सकता है। कुछ लोग सीधे कुबेरनेट्स ऑपरेटर्स का उपयोग करते हैं - ये मुख्य रूप से उन्नत उपयोगकर्ता हैं जिन्हें इस बात की अच्छी समझ है कि तकनीक कैसे काम करती है। अन्य लोग इसे बैकएंड पर चलाते हैं - ऐसे उपयोगकर्ता एक सेवा के रूप में डेटाबेस जैसी किसी चीज़ में रुचि रखते हैं, वे कुबेरनेट्स की बारीकियों में नहीं जाना चाहते हैं। उपयोगकर्ताओं के दूसरे समूह के लिए, हमारे पास एक और खुला स्रोत समाधान है - पेरकोना डीबीएएएस सीएलआई टूल। यह उन लोगों के लिए एक प्रायोगिक समाधान है जो प्रौद्योगिकी की गहरी समझ के बिना कुबेरनेट्स पर आधारित एक खुला स्रोत DBaaS प्राप्त करना चाहते हैं।

Google Kubernetes इंजन पर Percona का DBaaS कैसे चलाएं

मेरी राय में, Google Kubernetes इंजन, Kubernetes प्रौद्योगिकी के सबसे कार्यात्मक कार्यान्वयनों में से एक है। यह दुनिया के कई क्षेत्रों में उपलब्ध है और इसमें एक सरल और सुविधाजनक कमांड लाइन टूल (एसडीके) है, जो आपको प्लेटफ़ॉर्म को मैन्युअल रूप से प्रबंधित करने के बजाय स्क्रिप्ट बनाने की अनुमति देता है।

हमारे DBaaS को काम करने के लिए, हमें निम्नलिखित घटकों की आवश्यकता है:

Kubectl.
गूगल क्लाउड एसडीके.
पेरकोना डीबीएएएस सीएलआई।

Kubectl स्थापित करें

हम आपके ऑपरेटिंग सिस्टम के लिए पैकेज स्थापित करते हैं, हम उबंटू का उदाहरण देखेंगे। अधिक जानकारी यहां.

sudo apt-get update && sudo apt-get install -y apt-transport-https gnupg2
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubectl

Google क्लाउड SDK इंस्टॉल करना

हम सॉफ़्टवेयर पैकेज को उसी तरह स्थापित करते हैं। अधिक जानकारी यहां.

# Add the Cloud SDK distribution URI as a package source
echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] 
http://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list

# Import the Google Cloud Platform public key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key --keyring /usr/share/keyrings/cloud.google.gpg add -

# Update the package list and install the Cloud SDK
sudo apt-get update && sudo apt-get install google-cloud-sdk

पेरकोना डीबीएएएस सीएलआई स्थापित करना

पेरकोना रिपॉजिटरी से इंस्टॉल करें। Percona DBaaS CLI टूल अभी भी एक प्रायोगिक उत्पाद है, इसलिए यह प्रायोगिक रिपॉजिटरी में स्थित है, जिसे अलग से सक्षम किया जाना चाहिए, भले ही आपके पास पहले से ही Percona रिपॉजिटरी स्थापित हो।

अधिक यहां.

स्थापना एल्गोरिथ्म:

पेरकोना-रिलीज़ टूल का उपयोग करके पेरकोना रिपॉजिटरी सेट करें। सबसे पहले आपको पेरकोना से आधिकारिक पेरकोना-रिलीज़ पैकेज डाउनलोड और इंस्टॉल करना होगा:
```
wget https://repo.percona.com/apt/percona-release_latest.generic_all.deb
sudo dpkg -i percona-release_latest.generic_all.deb
```
प्रायोगिक उपकरण भंडार घटक को निम्नानुसार सक्षम करें:
```
sudo percona-release enable tools experimental
```
Percona-dbaas-cli पैकेज स्थापित करें:
```
sudo apt-get update
sudo apt-get install percona-dbaas-cli
```

घटकों के संचालन की स्थापना

सेटिंग्स के बारे में अधिक जानकारी यहां.

सबसे पहले आपको अपने Google खाते में लॉग इन करना होगा। इसके अलावा, Google क्लाउड एक उपयोगकर्ता को कई स्वतंत्र प्रोजेक्ट रखने की अनुमति देता है, इसलिए आपको इस प्रोजेक्ट के लिए कोड का उपयोग करके एक कार्यशील प्रोजेक्ट निर्दिष्ट करना होगा:

gcloud auth login
gcloud config set project hidden-brace-236921

अगला, हम एक क्लस्टर बनाते हैं। डेमो के लिए, मैंने केवल तीन नोड्स का कुबेरनेट्स क्लस्टर बनाया - यह उच्च उपलब्धता के लिए आवश्यक न्यूनतम है:

gcloud container clusters create --zone us-central1-a your-cluster-name --cluster-version 1.15 --num-nodes=3

निम्नलिखित kubectl कमांड हमारे वर्तमान उपयोगकर्ता को वांछित विशेषाधिकार देता है:

kubectl create clusterrolebinding cluster-admin-binding-$USER 
--clusterrole=cluster-admin --user=$(gcloud config get-value core/account)

फिर हम एक नेमस्पेस बनाते हैं और उसे सक्रिय बनाते हैं। नेमस्पेस, मोटे तौर पर, एक परियोजना या वातावरण की तरह है, लेकिन पहले से ही कुबेरनेट्स क्लस्टर के अंदर है। यह Google क्लाउड प्रोजेक्ट्स से स्वतंत्र है:

kubectl create namespace my-namespace
kubectl config set-context --current --namespace=my-namespace

क्लस्टर प्रारंभ करना

एक बार जब हम इन कुछ चरणों से गुजर चुके हैं, तो हम इस सरल कमांड के साथ तीन-नोड क्लस्टर शुरू कर सकते हैं:

# percona-dbaas mysql create-db example
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     example
Resource Endpoint: example-proxysql.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              Nt9YZquajW7nfVXTTrP
Status:            ready

क्लस्टर से कैसे जुड़ें

डिफ़ॉल्ट रूप से, यह केवल कुबेरनेट्स के अंदर ही उपलब्ध है। यानी, यह उस सर्वर से पहुंच योग्य नहीं है जहां से आपने "क्रिएट" कमांड चलाया था। इसे उपलब्ध कराने के लिए, उदाहरण के लिए, क्लाइंट के साथ परीक्षणों के लिए, आपको पोर्ट मैपिंग के माध्यम से पोर्ट को अग्रेषित करना होगा:

kubectl port-forward svc/example-proxysql 3306:3306 $

फिर हम आपके MySQL क्लाइंट को कनेक्ट करते हैं:

mysql -h 127.0.0.1 -P 3306 -uroot -pNt9YZquajW7nfVXTTrP

उन्नत क्लस्टर प्रबंधन आदेश

सार्वजनिक आईपी पर डेटाबेस

यदि आप क्लस्टर उपलब्धता के लिए अधिक स्थायी समाधान चाहते हैं, तो आप एक बाहरी आईपी पता प्राप्त कर सकते हैं। इस स्थिति में, डेटाबेस कहीं से भी पहुंच योग्य होगा। यह कम सुरक्षित है, लेकिन अक्सर अधिक सुविधाजनक होता है। बाहरी आईपी के लिए हम निम्नलिखित कमांड का उपयोग करते हैं:

# percona-dbaas mysql create-db exposed 
--options="proxysql.serviceType=LoadBalancer"
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     exposed
Resource Endpoint: 104.154.133.197
Port:              3306
User:              root
Pass:              k0QVxTr8EVfgyCLYse
Status:            ready

To access database please run the following command:
mysql -h 104.154.133.197 -P 3306 -uroot -pk0QVxTr8EVfgyCLYse

पासवर्ड स्पष्ट रूप से सेट करें

सिस्टम द्वारा बेतरतीब ढंग से पासवर्ड जनरेट करने के बजाय, आप पासवर्ड को स्पष्ट रूप से सेट कर सकते हैं:

# percona-dbaas mysql create-db withpw --password=mypassword
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     withpw
Resource Endpoint: withpw-proxysql.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              mypassword
Status:            ready

मैं स्क्रिप्ट का आउटपुट मानव पठनीय प्रारूप में दिखा रहा हूं, लेकिन JSON प्रारूप भी समर्थित है।

उच्च उपलब्धता को बंद करना

निम्नलिखित आदेश से आप एकल नोड को तैनात करने के लिए उच्च उपलब्धता को अक्षम कर सकते हैं:

# percona-dbaas mysql create-db singlenode 
--options="proxysql.enabled=false, allowUnsafeConfigurations=true,pxc.size=1"
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     singlenode
Resource Endpoint: singlenode-pxc.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              22VqFD96mvRnmPMGg
Status:            ready

यह परीक्षण कार्यों के लिए एक समाधान है ताकि MySQL को जितनी जल्दी और आसानी से संभव हो सके चालू किया जा सके, इसका परीक्षण किया जा सके और फिर इसे बंद किया जा सके या विकास के लिए इसका उपयोग किया जा सके।

Percona DBaaS CLI टूल आपको कुबेरनेट्स पर DBaaS जैसा समाधान प्राप्त करने में मदद करता है। साथ ही, हम इसकी कार्यक्षमता और उपयोगिता पर काम करना जारी रखते हैं।

यह रिपोर्ट पहली बार प्रस्तुत की गई थी @डेटाबेस मीटअप Mail.ru क्लाउड सॉल्यूशंस और टारनटूल द्वारा। देखना वीडियो अन्य प्रदर्शन और टेलीग्राम पर ईवेंट घोषणाओं की सदस्यता लें Mail.ru ग्रुप पर कुबेरनेट्स के आसपास.

विषय पर और क्या पढ़ें:

स्रोत: www.habr.com

कुबेरनेट्स का उपयोग करके एक हाइब्रिड क्लाउड कैसे बनाया जाए जो DBaaS की जगह ले सके