🥇 DBaaS ची जागा घेऊ शकणारे Kubernetes वापरून हायब्रिड क्लाउड कसा तयार करायचा

माझे नाव पेट्र जैत्सेव्ह आहे, मी सीईओ आहे, संस्थापक आहे पर्कोना आणि मी तुम्हाला सांगू इच्छितो:

आम्ही सेवा म्हणून डेटाबेसमध्ये मुक्त स्त्रोत समाधानांमधून कसे आलो;
क्लाउडमध्ये डेटाबेस उपयोजित करण्यासाठी कोणते दृष्टिकोन आहेत;
Kubernetes DBaaS कसे बदलू शकतात, विक्रेता अवलंबित्व काढून टाकून आणि सेवा म्हणून DBMS ची साधेपणा राखून.

Mail.ru Cloud Solutions & Tarantool द्वारे @Databases Meetup मधील अहवालावर आधारित लेख तयार करण्यात आला आहे. तुम्हाला वाचायचे नसेल तर तुम्ही पाहू शकता:

क्लाउडमधील सेवा म्हणून आम्ही ओपन सोर्समधून डेटाबेसमध्ये कसे आलो

मी 90 च्या दशकाच्या उत्तरार्धापासून ओपन सोर्समध्ये काम करत आहे. वीस वर्षांपूर्वी डेटाबेससारखा मुक्त स्रोत वापरणे इतके सोपे नव्हते. सोर्स कोड डाउनलोड करणे, पॅच करणे, संकलित करणे आणि त्यानंतरच त्याचा वापर करणे आवश्यक होते.

मुक्त स्रोत नंतर सरलीकरणांच्या मालिकेतून गेला:

Tar.gz आणि इन्स्टॉल स्त्रोत जे संकलित करणे आवश्यक आहे;
.deb आणि .rpm सारख्या अवलंबनांसह पॅकेजेस, जिथे तुम्हाला फक्त पॅकेजेसचा संच स्थापित करावा लागेल;
APT आणि YUM सारख्या पॅकेज रेपॉजिटरीज, ज्यासह इंस्टॉलेशन स्वयंचलित आहे;
सोल्यूशन्स जसे की डॉकर आणि स्नॅप, जे तुम्हाला बाह्य अवलंबनाशिवाय इंस्टॉलेशनद्वारे पॅकेजेस प्राप्त करण्यास अनुमती देतात.

परिणामी, ओपन सोर्स सॉफ्टवेअर वापरणे सोपे होते आणि अशा ऍप्लिकेशन्सच्या विकासातील प्रवेशाचा अडथळा देखील कमी होतो.

त्याच वेळी, 20 वर्षांपूर्वीच्या परिस्थितीच्या विपरीत, जेव्हा प्रत्येकजण असेंब्ली तज्ञ होता, आता बहुतेक विकसक स्त्रोतांकडून वापरत असलेली साधने तयार करू शकत नाहीत.

खरं तर, हे वाईट नाही, कारण:

आम्ही अधिक जटिल परंतु अधिक वापरकर्ता अनुकूल सॉफ्टवेअर वापरू शकतो. उदाहरणार्थ, ब्राउझर वापरण्यास सोयीस्कर आहे, परंतु त्यात अनेक मुक्त स्रोत घटक समाविष्ट आहेत आणि ते सुरवातीपासून तयार करणे गैरसोयीचे आहे.
अधिक लोक ओपन सोर्स आणि इतर सॉफ्टवेअरचे डेव्हलपर बनू शकतात, व्यवसायांद्वारे अधिक सॉफ्टवेअर वापरले जाते आणि त्याची गरज जास्त आहे.

नकारात्मक बाजू अशी आहे की सरलीकरणाची पुढील पायरी क्लाउड सोल्यूशन्सच्या वापराशी संबंधित आहे आणि यामुळे विशिष्ट विक्रेता लॉक-इन होते, म्हणजेच एका पुरवठादाराशी बंधनकारक. आम्ही साधे उपाय वापरतो आणि प्रदाते ओपन सोर्स घटक वापरतात, परंतु प्रत्यक्षात ते मोठ्या ढगांपैकी एकावर खिळलेले असतात. म्हणजेच, ओपन सोर्स (आणि त्याच्याशी सुसंगत सॉफ्टवेअर) उपयोजित करण्याचा सर्वात सोपा आणि जलद मार्ग म्हणजे क्लाउडमध्ये, मालकीचा API वापरणे.

जेव्हा क्लाउडमधील डेटाबेसचा विचार केला जातो, तेव्हा दोन दृष्टिकोन आहेत:

नेहमीच्या डेटा सेंटरप्रमाणे डेटाबेस इन्फ्रास्ट्रक्चर एकत्र करा. म्हणजेच, मानक बिल्डिंग ब्लॉक्स घ्या: गणना, स्टोरेज आणि असेच, त्यावर लिनक्स आणि डेटाबेस स्थापित करा आणि ते कॉन्फिगर करा.
सेवा म्हणून डेटाबेस वापरा, जेथे प्रदाता क्लाउडमध्ये तयार डेटाबेस ऑफर करतो.

DBaaS ही सध्या झपाट्याने वाढणारी बाजारपेठ आहे कारण ते विकासकांना थेट डेटाबेससह कार्य करण्यास अनुमती देते आणि नियमित काम कमी करते. प्रदाता उच्च उपलब्धता आणि सुलभ स्केलिंग, डेटाबेस पॅचिंग, बॅकअप आणि कार्यप्रदर्शन ट्यूनिंग सुनिश्चित करण्यासाठी हाती घेते.

ओपन सोर्सवर आधारित सेवा म्हणून दोन प्रकारचे डेटाबेस आणि कुबरनेटच्या रूपात पर्यायी

ओपन डेटाबेसेससाठी सेवा म्हणून दोन प्रकारचे डेटाबेस आहेत:

सुलभ उपयोजन आणि व्यवस्थापनासाठी प्रशासनाच्या बॅकएंडमध्ये पॅक केलेले मानक मुक्त स्त्रोत उत्पादन.
विविध अॅड-ऑनसह प्रगत व्यावसायिक समाधान, मुक्त स्त्रोताशी सुसंगत.

दोन्ही पर्याय ढगांमधील स्थलांतराची शक्यता कमी करतात आणि डेटा आणि अनुप्रयोगांची पोर्टेबिलिटी कमी करतात. उदाहरणार्थ, विविध प्रकारचे क्लाउड मूलत: समान मानक MySQL ला समर्थन देत असूनही, त्यांच्यामध्ये महत्त्वपूर्ण फरक आहेत: ऑपरेशन, कार्यप्रदर्शन, बॅकअप आणि असेच. एका क्लाउडमधून दुसऱ्या क्लाउडवर स्थलांतर करणे आव्हानात्मक असू शकते, विशेषत: जटिल अनुप्रयोगांसाठी.

आणि इथे प्रश्न उद्भवतो - सेवा म्हणून डेटाबेसची सोय मिळवणे शक्य आहे का, परंतु एक साधे मुक्त स्त्रोत उपाय म्हणून?

वाईट बातमी अशी आहे की, दुर्दैवाने, बाजारात अद्याप असे कोणतेही उपाय नाहीत. चांगली बातमी अशी आहे की कुबर्नेट्स आहे, जे आपल्याला अशा उपायांची अंमलबजावणी करण्यास अनुमती देते.

Kubernetes ही क्लाउड किंवा डेटा सेंटरसाठी एक ऑपरेटिंग सिस्टीम आहे जी तुम्हाला एकाच होस्टवर ऐवजी क्लस्टरमध्ये एकाधिक सर्व्हरवर अनुप्रयोग तैनात आणि व्यवस्थापित करण्यास अनुमती देते.

आता अशा सॉफ्टवेअरच्या श्रेणीत कुबर्नेट्स आघाडीवर आहे. अशा समस्यांसाठी अनेक भिन्न उपाय होते, परंतु ते मानक बनले. पर्यायी उपायांवर लक्ष केंद्रित करणार्‍या अनेक कंपन्या आता कुबर्नेट्सला समर्थन देण्यासाठी त्यांची उत्पादने अनुकूल करण्यावर लक्ष केंद्रित करत आहेत.

याव्यतिरिक्त, कुबर्नेट्स हे एक सार्वत्रिक समाधान आहे जे अनेक विक्रेत्यांच्या खाजगी, सार्वजनिक आणि संकरित क्लाउडमध्ये समर्थित आहे, उदाहरणार्थ: AWS, Google Cloud, Microsoft Azure, Mail.ru क्लाउड सोल्यूशन्स.

Kubernetes डेटाबेससह कसे कार्य करते

Kubernetes हे मूलतः स्टेटलेस ऍप्लिकेशन्ससाठी डिझाइन केले होते जे डेटावर प्रक्रिया करतात परंतु मायक्रोसर्व्हिसेस किंवा वेब ऍप्लिकेशन्स सारखे काहीही संग्रहित करत नाहीत. डेटाबेस स्पेक्ट्रमच्या दुसऱ्या टोकाला असतात, म्हणजेच ते स्टेटफुल अॅप्लिकेशन्स असतात. आणि कुबर्नेट्सचा मूळ हेतू अशा अनुप्रयोगांसाठी नव्हता.

तथापि, काही वैशिष्ट्ये आहेत जी अलीकडेच कुबर्नेट्समध्ये दिसली आहेत जी डेटाबेस आणि इतर स्टेटफुल ऍप्लिकेशन्सच्या वापरास परवानगी देतात:

स्टेटफुलसेट संकल्पना ही पॉड्सचे काम थांबवणे आणि ग्रेसफुल शटडाउन (अॅप्लिकेशनचे अंदाजे शटडाउन) लागू करण्याच्या इव्हेंट्सवर प्रक्रिया करण्यासाठी प्राथमिक गोष्टींची संपूर्ण मालिका आहे.
पर्सिस्टंट व्हॉल्यूम हे डेटा स्टोअर्स आहेत जे पॉड्स, कुबर्नेट्स मॅनेजमेंट ऑब्जेक्ट्सशी संबंधित आहेत.
ऑपरेटर फ्रेमवर्क - म्हणजे, अनेक नोड्समध्ये वितरित डेटाबेस आणि इतर स्टेटफुल ऍप्लिकेशन्स व्यवस्थापित करण्यासाठी घटक तयार करण्याची क्षमता.

आधीच आता सार्वजनिक ढगांमध्ये सेवा म्हणून मोठे डेटाबेस आहेत, ज्याचा बॅकएंड कुबर्नेट्स आहे, उदाहरणार्थ: कॉकरोचक्लाउड, इन्फ्लक्सडीबी, प्लॅनेटस्केल. म्हणजेच, कुबर्नेट्सवरील डेटाबेस ही केवळ सैद्धांतिकदृष्ट्या शक्य नसून व्यवहारात कार्य करणारी गोष्ट आहे.

Percona मध्ये Kubernetes साठी दोन मुक्त स्रोत उपाय आहेत:

MongoDB साठी Percona सर्व्हरसाठी Kubernetes ऑपरेटर.
XtraDB CLUSTER साठी Kubernetes ऑपरेटर ही एक सेवा आहे जी MySQL शी सुसंगत आहे आणि उच्च उपलब्धता आणि सुसंगतता प्रदान करते. उच्च उपलब्धता आवश्यक नसल्यास तुम्ही एकल नोड देखील वापरू शकता, उदाहरणार्थ डेव्ह डेटाबेससाठी.

Kubernetes वापरकर्ते दोन गटांमध्ये विभागले जाऊ शकतात. काही लोक थेट कुबर्नेट्स ऑपरेटर वापरतात - हे प्रामुख्याने प्रगत वापरकर्ते आहेत ज्यांना तंत्रज्ञान कसे कार्य करते याची चांगली समज आहे. इतर ते बॅकएंडवर चालवतात - अशा वापरकर्त्यांना सेवा म्हणून डेटाबेस सारख्या गोष्टीमध्ये स्वारस्य असते, त्यांना कुबर्नेट्सच्या बारकावे शोधू इच्छित नाहीत. वापरकर्त्यांच्या दुसऱ्या गटासाठी, आमच्याकडे आणखी एक मुक्त स्रोत उपाय आहे - Percona DBaaS CLI टूल. ज्यांना तंत्रज्ञानाची सखोल माहिती नसताना Kubernetes वर आधारित ओपन सोर्स DBaaS मिळवायचा आहे त्यांच्यासाठी हा एक प्रायोगिक उपाय आहे.

Google Kubernetes Engine वर Percona चे DBaaS कसे चालवायचे

Google Kubernetes Engine, माझ्या मते, Kubernetes तंत्रज्ञानाच्या सर्वात कार्यक्षम अंमलबजावणींपैकी एक आहे. हे जगातील अनेक प्रदेशांमध्ये उपलब्ध आहे आणि त्यात एक साधे आणि सोयीस्कर कमांड लाइन टूल (SDK) आहे, जे तुम्हाला प्लॅटफॉर्म मॅन्युअली व्यवस्थापित करण्याऐवजी स्क्रिप्ट तयार करण्यास अनुमती देते.

आमचे DBaaS कार्य करण्यासाठी, आम्हाला खालील घटकांची आवश्यकता आहे:

कुबेक्टल.
Google क्लाउड SDK.
Percona DBaaS CLI.

kubectl स्थापित करा

आम्ही तुमच्या ऑपरेटिंग सिस्टमसाठी पॅकेज स्थापित करतो, आम्ही उबंटूचे उदाहरण पाहू. अधिक माहितीसाठी येथे.

sudo apt-get update && sudo apt-get install -y apt-transport-https gnupg2
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubectl

Google Cloud SDK इंस्टॉल करत आहे

आम्ही त्याच प्रकारे सॉफ्टवेअर पॅकेज स्थापित करतो. अधिक माहितीसाठी येथे.

# Add the Cloud SDK distribution URI as a package source
echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] 
http://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list

# Import the Google Cloud Platform public key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key --keyring /usr/share/keyrings/cloud.google.gpg add -

# Update the package list and install the Cloud SDK
sudo apt-get update && sudo apt-get install google-cloud-sdk

Percona DBaaS CLI स्थापित करत आहे

पर्कोना रेपॉजिटरीजमधून स्थापित करा. Percona DBaaS CLI टूल अजूनही प्रायोगिक उत्पादन आहे, म्हणून ते प्रायोगिक भांडारात स्थित आहे, जे तुम्ही आधीच Percona रेपॉजिटरी स्थापित केले असले तरीही ते स्वतंत्रपणे सक्षम केले जाणे आवश्यक आहे.

अधिक वाचा येथे.

इंस्टॉलेशन अल्गोरिदम:

पर्कोना-रिलीज टूल वापरून पर्कोना रेपॉजिटरीज सेट करा. प्रथम तुम्हाला Percona वरून अधिकृत पर्कोना-रिलीज पॅकेज डाउनलोड आणि स्थापित करण्याची आवश्यकता आहे:
```
wget https://repo.percona.com/apt/percona-release_latest.generic_all.deb
sudo dpkg -i percona-release_latest.generic_all.deb
```
प्रायोगिक साधन रेपॉजिटरी घटक खालीलप्रमाणे सक्षम करा:
```
sudo percona-release enable tools experimental
```
percona-dbaas-cli पॅकेज स्थापित करा:
```
sudo apt-get update
sudo apt-get install percona-dbaas-cli
```

घटकांच्या ऑपरेशनची स्थापना

सेटिंग्ज बद्दल अधिक येथे.

प्रथम आपण आपल्या Google खात्यात लॉग इन करणे आवश्यक आहे. पुढे, Google क्लाउड एका वापरकर्त्याला अनेक स्वतंत्र प्रकल्प ठेवण्याची परवानगी देतो, म्हणून तुम्हाला या प्रकल्पासाठी कोड वापरून कार्यरत प्रकल्प निर्दिष्ट करणे आवश्यक आहे:

gcloud auth login
gcloud config set project hidden-brace-236921

पुढे, आम्ही एक क्लस्टर तयार करतो. डेमोसाठी, मी फक्त तीन नोड्सचा कुबर्नेट्स क्लस्टर तयार केला - उच्च उपलब्धतेसाठी हे किमान आवश्यक आहे:

gcloud container clusters create --zone us-central1-a your-cluster-name --cluster-version 1.15 --num-nodes=3

खालील kubectl कमांड आमच्या वर्तमान वापरकर्त्याला इच्छित विशेषाधिकार देते:

kubectl create clusterrolebinding cluster-admin-binding-$USER 
--clusterrole=cluster-admin --user=$(gcloud config get-value core/account)

मग आपण नेमस्पेस तयार करतो आणि ते सक्रिय करतो. नेमस्पेस, साधारणपणे, एखाद्या प्रकल्प किंवा वातावरणासारखे आहे, परंतु आधीपासूनच कुबर्नेट्स क्लस्टरमध्ये आहे. हे Google क्लाउड प्रकल्पांपासून स्वतंत्र आहे:

kubectl create namespace my-namespace
kubectl config set-context --current --namespace=my-namespace

क्लस्टर सुरू करत आहे

एकदा आम्ही या काही चरणांमधून गेलो की, आम्ही या सोप्या आदेशासह तीन-नोड क्लस्टर सुरू करू शकतो:

# percona-dbaas mysql create-db example
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     example
Resource Endpoint: example-proxysql.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              Nt9YZquajW7nfVXTTrP
Status:            ready

क्लस्टरशी कसे कनेक्ट करावे

डीफॉल्टनुसार, हे फक्त कुबर्नेट्समध्ये उपलब्ध आहे. म्हणजेच, ज्या सर्व्हरवरून तुम्ही "तयार करा" कमांड चालवली त्या सर्व्हरवरून ते प्रवेश करण्यायोग्य नाही. ते उपलब्ध करून देण्यासाठी, उदाहरणार्थ, क्लायंटच्या चाचण्यांसाठी, तुम्हाला पोर्ट मॅपिंगद्वारे पोर्ट फॉरवर्ड करणे आवश्यक आहे:

kubectl port-forward svc/example-proxysql 3306:3306 $

मग आम्ही तुमचा MySQL क्लायंट कनेक्ट करू:

mysql -h 127.0.0.1 -P 3306 -uroot -pNt9YZquajW7nfVXTTrP

प्रगत क्लस्टर व्यवस्थापन आदेश

सार्वजनिक IP वर डेटाबेस

तुम्हाला क्लस्टर उपलब्धतेसाठी अधिक कायमस्वरूपी उपाय हवे असल्यास, तुम्ही बाह्य IP पत्ता मिळवू शकता. या प्रकरणात, डेटाबेस कोठूनही प्रवेश करण्यायोग्य असेल. हे कमी सुरक्षित आहे, परंतु अनेकदा अधिक सोयीस्कर आहे. बाह्य IP साठी आम्ही खालील आदेश वापरतो:

# percona-dbaas mysql create-db exposed 
--options="proxysql.serviceType=LoadBalancer"
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     exposed
Resource Endpoint: 104.154.133.197
Port:              3306
User:              root
Pass:              k0QVxTr8EVfgyCLYse
Status:            ready

To access database please run the following command:
mysql -h 104.154.133.197 -P 3306 -uroot -pk0QVxTr8EVfgyCLYse

स्पष्टपणे पासवर्ड सेट करा

सिस्टम यादृच्छिकपणे पासवर्ड तयार करण्याऐवजी, तुम्ही स्पष्टपणे पासवर्ड सेट करू शकता:

# percona-dbaas mysql create-db withpw --password=mypassword
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     withpw
Resource Endpoint: withpw-proxysql.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              mypassword
Status:            ready

मी स्क्रिप्टचे आउटपुट मानवी वाचनीय फॉरमॅटमध्ये दाखवत आहे, परंतु JSON फॉरमॅटलाही सपोर्ट आहे.

उच्च उपलब्धता बंद करत आहे

खालील आदेशासह तुम्ही एकल नोड उपयोजित करण्यासाठी उच्च उपलब्धता अक्षम करू शकता:

# percona-dbaas mysql create-db singlenode 
--options="proxysql.enabled=false, allowUnsafeConfigurations=true,pxc.size=1"
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     singlenode
Resource Endpoint: singlenode-pxc.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              22VqFD96mvRnmPMGg
Status:            ready

हे MySQL शक्य तितक्या लवकर आणि सहजतेने चालू होण्यासाठी चाचणी कार्यांसाठी एक उपाय आहे, त्याची चाचणी घ्या आणि नंतर ते बंद करा किंवा विकासासाठी वापरा.

Percona DBaaS CLI टूल तुम्हाला Kubernetes वर DBaaS सारखे उपाय साध्य करण्यात मदत करते. त्याच वेळी, आम्ही त्याची कार्यक्षमता आणि उपयोगिता यावर कार्य करणे सुरू ठेवतो.

हा अहवाल प्रथम सादर करण्यात आला @डेटाबेस मीटअप Mail.ru क्लाउड सोल्युशन्स आणि टारंटूल द्वारे. दिसत видео इतर परफॉर्मन्स आणि टेलिग्रामवरील कार्यक्रम घोषणांचे सदस्यत्व घ्या Mail.ru ग्रुपवर कुबर्नेट्सच्या आसपास.

या विषयावर आणखी काय वाचायचे:

स्त्रोत: www.habr.com

DBaaS बदलू शकणारे Kubernetes वापरून हायब्रिड क्लाउड कसा तयार करायचा