🥇Как да изградите хибриден облак с помощта на Kubernetes, който може да замени DBaaS

Казвам се Петр Зайцев, аз съм главен изпълнителен директор, основател Перкона и искам да ти кажа:

как стигнахме от решения с отворен код до база данни като услуга;
какви подходи съществуват за разполагане на бази данни в облака;
как Kubernetes може да замени DBaaS, елиминирайки зависимостта от доставчика и поддържайки простотата на СУБД като услуга.

Статията е изготвена въз основа на доклад на @Databases Meetup от Mail.ru Cloud Solutions & Tarantool. Ако не искате да четете, можете да гледате:

Как стигнахме от отворен код до база данни като услуга в облака

Работя с отворен код от края на 90-те години. Преди двадесет години използването на отворен код, като бази данни, не беше толкова лесно. Беше необходимо да изтеглите изходния код, да го закърпите, компилирате и едва след това да го използвате.

След това отвореният код премина през серия от опростявания:

Tar.gz и INSTALL източници, които трябваше да бъдат компилирани;
пакети със зависимости като .deb и .rpm, където трябва само да инсталирате набор от пакети;
пакетни хранилища като APT и YUM, с които инсталацията е автоматична;
решения като Docker и Snap, които ви позволяват да получавате пакети чрез инсталиране без външни зависимости.

В резултат на това става по-лесно да се използва софтуер с отворен код и също така се намаляват бариерите за навлизане в разработването на такива приложения.

В същото време, за разлика от ситуацията преди 20 години, когато всеки беше експерт по асемблиране, сега повечето разработчици не могат да изграждат използваните от тях инструменти от източника.

Всъщност това не е лошо, защото:

Можем да използваме по-сложен, но по-лесен за използване софтуер. Например, един браузър е удобен за използване, но включва много компоненти с отворен код и е неудобно да се създава от нулата.
Повече хора могат да станат разработчици на софтуер с отворен код и друг софтуер, повече софтуер се използва от бизнеса и нуждата от него е по-голяма.

Недостатъкът е, че следващата стъпка в опростяването е свързана с използването на облачни решения, а това води до определен vendor lock-in, тоест обвързване с един доставчик. Ние използваме прости решения и доставчиците използват компоненти с отворен код, но всъщност те са приковани към един от големите облаци. Това означава, че най-лесният и бърз начин за внедряване на отворен код (и софтуер, съвместим с него) е в облаците, като се използва патентован API.

Когато става въпрос за бази данни в облака, има два подхода:

Сглобете инфраструктурата на базата данни, както в обикновен център за данни. Тоест, вземете стандартни градивни елементи: изчисления, съхранение и т.н., инсталирайте Linux и база данни върху тях и ги конфигурирайте.
Използвайте база данни като услуга, където доставчикът предлага готова база данни в облака.

DBaaS е бързо развиващ се пазар в момента, защото позволява на разработчиците да работят директно с бази данни и минимизира рутинната работа. Доставчикът се ангажира да осигури висока наличност и лесно мащабиране, корекции на бази данни, архивиране и настройка на производителността.

Два типа база данни като услуга, базирана на отворен код и алтернатива под формата на Kubernetes

Има два типа база данни като услуга за отворени бази данни:

Стандартен продукт с отворен код, пакетиран в бекенд за администриране за лесно внедряване и управление.
Разширено търговско решение с различни добавки, съвместимо с отворен код.

И двете опции намаляват възможността за миграция между облаци и намаляват преносимостта на данни и приложения. Например, въпреки факта, че различните типове облаци поддържат по същество един и същ стандарт MySQL, има значителни разлики между тях: в работата, производителността, архивирането и т.н. Мигрирането от един облак към друг може да бъде предизвикателство, особено за сложни приложения.

И тук възниква въпросът – възможно ли е да получите удобството на Database като услуга, но като просто решение с отворен код?

Лошата новина е, че за съжаление все още няма такива решения на пазара. Добрата новина е, че има Kubernetes, който ви позволява да внедрявате такива решения.

Kubernetes е операционна система за облака или центъра за данни, която ви позволява да разположите и управлявате приложение в множество сървъри в клъстер, а не на един хост.

Сега Kubernetes е лидер в категорията на такъв софтуер. Имаше много различни решения за подобни проблеми, но това стана стандарт. Много компании, които преди се фокусираха върху алтернативни решения, сега се фокусират върху адаптирането на своите продукти за поддръжка на Kubernetes.

В допълнение, Kubernetes е универсално решение, което се поддържа в частни, публични и хибридни облаци на много доставчици, например: AWS, Google Cloud, Microsoft Azure, Облачни решения на Mail.ru.

Как Kubernetes работи с бази данни

Kubernetes първоначално е проектиран за приложения без състояние, които обработват данни, но не съхраняват нищо, като микроуслуги или уеб приложения. Базите данни са в другия край на спектъра, т.е. те са приложения със състояние. А Kubernetes първоначално не е предназначен за такива приложения.

Има обаче функции, които наскоро се появиха в Kubernetes, които позволяват използването на бази данни и други приложения със състояние:

Концепцията StatefulSet е цяла поредица от примитиви за обработка на събития за спиране на работата на pods и прилагане на Graceful Shutdown (предсказуемо изключване на приложението).
Постоянните томове са хранилища на данни, които са свързани с подове, обекти за управление на Kubernetes.
Operator Framework – тоест способността за създаване на компоненти за управление на бази данни и други приложения със състояние, разпределени в много възли.

Вече в публичните облаци има големи бази данни като услуга, чийто бекенд е Kubernetes, например: CockroachCloud, InfluxDB, PlanetScale. Тоест база данни на Kubernetes е не само нещо, което е теоретично възможно, но и нещо, което работи на практика.

Percona има две решения с отворен код за Kubernetes:

Оператор Kubernetes за сървър Percona за MongoDB.
Kubernetes Operator for XtraDB CLUSTER е услуга, която е съвместима с MySQL и осигурява висока наличност и последователност. Можете също да използвате единичен възел, ако не е необходима висока наличност, например за база данни за разработчици.

Потребителите на Kubernetes могат да бъдат разделени на две групи. Някои хора използват операторите Kubernetes директно - това са предимно напреднали потребители, които разбират добре как работи технологията. Други го изпълняват на бекенда - такива потребители се интересуват от нещо като база данни като услуга, те не искат да се ровят в нюансите на Kubernetes. За втората група потребители имаме друго решение с отворен код - Percona DBaaS CLI Tool. Това е експериментално решение за тези, които искат да получат DBaaS с отворен код, базиран на Kubernetes, без задълбочено разбиране на технологията.

Как да стартирате DBaaS на Percona на Google Kubernetes Engine

Google Kubernetes Engine според мен е една от най-функционалните реализации на технологията Kubernetes. Предлага се в много региони по света и има прост и удобен инструмент за команден ред (SDK), който ви позволява да създавате скриптове, вместо да управлявате ръчно платформата.

За да работи нашият DBaaS, имаме нужда от следните компоненти:

Kubectl.
Google Cloud SDK.
Percona DBaaS CLI.

Инсталирайте kubectl

Инсталираме пакета за вашата операционна система, ще разгледаме примера на Ubuntu. Повече информация тук.

sudo apt-get update && sudo apt-get install -y apt-transport-https gnupg2
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubectl

Инсталиране на Google Cloud SDK

Инсталираме софтуерния пакет по същия начин. Повече информация тук.

# Add the Cloud SDK distribution URI as a package source
echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] 
http://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list

# Import the Google Cloud Platform public key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key --keyring /usr/share/keyrings/cloud.google.gpg add -

# Update the package list and install the Cloud SDK
sudo apt-get update && sudo apt-get install google-cloud-sdk

Инсталиране на Percona DBaaS CLI

Инсталирайте от хранилищата на Percona. Percona DBaaS CLI Tool все още е експериментален продукт, така че се намира в експерименталното хранилище, което трябва да бъде активирано отделно, дори ако вече имате инсталирани Percona хранилища.

Още тук.

Алгоритъм за инсталиране:

Настройте хранилищата на Percona с помощта на инструмента за освобождаване на percona. Първо трябва да изтеглите и инсталирате официалния пакет за издаване на percona от Percona:
```
wget https://repo.percona.com/apt/percona-release_latest.generic_all.deb
sudo dpkg -i percona-release_latest.generic_all.deb
```
Активирайте компонента за хранилище на експериментални инструменти, както следва:
```
sudo percona-release enable tools experimental
```

Инсталирайте пакета percona-dbaas-cli:

sudo apt-get update
sudo apt-get install percona-dbaas-cli

Настройка на работата на компонентите

Повече за настройките тук.

Първо трябва да влезете в акаунта си в Google. Освен това Google Cloud позволява на един потребител да има много независими проекти, така че трябва да посочите работещ проект, като използвате кода за този проект:

gcloud auth login
gcloud config set project hidden-brace-236921

След това създаваме клъстер. За демонстрацията създадох клъстер на Kubernetes само от три възела - това е минимумът, необходим за висока наличност:

gcloud container clusters create --zone us-central1-a your-cluster-name --cluster-version 1.15 --num-nodes=3

Следната команда kubectl дава желаните привилегии на текущия ни потребител:

kubectl create clusterrolebinding cluster-admin-binding-$USER 
--clusterrole=cluster-admin --user=$(gcloud config get-value core/account)

След това създаваме пространство от имена и го правим активно. Пространството от имена е, грубо казано, също като проект или среда, но вече вътре в клъстер на Kubernetes. Той е независим от проекти на Google Cloud:

kubectl create namespace my-namespace
kubectl config set-context --current --namespace=my-namespace

Стартиране на клъстера

След като преминем през тези няколко стъпки, можем да стартираме клъстер с три възела с тази проста команда:

# percona-dbaas mysql create-db example
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     example
Resource Endpoint: example-proxysql.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              Nt9YZquajW7nfVXTTrP
Status:            ready

Как да се свържете с клъстер

По подразбиране е наличен само в Kubernetes. Тоест, той не е достъпен от този сървър, от който сте изпълнили командата „Създаване“. За да го направите достъпен, например, за тестове с клиент, трябва да препратите порта чрез Port Mapping:

kubectl port-forward svc/example-proxysql 3306:3306 $

След това свързваме вашия MySQL клиент:

mysql -h 127.0.0.1 -P 3306 -uroot -pNt9YZquajW7nfVXTTrP

Разширени команди за управление на клъстери

База данни на публичен IP

Ако искате по-постоянно решение за наличност на клъстера, можете да получите външен IP адрес. В този случай базата данни ще бъде достъпна отвсякъде. Това е по-малко сигурно, но често по-удобно. За външен IP използваме следната команда:

# percona-dbaas mysql create-db exposed 
--options="proxysql.serviceType=LoadBalancer"
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     exposed
Resource Endpoint: 104.154.133.197
Port:              3306
User:              root
Pass:              k0QVxTr8EVfgyCLYse
Status:            ready

To access database please run the following command:
mysql -h 104.154.133.197 -P 3306 -uroot -pk0QVxTr8EVfgyCLYse

Изрично задайте паролата

Вместо системата произволно да генерира парола, можете да зададете паролата изрично:

# percona-dbaas mysql create-db withpw --password=mypassword
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     withpw
Resource Endpoint: withpw-proxysql.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              mypassword
Status:            ready

Показвам резултата от скриптовете в четим от хора формат, но форматът JSON също се поддържа.

Изключване на висока наличност

Със следната команда можете да деактивирате високата наличност, за да разположите единичен възел:

# percona-dbaas mysql create-db singlenode 
--options="proxysql.enabled=false, allowUnsafeConfigurations=true,pxc.size=1"
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     singlenode
Resource Endpoint: singlenode-pxc.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              22VqFD96mvRnmPMGg
Status:            ready

Това е решение за тестване на задачи, за да стартирате MySQL възможно най-бързо и лесно, да го тествате и след това да го изключите или да го използвате за разработка.

Инструментът Percona DBaaS CLI ви помага да постигнете подобно на DBaaS решение на Kubernetes. В същото време продължаваме да работим върху неговата функционалност и използваемост.

Този доклад беше представен за първи път на @Databases Meetup от Mail.ru Cloud Solutions&Tarantool. Виж видео други изпълнения и се абонирайте за съобщения за събития в Telegram Около Kubernetes в Mail.ru Group.

Какво още да прочетете по темата:

Източник: www.habr.com

Как да изградите хибриден облак с помощта на Kubernetes, който може да замени DBaaS