Hur man bygger ett hybridmoln med Kubernetes som kan ersätta DBaaS

Jag heter Peter Zaitsev, jag är verkställande direktör och grundare Percona och jag vill berätta:

• hur vi gick från open source-lösningar till Database as a Service;
• vilka metoder som finns för att implementera databaser i molnet;
• hur Kubernetes kan ersätta DBaaS genom att eliminera leverantörsberoende och bevara enkelheten hos databaser som en tjänst.

Den här artikeln är baserad på en presentation vid @Databases Meetup av Mail.ru Cloud Solutions & Tarantool. Om du inte vill läsa kan du titta på:

Hur vi gick från open source till Database as a Service i molnet

Jag har sysslat med open source sedan slutet av 90-talet. För tjugo år sedan var det inte så enkelt att använda open source, till exempel databaser. Man var tvungen att ladda ner källkoden, patcha, kompilera och först därefter använda den.

Sedan dess har open source genomgått en serie förenklingar:

• källkod i Tar.gz och INSTALL som måste kompileras;
• paket med beroenden som .deb och .rpm, där man bara behöver installera ett paketset;
• paketarkiv som APT och YUM, där installationen sker automatiskt;
• lösningar som Docker och Snap, som möjliggör installation av paket utan externa beroenden.

Slutresultatet är att det blir enklare att använda öppen programvara, och inträdesbarriären för att utveckla sådana applikationer sänks.

Till skillnad från situationen för 20 år sedan, när alla var experter på att kompilera, kan nu de flesta utvecklare inte kompilera de verktyg de använder.

Det här är faktiskt inte dåligt, eftersom:

1. Vi kan använda mer avancerad men mer användarvänlig programvara. Till exempel är webbläsaren enkel att använda, men den innehåller många open source-komponenter och är besvärlig att kompilera från grunden.
2. Fler människor kan bli utvecklare av open source och annan programvara, fler företag använder programvara, och behovet av den ökar.

Den baksidan av myntet är att nästa steg i förenklingen är kopplad till användningen av molnlösningar, vilket leder till en viss vendor lock-in, det vill säga bindning till en enda leverantör. Vi använder enkla lösningar och leverantörer använder open source-komponenter, men de är faktiskt fastlåsta till ett av de stora molnen. Det enklaste och snabbaste sättet att implementera open source (och kompatibel programvara) är i molnet, genom att använda proprietära API:er.

När det gäller databaser i molnet finns det två metoder:

1. Skapa en databasarkitektur som i ett traditionellt datacenter. Det innebär att använda standardkomponenter: compute, storage och så vidare, installera Linux på dem, en databas och konfigurera den.
2. Använda Database as a Service där leverantören erbjuder en färdig databas i molnet.

Idag är DBaaS en snabbt växande marknad, eftersom denna tjänst gör det möjligt för utvecklare att arbeta med databaser direkt och minimerar rutinuppgifter. Leverantören ansvarar för att säkerställa hög tillgänglighet och enkel skalbarhet, patchning av databasen, säkerhetskopiering och prestandakonfiguration.

Två typer av Database as a Service baserat på open source och ett alternativ i form av Kubernetes.

Det finns två typer av Database as a Service för öppna databaser:

1. En standard open source-produkt paketerad i ett backend för administration, vilket förenklar installation och hantering.
2. Ett avancerat kommersiellt lösning med olika tillägg som är kompatibelt med open source.

Båda alternativen minskar möjligheten för migrering mellan moln, vilket minskar portabiliteten av data och applikationer. Till exempel, trots att olika typer av moln i grunden stödjer samma standard MySQL, finns det betydande skillnader mellan dem när det gäller funktionalitet, prestanda, säkerhetskopiering och så vidare. Att migrera från ett moln till ett annat kan vara utmanande, särskilt för komplexa applikationer.

Och här uppstår frågan — kan man få bekvämligheten av Database as a Service men som en enkel open source-lösning?

Dåliga nyheter är att det tyvärr för närvarande inte finns några sådana lösningar på marknaden. Goda nyheter — det finns Kubernetes, som gör det möjligt att implementera sådana lösningar.

Kubernetes är ett operativsystem för molnet eller datacentret som möjliggör utrullning av applikationer och hantering av dem på flera kluster-servrar istället för på en enda värd.

Idag är Kubernetes ledande inom denna typ av programvara. Det har funnits många olika lösningar för sådana uppgifter, men det har blivit standarden. Många företag som tidigare arbetade med alternativa lösningar fokuserar nu på att anpassa sina produkter för att stödja Kubernetes.

Dessutom är Kubernetes en universell lösning som stöds i privata, offentliga och hybridmoln av många leverantörer, till exempel: AWS, Google Cloud, Microsoft Azure, Mail.ru Cloud Solutions.

Hur Kubernetes fungerar med databaser

Kubernetes utvecklades ursprungligen för stateless-applikationer som hanterar data men inte lagrar något, som mikrotjänster eller webbapplikationer. Databaser ligger i den andra änden av spektrumet, det vill säga de är stateful-applikationer. Kubernetes var från början inte avsedd för sådana applikationer.

Men det finns funktioner som nyligen har införts i Kubernetes som gör det möjligt att använda databaser och andra stateful-applikationer:

1. Konceptet StatefulSet är en serie primitiva verktyg för att hantera händelser som rör nedstängning av pods och genomföra Graceful Shutdown (förutsägbar nedstängning av applikationen).
2. Persistent Volumes är datalagringsenheter som är kopplade till pods, objekt som hanteras av Kubernetes.
3. Operator Framework – det vill säga möjligheten att skapa komponenter för att hantera databaser och andra stateful-applikationer som är distribuerade över många noder.

Redan nu finns det stora Database as a Service-lösningar i offentliga moln där Kubernetes används i backend, till exempel: CockroachCloud, InfluxDB, PlanetScale. Detta innebär att databaser på Kubernetes inte bara är en teoretisk möjlighet utan också något som fungerar i praktiken.

Percona erbjuder två open source-lösningar för Kubernetes:

1. Kubernetes Operator för Percona Server för MongoDB.
2. Kubernetes Operator för XtraDB CLUSTER – en tjänst som är kompatibel med MySQL, som erbjuder hög tillgänglighet och konsekvens. Det går också att använda en enskild nod om hög tillgänglighet inte behövs, till exempel för utvecklingsdatabaser.

Användarna av Kubernetes kan delas in i två grupper. Vissa använder Kubernetes Operators direkt – detta är främst avancerade användare som har god förståelse för hur teknologin fungerar. Andra kör det i backend – dessa användare är intresserade av något i stil med Database as a Service och vill inte gå in på detaljerna i hur Kubernetes fungerar. För den andra gruppen har vi en annan open source-lösning – Percona DBaaS CLI Tool. Detta är en experimentell lösning för dem som vill ha en open source DBaaS baserad på Kubernetes utan att behöva förstå teknologin i detalj.

Hur man startar DBaaS från Percona på Google Kubernetes Engine

Google Kubernetes Engine, enligt min mening, är en av de mest funktionella implementationerna av Kubernetes-teknologin. Den är tillgänglig i många regioner runt om i världen och har ett enkelt och användarvänligt kommandoradsverktyg (SDK) som gör det möjligt att skapa skript istället för att hantera plattformen manuellt.

För att vår DBaaS ska fungera behövs följande komponenter:

1. Kubectl.
2. Google Cloud SDK.
3. Percona DBaaS CLI.

Installerar kubectl

Vi installerar paketet för ditt operativsystem, vi tar Ubuntu som exempel. Mer information ). Ett typiskt exempel på användning:.

sudo apt-get update && sudo apt-get install -y apt-transport-https gnupg2
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubectl

Installerar Google Cloud SDK

Installationen av programvarupaketet är i princip densamma. Mer information ). Ett typiskt exempel på användning:.

# Add the Cloud SDK distribution URI as a package source
echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] 
http://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list

# Import the Google Cloud Platform public key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key --keyring /usr/share/keyrings/cloud.google.gpg add -

# Update the package list and install the Cloud SDK
sudo apt-get update && sudo apt-get install google-cloud-sdk

Installerar Percona DBaaS CLI

Installerar från Percona-repositories. Percona DBaaS CLI Tool är fortfarande ett experimentellt produkt, så det finns i ett experimentellt repository som måste aktiveras separat, även om du redan har Percona-repositories installerade.

Läs mer ). Ett typiskt exempel på användning:.

Installationsalgoritm:

1. Konfigurera Percona-repositories med hjälp av percona-release-verktyget. Först måste du ladda ner och installera det officiella percona-release-paketet från Percona:

   wget https://repo.percona.com/apt/percona-release_latest.generic_all.deb
   sudo dpkg -i percona-release_latest.generic_all.deb

2. Aktivera den experimentella komponenten i verktygsrepositoriet på följande sätt:

   sudo percona-release enable tools experimental
   

3. Installera percona-dbaas-cli-paketet:

   sudo apt-get update
   sudo apt-get install percona-dbaas-cli

Konfigurera funktionaliteten för komponenterna

Mer information om inställningarna ). Ett typiskt exempel på användning:.

Först måste du logga in på ditt Google-konto. Google Cloud tillåter en användare att ha många oberoende projekt, så du måste ange det aktiva projektet med kod för det projektet:

gcloud auth login
gcloud config set project hidden-brace-236921

Därefter skapar vi en kluster. För demo har jag skapat en Kubernetes-kluster med endast tre noder – det är minimum som krävs för hög tillgänglighet:

gcloud container clusters create --zone us-central1-a your-cluster-name --cluster-version 1.15 --num-nodes=3

Nästa kubectl-kommando ger rätt privilegier till vår nuvarande användare:

kubectl create clusterrolebinding cluster-admin-binding-$USER 
--clusterrole=cluster-admin --user=$(gcloud config get-value core/account)

Sedan skapar vi ett namespace och markerar det som aktivt. Ett namespace är, grovt sagt, likt ett projekt eller en miljö, men inom Kubernetes-klustret. Det är oberoende av Google Cloud-projekt:

kubectl create namespace my-namespace
kubectl config set-context --current --namespace=my-namespace

Startar klustret

Efter att ha gått igenom dessa få steg kan vi starta klustret med tre noder med följande enkla kommando:

# percona-dbaas mysql create-db example
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     example
Resource Endpoint: example-proxysql.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              Nt9YZquajW7nfVXTTrP
Status:            ready

Hur man ansluter till klustret

Som standard är den endast tillgänglig inom Kubernetes. Det innebär att den inte är tillgänglig från den server där du körde kommandot 'Skapa'. För att den ska bli tillgänglig, till exempel för tester med klienten, måste du kartlägga porten genom Port Mapping:

kubectl port-forward svc/example-proxysql 3306:3306 $

Anslut sedan din MySQL-klient:

mysql -h 127.0.0.1 -P 3306 -uroot -pNt9YZquajW7nfVXTTrP

Avancerade kommandon för klusterhantering

Databas på offentlig IP

Om du vill ha en mer permanent lösning för tillgänglighet i klustret kan du få en extern IP-adress. I det fallet kommer databasen att vara tillgänglig från var som helst. Det är mindre säkert men ofta bekvämare. Använd följande kommando för att få en extern IP:

# percona-dbaas mysql create-db exposed 
--options="proxysql.serviceType=LoadBalancer"
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     exposed
Resource Endpoint: 104.154.133.197
Port:              3306
User:              root
Pass:              k0QVxTr8EVfgyCLYse
Status:            ready

To access database please run the following command:
mysql -h 104.154.133.197 -P 3306 -uroot -pk0QVxTr8EVfgyCLYse

Ange lösenordet explicit

Istället för att systemet randomiserar ett lösenord kan du ange ett lösenord uttryckligen:

# percona-dbaas mysql create-db withpw --password=mypassword
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     withpw
Resource Endpoint: withpw-proxysql.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              mypassword
Status:            ready

Jag visar skriptens utdata i läsbar form, men JSON-format stöds också.

Stäng av hög tillgänglighet

Med följande kommando kan du stänga av hög tillgänglighet för att installera en enskild nod:

# percona-dbaas mysql create-db singlenode 
--options="proxysql.enabled=false, allowUnsafeConfigurations=true,pxc.size=1"
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     singlenode
Resource Endpoint: singlenode-pxc.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              22VqFD96mvRnmPMGg
Status:            ready

Detta är en lösning för testuppgifter, för att snabbt och enkelt sätta upp MySQL, testa det och sedan avveckla eller använda det för utveckling.

Verktyget Percona DBaaS CLI hjälper till att få en lösning i Kubernetes liknande DBaaS. Vi fortsätter samtidigt att arbeta med dess funktionalitet och användbarhet.

Denna presentation hördes först på @Databases Meetup by Mail.ru Cloud Solutions&Tarantool. Se video andra föreläsningar och följ anmälningarna till evenemang på Telegram Runt Kubernetes i Mail.ru Group.

Vad mer att läsa om ämnet:

1. Databaser i moderna IIoT-plattformar.
2. Hur man väljer en databas för projektet så att man inte behöver välja om.

Källa: habr.com