DBaaS를 대체할 수 있는 Kubernetes를 사용하여 하이브리드 클라우드를 구축하는 방법

제 이름은 Petr Zaitsev이고 CEO이자 창립자입니다. 퍼 코나 그리고 나는 당신에게 이렇게 말하고 싶습니다:

• 오픈 소스 솔루션에서 서비스형 데이터베이스(Database as a Service)로 전환한 과정
• 클라우드에 데이터베이스를 배포하는 데 어떤 접근 방식이 있습니까?
• Kubernetes가 DBaaS를 대체하여 공급업체 종속성을 제거하고 서비스형 DBMS의 단순성을 유지하는 방법입니다.

이 기사는 Mail.ru Cloud Solutions & Tarantool의 @Databases Meetup 보고서를 기반으로 작성되었습니다. 읽고 싶지 않다면 다음을 시청하세요.

오픈 소스에서 클라우드의 서비스로서의 데이터베이스로 전환한 방법

저는 90년대 후반부터 오픈소스 작업을 해왔습니다. XNUMX년 전만 해도 데이터베이스 등 오픈소스를 활용하는 것은 그리 쉬운 일이 아니었습니다. 소스 코드를 다운로드하고, 패치하고, 컴파일한 후에만 사용하면 되었습니다.

오픈 소스는 일련의 단순화를 거쳤습니다.

• 컴파일해야 하는 Tar.gz 및 INSTALL 소스;
• .deb 및 .rpm과 같은 종속성이 있는 패키지(패키지 세트만 설치하면 됨)
• 자동으로 설치되는 APT 및 YUM과 같은 패키지 저장소
• Docker, Snap과 같은 솔루션을 사용하면 외부 종속성 없이 설치만으로 패키지를 받을 수 있습니다.

결과적으로, 오픈 소스 소프트웨어를 사용하는 것이 더 쉬워지고 이러한 애플리케이션 개발에 대한 진입 장벽도 낮아집니다.

동시에, 모두가 어셈블리 전문가였던 20년 전의 상황과 달리 지금은 대부분의 개발자가 사용하는 도구를 소스에서 빌드할 수 없습니다.

사실 이것은 나쁘지 않습니다. 왜냐하면:

1. 우리는 더 복잡하지만 더 사용자 친화적인 소프트웨어를 사용할 수 있습니다. 예를 들어, 브라우저는 사용하기 편리하지만 오픈 소스 구성 요소가 많이 포함되어 있어 처음부터 구축하기가 불편합니다.
2. 더 많은 사람들이 오픈 소스 및 기타 소프트웨어의 개발자가 될 수 있고 기업에서는 더 많은 소프트웨어를 사용하며 이에 대한 필요성도 더 커집니다.

단점은 단순화의 다음 단계가 클라우드 솔루션 사용과 관련되어 있으며 이로 인해 특정 공급업체 종속, 즉 하나의 공급업체에 구속된다는 것입니다. 우리는 간단한 솔루션을 사용하고 공급자는 오픈 소스 구성 요소를 사용하지만 실제로는 대규모 클라우드 중 하나에 고정되어 있습니다. 즉, 오픈 소스(및 이와 호환되는 소프트웨어)를 배포하는 가장 쉽고 빠른 방법은 독점 API를 사용하여 클라우드에 있는 것입니다.

클라우드의 데이터베이스에는 두 가지 접근 방식이 있습니다.

1. 일반 데이터 센터에서와 같이 데이터베이스 인프라를 조립합니다. 즉, 표준 빌딩 블록(컴퓨팅, 스토리지 등)을 가져와 여기에 Linux와 데이터베이스를 설치하고 구성합니다.
2. 공급자가 클라우드 내에서 미리 만들어진 데이터베이스를 제공하는 서비스형 데이터베이스를 사용하세요.

DBaaS는 개발자가 데이터베이스를 직접 사용하고 일상적인 작업을 최소화할 수 있기 때문에 현재 빠르게 성장하는 시장입니다. 공급자는 고가용성과 손쉬운 확장, 데이터베이스 패치, 백업 및 성능 튜닝을 보장합니다.

오픈 소스 기반의 두 가지 유형의 Database as a Service와 Kubernetes 형태의 대안

개방형 데이터베이스에는 두 가지 유형의 Database as a Service가 있습니다.

1. 쉬운 배포 및 관리를 위해 관리 백엔드에 패키지된 표준 오픈 소스 제품입니다.
2. 오픈 소스와 호환되는 다양한 추가 기능을 갖춘 고급 상용 솔루션입니다.

두 옵션 모두 클라우드 간 마이그레이션 가능성을 줄이고 데이터 및 애플리케이션의 이동성을 감소시킵니다. 예를 들어, 다양한 유형의 클라우드가 본질적으로 동일한 표준 MySQL을 지원한다는 사실에도 불구하고 운영, 성능, 백업 등에서 클라우드 간에는 상당한 차이가 있습니다. 한 클라우드에서 다른 클라우드로 마이그레이션하는 것은 어려울 수 있으며, 특히 복잡한 애플리케이션의 경우 더욱 그렇습니다.

그리고 여기에서 질문이 생깁니다. Database as a Service의 편리함을 얻는 것이 가능하지만 단순한 오픈 소스 솔루션으로도 가능합니까?

나쁜 소식은 안타깝게도 아직 시장에 그러한 솔루션이 없다는 것입니다. 좋은 소식은 이러한 솔루션을 구현할 수 있는 Kubernetes가 있다는 것입니다.

Kubernetes는 단일 호스트가 아닌 클러스터의 여러 서버에 애플리케이션을 배포하고 관리할 수 있는 클라우드 또는 데이터 센터용 운영 체제입니다.

이제 Kubernetes는 이러한 소프트웨어 분야의 선두주자입니다. 이러한 문제에 대한 해결 방법은 다양했지만 이것이 표준이 되었습니다. 대체 솔루션에 중점을 두었던 많은 회사가 이제는 Kubernetes를 지원하도록 제품을 조정하는 데 주력하고 있습니다.

또한 Kubernetes는 AWS, Google Cloud, Microsoft Azure, Mail.ru 클라우드 솔루션.

Kubernetes가 데이터베이스와 작동하는 방식

Kubernetes는 원래 마이크로서비스나 웹 애플리케이션과 같이 데이터를 처리하지만 아무것도 저장하지 않는 상태 비저장 애플리케이션용으로 설계되었습니다. 데이터베이스는 스펙트럼의 반대편에 있습니다. 즉, 상태 저장 애플리케이션입니다. 그리고 Kubernetes는 원래 그러한 애플리케이션을 위한 것이 아니었습니다.

그러나 최근 Kubernetes에 데이터베이스 및 기타 상태 저장 애플리케이션을 사용할 수 있는 기능이 등장했습니다.

1. StatefulSet 개념은 Pod 작업 중지 및 Graceful Shutdown(예측 가능한 애플리케이션 종료) 구현에 대한 이벤트 처리를 위한 일련의 기본 요소입니다.
2. 영구 볼륨은 Kubernetes 관리 개체인 Pod와 연결된 데이터 저장소입니다.
3. 운영자 프레임워크 - 즉, 여러 노드에 분산된 데이터베이스 및 기타 상태 저장 애플리케이션을 관리하기 위한 구성 요소를 생성하는 기능입니다.

이미 퍼블릭 클라우드에는 CockroachCloud, InfluxDB, PlanetScale과 같은 Kubernetes가 백엔드인 대규모 Databases as a Service가 있습니다. 즉, Kubernetes의 데이터베이스는 이론적으로 가능할 뿐만 아니라 실제로 작동하는 것이기도 합니다.

Percona에는 Kubernetes를 위한 두 가지 오픈 소스 솔루션이 있습니다.

1. MongoDB용 Percona Server의 Kubernetes 연산자입니다.
2. XtraDB CLUSTER용 Kubernetes Operator는 MySQL과 호환되며 고가용성과 일관성을 제공하는 서비스입니다. 예를 들어 개발 데이터베이스의 경우 고가용성이 필요하지 않은 경우 단일 노드를 사용할 수도 있습니다.

Kubernetes 사용자는 두 그룹으로 나눌 수 있습니다. 어떤 사람들은 Kubernetes Operator를 직접 사용합니다. 이들은 주로 기술 작동 방식을 잘 이해하고 있는 고급 사용자입니다. 다른 사람들은 이를 백엔드에서 실행합니다. 이러한 사용자는 서비스로서의 데이터베이스(Database as a Service)와 같은 것에 관심이 있지만 Kubernetes의 미묘한 차이를 탐구하고 싶지 않습니다. 두 번째 사용자 그룹을 위해 또 다른 오픈 소스 솔루션인 Percona DBaaS CLI 도구가 있습니다. 기술에 대한 깊은 이해 없이 Kubernetes 기반의 오픈소스 DBaaS를 구하려는 사람들을 위한 실험적인 솔루션입니다.

Google Kubernetes Engine에서 Percona의 DBaaS를 실행하는 방법

제 생각에는 Google Kubernetes Engine은 Kubernetes 기술을 가장 기능적으로 구현한 것 중 하나입니다. 세계 여러 지역에서 사용할 수 있으며 플랫폼을 수동으로 관리하는 대신 스크립트를 생성할 수 있는 간단하고 편리한 명령줄 도구(SDK)가 있습니다.

DBaaS가 작동하려면 다음 구성 요소가 필요합니다.

1. Kubectl.
2. 구글 클라우드 SDK.
3. Percona DBaaS CLI.

kubectl 설치

운영 체제에 맞는 패키지를 설치하고 Ubuntu의 예를 살펴보겠습니다. 자세한 내용은 여기에.

sudo apt-get update && sudo apt-get install -y apt-transport-https gnupg2
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubectl

구글 클라우드 SDK 설치

같은 방식으로 소프트웨어 패키지를 설치합니다. 자세한 내용은 여기에.

# Add the Cloud SDK distribution URI as a package source
echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] 
http://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list

# Import the Google Cloud Platform public key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key --keyring /usr/share/keyrings/cloud.google.gpg add -

# Update the package list and install the Cloud SDK
sudo apt-get update && sudo apt-get install google-cloud-sdk

Percona DBaaS CLI 설치

Percona 저장소에서 설치합니다. Percona DBaaS CLI 도구는 아직 실험적인 제품이므로 Percona 리포지토리가 이미 설치되어 있는 경우에도 별도로 활성화해야 하는 실험적 리포지토리에 있습니다.

더 여기에.

설치 알고리즘:

1. percona-release 도구를 사용하여 Percona 저장소를 설정하세요. 먼저 Percona에서 공식 percona 릴리스 패키지를 다운로드하여 설치해야 합니다.

   wget https://repo.percona.com/apt/percona-release_latest.generic_all.deb
   sudo dpkg -i percona-release_latest.generic_all.deb

2. 다음과 같이 실험 도구 저장소 구성 요소를 활성화합니다.

   sudo percona-release enable tools experimental
   

3. percona-dbaas-cli 패키지를 설치합니다.

   sudo apt-get update
   sudo apt-get install percona-dbaas-cli

구성요소 작동 설정

설정에 대해 자세히 알아보기 여기에.

먼저 Google 계정에 로그인해야 합니다. 또한 Google Cloud에서는 한 명의 사용자가 여러 개의 독립적인 프로젝트를 가질 수 있으므로 이 프로젝트의 코드를 사용하여 작업 프로젝트를 지정해야 합니다.

gcloud auth login
gcloud config set project hidden-brace-236921

다음으로 클러스터를 생성합니다. 데모를 위해 저는 단 XNUMX개의 노드로 구성된 Kubernetes 클러스터를 만들었습니다. 이는 고가용성을 위해 필요한 최소 노드입니다.

gcloud container clusters create --zone us-central1-a your-cluster-name --cluster-version 1.15 --num-nodes=3

다음 kubectl 명령은 현재 사용자에게 원하는 권한을 제공합니다.

kubectl create clusterrolebinding cluster-admin-binding-$USER 
--clusterrole=cluster-admin --user=$(gcloud config get-value core/account)

그런 다음 네임스페이스를 생성하고 활성화합니다. 네임스페이스는 대략적으로 말하면 프로젝트나 환경과 비슷하지만 이미 Kubernetes 클러스터 내에 있습니다. Google Cloud 프로젝트와는 독립적입니다.

kubectl create namespace my-namespace
kubectl config set-context --current --namespace=my-namespace

클러스터 시작

이러한 몇 가지 단계를 거친 후에는 다음과 같은 간단한 명령을 사용하여 XNUMX노드 클러스터를 시작할 수 있습니다.

# percona-dbaas mysql create-db example
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     example
Resource Endpoint: example-proxysql.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              Nt9YZquajW7nfVXTTrP
Status:            ready

클러스터에 연결하는 방법

기본적으로 Kubernetes 내부에서만 사용할 수 있습니다. 즉, "Create" 명령을 실행한 이 서버에서는 액세스할 수 없습니다. 예를 들어 클라이언트 테스트에 사용할 수 있게 하려면 포트 매핑을 통해 포트를 전달해야 합니다.

kubectl port-forward svc/example-proxysql 3306:3306 $

그런 다음 MySQL 클라이언트를 연결합니다.

mysql -h 127.0.0.1 -P 3306 -uroot -pNt9YZquajW7nfVXTTrP

고급 클러스터 관리 명령

공개 IP의 데이터베이스

클러스터 가용성을 위한 보다 영구적인 솔루션을 원하는 경우 외부 IP 주소를 얻을 수 있습니다. 이 경우 데이터베이스는 어디에서나 액세스할 수 있습니다. 이는 덜 안전하지만 종종 더 편리합니다. 외부 IP의 경우 다음 명령을 사용합니다.

# percona-dbaas mysql create-db exposed 
--options="proxysql.serviceType=LoadBalancer"
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     exposed
Resource Endpoint: 104.154.133.197
Port:              3306
User:              root
Pass:              k0QVxTr8EVfgyCLYse
Status:            ready

To access database please run the following command:
mysql -h 104.154.133.197 -P 3306 -uroot -pk0QVxTr8EVfgyCLYse

비밀번호를 명시적으로 설정하세요.

시스템이 무작위로 비밀번호를 생성하는 대신 비밀번호를 명시적으로 설정할 수 있습니다.

# percona-dbaas mysql create-db withpw --password=mypassword
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     withpw
Resource Endpoint: withpw-proxysql.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              mypassword
Status:            ready

사람이 읽을 수 있는 형식으로 스크립트 출력을 표시하고 있지만 JSON 형식도 지원됩니다.

고가용성 끄기

다음 명령을 사용하면 고가용성을 비활성화하여 단일 노드를 배포할 수 있습니다.

# percona-dbaas mysql create-db singlenode 
--options="proxysql.enabled=false, allowUnsafeConfigurations=true,pxc.size=1"
Starting ......................................... [done]
Database started successfully, connection details are below:
Provider:          k8s
Engine:            pxc
Resource Name:     singlenode
Resource Endpoint: singlenode-pxc.my-namespace.pxc.svc.local
Port:              3306
User:              root
Pass:              22VqFD96mvRnmPMGg
Status:            ready

이는 MySQL을 가능한 한 빠르고 쉽게 시작 및 실행하고 테스트한 다음 종료하거나 개발에 사용하기 위한 테스트 작업을 위한 솔루션입니다.

Percona DBaaS CLI 도구는 Kubernetes에서 DBaaS와 유사한 솔루션을 구현하는 데 도움이 됩니다. 동시에 우리는 기능과 유용성을 높이기 위해 계속 노력하고 있습니다.

이 보고서는 에서 처음 발표되었습니다. @데이터베이스 모임 Mail.ru Cloud Solutions&Tarantool 제공. 바라보다 비디오 기타 공연 및 텔레그램 이벤트 공지사항 구독 Mail.ru 그룹의 Kubernetes 관련.

주제에 대해 읽을 내용:

1. 최신 IIoT 플랫폼의 데이터베이스.
2. 다시 선택할 필요가 없도록 프로젝트에 대한 데이터베이스를 선택하는 방법.

출처 : habr.com