Kubernetes 클러스터에 데이터 저장

Kubernetes 클러스터에서 실행되는 애플리케이션에 대한 데이터 스토리지를 구성하는 방법에는 여러 가지가 있습니다. 그들 중 일부는 이미 구식이고 다른 일부는 아주 최근에 나타났습니다. 이 기사에서는 가장 최근의 옵션인 컨테이너 스토리지 인터페이스를 통한 연결을 포함하여 스토리지 시스템을 연결하는 세 가지 옵션의 개념을 살펴보겠습니다.

방법 1: 포드 매니페스트에서 PV 지정

Kubernetes 클러스터의 포드를 설명하는 일반적인 매니페스트:

연결된 볼륨과 위치를 설명하는 매니페스트 부분은 색상으로 강조 표시됩니다.

섹션에서 볼륨마운트 마운트 지점(mountPath)을 나타냅니다. - 영구 볼륨이 마운트될 컨테이너 내부의 디렉터리와 볼륨 이름을 나타냅니다.

섹션에서 x 포드에서 사용되는 모든 볼륨을 나열합니다. 각 볼륨의 이름과 유형(이 경우: awsElasticBlockStore) 및 연결 매개변수를 지정합니다. 매니페스트에 나열되는 매개변수는 볼륨 유형에 따라 다릅니다.

동일한 볼륨을 여러 포드 컨테이너에 동시에 마운트할 수 있습니다. 이렇게 하면 서로 다른 애플리케이션 프로세스가 동일한 데이터에 액세스할 수 있습니다.

이 연결 방법은 Kubernetes가 초기 단계에 있던 맨 처음에 발명되었으며 현재는 이 방법이 구식입니다.

사용할 때 몇 가지 문제가 있습니다.

1. 모든 볼륨은 수동으로 생성되어야 하며 Kubernetes는 우리를 위해 아무것도 생성할 수 없습니다.
2. 각 볼륨에 대한 액세스 매개변수는 고유하며 해당 볼륨을 사용하는 모든 포드의 매니페스트에 지정되어야 합니다.
3. 스토리지 시스템을 변경하려면(예: AWS에서 Google Cloud로 이동) 모든 매니페스트에서 마운트된 볼륨의 설정과 유형을 변경해야 합니다.

이 모든 것은 매우 불편하므로 실제로 이 방법은 configMap, secret,emptyDir,hostPath와 같은 일부 특별한 유형의 볼륨을 연결하는 데 사용됩니다.

• configMap 및 secret은 컨테이너의 Kubernetes 매니페스트 파일로 볼륨을 생성할 수 있는 서비스 볼륨입니다.

• emptyDir은 Pod의 수명 동안만 생성되는 임시 볼륨입니다. 임시 데이터를 테스트하거나 저장하는 데 사용하기 편리합니다. Pod가 삭제되면 emptyDir 볼륨도 삭제되고 모든 데이터가 손실됩니다.

• hostPath - /etc/kubernetes를 포함하여 애플리케이션이 있는 컨테이너 내부에서 애플리케이션이 실행되는 서버의 로컬 디스크에 있는 모든 디렉터리를 마운트할 수 있습니다. 이는 안전하지 않은 기능이므로 보안 정책에서는 일반적으로 이 유형의 볼륨 사용을 금지합니다. 그렇지 않으면 공격자의 애플리케이션이 컨테이너 내부에 HTC Kubernetes 디렉터리를 탑재하고 모든 클러스터 인증서를 훔칠 수 있습니다. 일반적으로 HostPath 볼륨은 kube-system 네임스페이스에서 실행되는 시스템 애플리케이션에서만 사용할 수 있습니다.

Kubernetes가 즉시 사용 가능한 스토리지 시스템 문서에 나와 있습니다.

방법 2. SC/PVC/PV 노에 연결

대체 연결 방법으로는 Storage 클래스, PertantVolumeClaim, PertantVolume 개념이 있습니다.

스토리지 클래스 데이터 저장 시스템에 대한 연결 매개변수를 저장합니다.

영구 볼륨 청구 애플리케이션에 필요한 요구사항을 설명합니다.
영구 볼륨 액세스 매개변수와 볼륨 상태를 저장합니다.

아이디어의 핵심: 포드 매니페스트에서 PertantVolumeClaim 유형의 볼륨을 나타내고 ClaimName 매개변수에 이 엔터티의 이름을 나타냅니다.

PertantVolumeClaim 매니페스트는 애플리케이션에 필요한 데이터 볼륨에 대한 요구 사항을 설명합니다. 포함:

• 디스크 크기;
• 액세스 방법: ReadWriteOnce 또는 ReadWriteMany;
• 스토리지 클래스에 대한 링크 - 볼륨을 생성하려는 데이터 스토리지 시스템입니다.

스토리지 클래스 매니페스트는 스토리지 시스템에 대한 연결 유형과 매개변수를 저장합니다. 큐브렛은 노드에 볼륨을 마운트하기 위해 필요합니다.

PertantVolume 매니페스트는 특정 볼륨(볼륨 ID, 경로 등)에 대한 스토리지 클래스 및 액세스 매개변수를 나타냅니다.

PVC를 생성할 때 Kubernetes는 필요한 볼륨 크기와 필요한 스토리지 클래스를 살펴보고 무료 PertantVolume을 선택합니다.

이러한 PV를 사용할 수 없는 경우 Kubernetes는 특별 프로그램인 프로비저너(해당 이름은 스토리지 클래스에 표시됨)를 시작할 수 있습니다. 이 프로그램은 스토리지 시스템에 연결하고, 필요한 크기의 볼륨을 생성하고, 식별자를 수신하고, PertantVolumeClaim과 연결된 Kubernetes 클러스터에 PertantVolume 매니페스트를 생성합니다.

이 모든 추상화 세트를 사용하면 애플리케이션이 어떤 스토리지 시스템에서 작동하는지에 대한 정보를 애플리케이션 매니페스트 수준에서 관리 수준으로 제거할 수 있습니다.

데이터 스토리지 시스템에 연결하기 위한 모든 매개변수는 클러스터 관리자가 담당하는 스토리지 클래스에 있습니다. AWS에서 Google Cloud로 이동할 때 해야 할 일은 애플리케이션 매니페스트에서 스토리지 클래스의 이름을 PVC로 변경하는 것뿐입니다. 데이터 저장을 위한 Persistance Volume은 Provisioner 프로그램을 사용하여 클러스터에 자동으로 생성됩니다.

방법 3. 컨테이너 스토리지 인터페이스

다양한 스토리지 시스템과 상호작용하는 모든 코드는 Kubernetes 코어의 일부입니다. 버그 수정 또는 새로운 기능의 릴리스는 새 릴리스와 연결되어 있으므로 지원되는 모든 Kubernetes 버전에 대해 코드를 변경해야 합니다. 이 모든 것은 새로운 기능을 유지하고 추가하기가 어렵습니다.

문제를 해결하기 위해 Cloud Foundry, Kubernetes, Mesos 및 Docker의 개발자는 컨테이너 관리 시스템과 특정 드라이버(CSI 드라이버)의 상호 작용을 설명하는 간단한 통합 인터페이스인 CSI(컨테이너 스토리지 인터페이스)를 만들었습니다. 저장 시스템. 스토리지 시스템과의 상호 작용을 위한 모든 코드는 Kubernetes 코어에서 별도의 시스템으로 이동되었습니다.

컨테이너 스토리지 인터페이스 문서.

일반적으로 CSI 드라이버는 노드 플러그인과 컨트롤러 플러그인의 두 가지 구성 요소로 구성됩니다.

노드 플러그인은 각 노드에서 실행되며 볼륨 마운트 및 작업 수행을 담당합니다. 컨트롤러 플러그인은 스토리지 시스템과 상호 작용합니다. 즉, 볼륨 생성 또는 삭제, 액세스 권한 할당 등을 수행합니다.

현재는 이전 드라이버가 Kubernetes 커널에 남아 있지만 더 이상 사용이 권장되지 않으며 모든 사람이 작업할 시스템에 맞게 CSI 드라이버를 특별히 설치하는 것이 좋습니다.

Storage 클래스를 통해 데이터 스토리지를 설정하는 데 이미 익숙한 사람들은 혁신으로 인해 겁을 먹을 수도 있지만 실제로는 끔찍한 일이 발생하지 않았습니다. 프로그래머에게는 실제로 변경되는 사항이 없습니다. 그들은 Storage 클래스라는 이름으로만 작업했으며 앞으로도 계속 그렇게 할 것입니다. 관리자를 위한 헬름 차트 설치 기능이 추가되고 설정 구조가 변경되었습니다. 이전에 설정이 스토리지 클래스에 직접 입력된 경우 이제는 먼저 helm 차트에서 설정한 다음 스토리지 클래스에서 설정해야 합니다. 따져보면 나쁜 일은 없었습니다.

CSI 드라이버를 사용하여 Ceph 스토리지 시스템을 연결하도록 전환하면 얻을 수 있는 이점을 살펴보는 예를 들어 보겠습니다.

Ceph로 작업할 때 CSI 플러그인은 내장 드라이버보다 스토리지 시스템 작업에 더 많은 옵션을 제공합니다.

1. 동적 디스크 생성. 일반적으로 RBD 디스크는 RWO 모드에서만 사용되지만 CSI for Ceph에서는 RWX 모드에서도 사용할 수 있습니다. 서로 다른 노드에 있는 여러 포드는 해당 노드에 동일한 RDB 디스크를 마운트하고 병렬로 작업할 수 있습니다. 공평하게 말하면 모든 것이 그렇게 밝지는 않습니다. 이 디스크는 블록 장치로만 연결할 수 있습니다. 즉, 다중 액세스 모드에서 작동하도록 응용 프로그램을 조정해야 합니다.
2. 스냅샷을 생성합니다. Kubernetes 클러스터에서는 스냅샷 생성 요구 사항이 포함된 매니페스트를 생성할 수 있습니다. CSI 플러그인은 이를 확인하고 디스크에서 스냅샷을 찍습니다. 이를 기반으로 PersistantVolume의 백업이나 복사본을 만들 수 있습니다.
3. 디스크 크기 늘리기 Kubernetes 클러스터의 스토리지 및 PertantVolume에 대해 설명합니다.
4. 할당량. Kubernetes에 내장된 CephFS 드라이버는 할당량을 지원하지 않지만 최신 Ceph Nautilus가 포함된 새로운 CSI 플러그인은 CephFS 파티션에서 할당량을 활성화할 수 있습니다.
5. 미터법. CSI 플러그인은 어떤 볼륨이 연결되어 있는지, 어떤 통신이 발생하는지 등에 대한 다양한 측정항목을 Prometheus에 제공할 수 있습니다.
6. 토폴로지를 인식합니다. 클러스터가 지리적으로 분산되는 방식을 매니페스트에 지정하고 암스테르담에 있는 스토리지 시스템을 런던에서 실행 중인 포드에 연결하지 않도록 할 수 있습니다.

CSI를 통해 Ceph를 Kubernetes 클러스터에 연결하는 방법은 다음을 참조하세요. Slurm 저녁 학교 강의의 실제 부분에서. 다음을 구독할 수도 있습니다. Ceph 비디오 코스, 15월 XNUMX일에 출시됩니다.

기사 작성자: Sergey Bondarev, Southbridge의 실무 설계자, 공인 Kubernetes 관리자, kubespray 개발자 중 한 명.

광고를 위한 것이 아니라 이익을 위한 작은 포스트 스크립트입니다...

PS Sergey Bondarev는 두 가지 집중 과정을 진행합니다. 업데이트됨 쿠버네티스 베이스 28월 30~XNUMX일 및 고급 쿠버네티스 메가 14월 16~XNUMX일.

출처 : habr.com