프로덕션 환경에서 컨테이너 및 Kubernetes를 실행하기 위한 모범 사례 및 모범 사례

컨테이너화 기술 생태계는 빠르게 발전하고 변화하고 있기 때문에 이 분야에 대한 모범적인 업무 관행이 부족합니다. 그러나 레거시 애플리케이션 현대화와 최신 클라우드 애플리케이션 개발을 위해 Kubernetes와 컨테이너가 점점 더 많이 사용되고 있습니다. 

팀 Mail.ru의 Kubernetes aaS Gartner, 451 Research, StacxRoх 등의 시장 리더를 위한 예측, 조언 및 모범 사례를 수집했습니다. 이는 프로덕션 환경에서 컨테이너 배포를 활성화하고 가속화합니다.

회사가 프로덕션 환경에 컨테이너를 배포할 준비가 되었는지 확인하는 방법

가트너에 따르면, 2022년에는 조직의 75% 이상이 프로덕션에서 컨테이너화된 애플리케이션을 사용할 것입니다. 이는 기업의 30% 미만이 이러한 애플리케이션을 사용하는 현재보다 훨씬 더 많은 수치입니다. 

에 따르면 451 연구2022년 컨테이너 기술 애플리케이션 시장은 4,3억 달러로 예상되며 이는 2019년 예상 금액의 두 배 이상이며 시장 성장률은 30%입니다.

В Portworx 및 Aqua Security 설문조사 응답자의 87%는 현재 컨테이너 기술을 사용하고 있다고 답했습니다. 비교를 위해 2017년에는 그러한 응답자의 55%가 있었습니다. 

컨테이너에 대한 관심과 채택이 증가하고 있음에도 불구하고 이를 생산에 적용하려면 기술적 미성숙과 노하우 부족으로 인해 학습 곡선이 필요합니다. 조직은 애플리케이션 컨테이너화가 필요한 비즈니스 프로세스에 대해 현실적이어야 합니다. IT 리더는 빠른 학습 요구에 맞춰 앞으로 나아갈 수 있는 기술을 보유하고 있는지 평가해야 합니다. 

가트너 전문가 아래 이미지의 질문은 프로덕션에 컨테이너를 배포할 준비가 되었는지 판단하는 데 도움이 될 것입니다.

프로덕션 환경에서 컨테이너를 사용할 때 가장 흔히 저지르는 실수

조직에서는 프로덕션 환경에서 컨테이너를 운영하는 데 필요한 노력을 과소평가하는 경우가 많습니다. 가트너가 발견한 프로덕션 환경에서 컨테이너를 사용할 때 고객 시나리오에서 흔히 발생하는 몇 가지 실수는 다음과 같습니다.

컨테이너를 안전하게 유지하는 방법

보안은 "나중에" 다룰 수 없습니다. DevOps 프로세스에 구축되어야 하기 때문에 DevSecOps라는 특별한 용어도 있습니다. 조직은 계획을 세워야 합니다. 컨테이너 환경 보호 빌드 및 개발 프로세스, 애플리케이션 배포 및 실행을 포함하는 개발 수명주기 전반에 걸쳐

Gartner의 권장 사항: 

1. 애플리케이션 이미지의 취약점을 검색하는 프로세스를 CI/CD(지속적 통합/지속적 전달) 파이프라인에 통합합니다. 애플리케이션은 소프트웨어 빌드 및 실행 단계에서 검사됩니다. 오픈 소스 구성 요소, 라이브러리 및 프레임워크를 검사하고 식별해야 할 필요성을 강조합니다. 오래되고 취약한 버전을 사용하는 개발자는 컨테이너 취약점의 주요 원인 중 하나입니다.
2. Center for Internet Security 테스트를 통해 구성을 개선하세요(CIS)은 Docker와 Kubernetes 모두에서 사용할 수 있습니다.
3. 액세스 제어를 시행하고, 업무를 분리하고, 비밀 관리 정책을 구현해야 합니다. SSL(Secure Sockets Layer) 키 또는 데이터베이스 자격 증명과 같은 민감한 정보는 오케스트레이터 또는 타사 관리 서비스에 의해 암호화되어 런타임에 노출됩니다.
4. 잠재적인 위반 위험을 줄이기 위해 보안 정책을 관리하여 상승된 컨테이너를 피하세요.
5. 화이트리스트, 행동 모니터링, 이상 탐지 기능을 제공하는 보안 도구를 사용하여 악의적인 활동을 방지하세요.

StacxRox의 권장 사항:

1. Kubernetes에 내장된 기능을 활용하세요. 역할을 사용하여 사용자에 대한 액세스를 설정합니다. 필요한 최소 권한을 생각하는 데 시간이 걸릴 수 있더라도 개별 엔터티에 불필요한 권한을 부여하지 않도록 하세요. 초기에 시간을 절약할 수 있으므로 클러스터 관리자에게 광범위한 권한을 부여하고 싶을 수도 있습니다. 그러나 계정의 타협이나 실수는 나중에 엄청난 결과를 초래할 수 있습니다. 
2. 중복된 접근 권한을 피하세요. 때로는 서로 다른 역할을 중복하는 것이 유용할 수 있지만 이로 인해 운영 문제가 발생할 수 있으며 권한을 제거할 때 사각지대가 생길 수도 있습니다. 사용하지 않거나 비활성 역할을 제거하는 것도 중요합니다.
3. 네트워크 정책 설정: 모듈을 격리하여 액세스를 제한합니다. 태그를 사용하여 필요한 모듈에 대한 인터넷 액세스를 명시적으로 허용합니다. 서로 통신해야 하는 모듈 간의 통신을 명시적으로 허용합니다. 

컨테이너 및 서비스 모니터링을 구성하는 방법

보안 및 모니터링 - 기업의 주요 문제 Kubernetes 클러스터를 배포할 때. 개발자는 항상 측면보다는 자신이 개발하는 애플리케이션의 기능에 더 중점을 둡니다. 이러한 애플리케이션 모니터링. 

Gartner의 권장 사항:

1. 호스트 시스템 모니터링과 함께 컨테이너 또는 서비스의 상태를 모니터링해 보세요.
2. 컨테이너 오케스트레이션, 특히 Kubernetes와 긴밀하게 통합된 공급업체와 도구를 찾으세요.
3. 분석 및/또는 기계 학습을 사용하여 자세한 로깅, 자동 서비스 검색, 실시간 권장 사항을 제공하는 도구를 선택하세요.

SolarWinds 블로그에서는 다음과 같이 조언합니다.:

1. 도구를 사용하여 컨테이너 지표를 자동으로 검색 및 추적하고 CPU, 메모리, 가동 시간과 같은 성능 지표를 연관시킵니다.
2. 컨테이너 모니터링 지표를 기반으로 용량 고갈 날짜를 예측하여 최적의 용량 계획을 보장합니다.
3. 컨테이너화된 애플리케이션의 가용성 및 성능을 모니터링하여 용량 계획 및 성능 문제 해결에 유용합니다.
4. 컨테이너와 해당 호스팅 환경에 대한 관리 및 확장 지원을 제공하여 워크플로를 자동화합니다.
5. 액세스 제어를 자동화하여 사용자 기반을 모니터링하고, 오래된 계정과 게스트 계정을 비활성화하고, 불필요한 권한을 제거합니다.
6. 도구 세트가 여러 환경(클라우드, 온프레미스 또는 하이브리드)에서 이러한 컨테이너와 애플리케이션을 모니터링하여 인프라, 네트워크, 시스템 및 애플리케이션 전반의 성능을 시각화하고 벤치마킹할 수 있는지 확인하세요.

데이터를 저장하고 보안을 보장하는 방법

상태 저장 작업자 컨테이너가 증가함에 따라 클라이언트는 호스트 외부의 데이터 존재 여부와 해당 데이터를 보호해야 할 필요성을 고려해야 합니다. 

에 따르면 Portworx 및 Aqua Security 설문조사, 데이터 보안은 대다수의 응답자(61%)가 언급한 보안 문제 목록에서 XNUMX위를 차지했습니다. 

데이터 암호화가 주요 보안 전략(64%)이지만 응답자는 런타임 모니터링도 사용합니다.

(49%), 레지스트리의 취약점 스캔(49%), CI/CD 파이프라인의 취약점 스캔(49%), 런타임 보호를 통한 이상 징후 차단(48%)입니다.

Gartner의 권장 사항:

1. 원칙에 기반한 스토리지 솔루션 선택 마이크로서비스 아키텍처. 컨테이너 서비스에 대한 데이터 스토리지 요구 사항을 충족하고, 하드웨어 독립적이고, API 기반이며, 분산 아키텍처를 보유하고, 로컬 배포 및 퍼블릭 클라우드 배포를 지원하는 서비스에 집중하는 것이 좋습니다.
2. 독점 플러그인과 인터페이스를 피하세요. Kubernetes 통합을 제공하고 CSI(컨테이너 스토리지 인터페이스)와 같은 표준 인터페이스를 지원하는 공급업체를 선택하세요.

네트워크 작업 방법

IT 팀이 각 프로젝트에 대해 네트워크로 연결된 개발, 테스트, 품질 보증 및 생산 환경을 만드는 기존 엔터프라이즈 네트워크 모델은 지속적인 개발 워크플로우에 항상 적합하지는 않습니다. 또한 컨테이너 네트워크는 여러 계층에 걸쳐 있습니다.

В 블로그 Magalix 수집 클러스터 네트워크 솔루션 구현 시 준수해야 하는 상위 규칙은 다음과 같습니다.

1. 동일한 노드에 예약된 포드는 NAT(Network Address Translation)를 사용하지 않고 다른 포드와 통신할 수 있어야 합니다.
2. 특정 노드에서 실행되는 모든 시스템 데몬(kubelet과 같은 백그라운드 프로세스)은 동일한 노드에서 실행되는 Pod와 통신할 수 있습니다.
3. 다음을 사용하는 포드 호스트 네트워크, NAT를 사용하지 않고 다른 모든 노드의 다른 모든 포드와 통신할 수 있어야 합니다. 호스트 네트워킹은 Linux 호스트에서만 지원됩니다.

네트워킹 솔루션은 Kubernetes 기본 요소 및 정책과 긴밀하게 통합되어야 합니다. IT 리더는 높은 수준의 네트워크 자동화를 위해 노력하고 개발자에게 올바른 도구와 충분한 유연성을 제공해야 합니다.

Gartner의 권장 사항:

1. CaaS(서비스형 컨테이너) 또는 SDN(소프트웨어 정의 네트워크)이 Kubernetes 네트워크를 지원하는지 알아보세요. 그렇지 않거나 지원이 부족한 경우 필요한 기능과 정책을 지원하는 컨테이너용 CNI(컨테이너 네트워크 인터페이스) 네트워크 인터페이스를 사용하세요.
2. CaaS 또는 PaaS(서비스형 플랫폼)가 클러스터 노드 간에 수신 트래픽을 분산하는 수신 컨트롤러 및/또는 로드 밸런서 생성을 지원하는지 확인하세요. 이것이 옵션이 아닌 경우 타사 프록시 또는 서비스 메시를 사용해 보세요.
3. Linux 네트워크 및 네트워크 자동화 도구에 대해 네트워크 엔지니어를 교육하여 기술 격차를 줄이고 민첩성을 높이세요.

애플리케이션 수명주기를 관리하는 방법

자동화되고 원활한 애플리케이션 제공을 위해서는 IaC(Infrastructure as Code) 제품과 같은 다른 자동화 도구를 사용하여 컨테이너 오케스트레이션을 보완해야 합니다. 여기에는 Chef, Puppet, Ansible 및 Terraform이 포함됩니다. 

애플리케이션 구축 및 출시를 위한 자동화 도구도 필요합니다("애플리케이션 릴리스 오케스트레이션 부문 매직 쿼드런트"). 또한 컨테이너는 가상 머신(VM)을 배포할 때 사용할 수 있는 것과 유사한 확장성 기능을 제공합니다. 그러므로 IT 리더는 다음과 같은 사항을 갖추어야 합니다. 컨테이너 수명주기 관리 도구.

Gartner의 권장 사항:

1. 개발자가 구성 요소를 추가할 수 있는 크기, 라이선스 및 유연성을 기반으로 기본 컨테이너 이미지에 대한 표준을 설정합니다.
2. 구성 관리 시스템을 사용하여 공용 또는 개인 저장소에 있는 기본 이미지를 기반으로 구성을 계층화하는 컨테이너의 수명주기를 관리합니다.
3. CaaS 플랫폼을 자동화 도구와 통합하여 전체 애플리케이션 워크플로우를 자동화하세요.

오케스트레이터를 사용하여 컨테이너를 관리하는 방법

컨테이너 배포를 위한 핵심 기능은 오케스트레이션 및 계획 계층에서 제공됩니다. 예약하는 동안 컨테이너는 오케스트레이션 계층 요구 사항에 따라 클러스터에서 가장 최적의 호스트에 배치됩니다. 

Kubernetes는 활발한 커뮤니티에서 사실상의 컨테이너 오케스트레이션 표준이 되었으며 대부분의 주요 상용 공급업체에서 지원합니다. 

Gartner의 권장 사항:

1. 보안 제어, 모니터링, 정책 관리, 데이터 지속성, 네트워킹 및 컨테이너 수명주기 관리에 대한 기본 요구 사항을 정의합니다.
2. 이러한 요구 사항을 바탕으로 요구 사항과 사용 사례에 가장 적합한 도구를 선택하세요.
3. Gartner 연구를 활용하세요('Kubernetes 배포 모델을 선택하는 방법") 다양한 Kubernetes 배포 모델의 장단점을 이해하고 애플리케이션에 가장 적합한 모델을 선택하세요.
4. 긴밀한 백엔드 통합, 공통 관리 계획 및 일관된 가격 모델을 통해 여러 환경에서 작업 컨테이너에 대한 하이브리드 오케스트레이션을 제공할 수 있는 공급자를 선택하세요.

클라우드 공급자의 기능을 사용하는 방법

가트너는 믿는다기성 CaaS 제품의 가용성과 이러한 제품과 클라우드 공급자가 제공하는 다른 제품의 긴밀한 통합으로 인해 퍼블릭 클라우드 IaaS에 컨테이너를 배포하는 데 대한 관심이 높아지고 있습니다.

IaaS 클라우드는 온디맨드 리소스 소비, 빠른 확장성 및 서비스 관리, 이는 인프라 및 유지 관리에 대한 심층적인 지식이 필요하지 않도록 도와줍니다. 대부분의 클라우드 제공업체는 컨테이너 관리 서비스를 제공하고 일부는 여러 오케스트레이션 옵션을 제공합니다. 

주요 클라우드 관리 서비스 제공업체가 표에 나와 있습니다. 

클라우드 제공업체
서비스 종류
제품/서비스

Alibaba
네이티브 클라우드 서비스
Alibaba Cloud 컨테이너 서비스, Kubernetes용 Alibaba Cloud 컨테이너 서비스

Amazon Web Services (AWS)
네이티브 클라우드 서비스
Amazon Elastic Container Services(ECS), Amazon ECS for Kubernetes(EKS), AWS Fargate

거대 떼
MSP
Giant Swarm 관리형 Kubernetes 인프라

구글
네이티브 클라우드 서비스
Google 컨테이너 엔진(GKE)

IBM
네이티브 클라우드 서비스
IBM 클라우드 쿠버네티스 서비스

Microsoft
네이티브 클라우드 서비스
Azure Kubernetes 서비스, Azure 서비스 패브릭

신탁
네이티브 클라우드 서비스
Kubernetes용 OCI 컨테이너 엔진

Platform9
MSP
관리형 Kubernetes

레드햇
호스팅 서비스
OpenShift 전용 및 온라인

VM웨어
호스팅 서비스
클라우드 PKS(베타)

Mail.ru 클라우드 솔루션*
네이티브 클라우드 서비스
Mail.ru 클라우드 컨테이너

* 숨기지 않겠습니다. 번역하는 동안 여기에 자신을 추가했습니다 :)

퍼블릭 클라우드 제공업체도 새로운 기능을 추가하고 온프레미스 제품을 출시하고 있습니다. 가까운 미래에 클라우드 제공업체는 하이브리드 클라우드와 멀티 클라우드 환경에 대한 지원을 개발할 것입니다. 

가트너 권장사항:

1. 적절한 도구를 배포 및 관리하는 조직의 능력을 객관적으로 평가하고 대체 클라우드 컨테이너 관리 서비스를 고려하십시오.
2. 소프트웨어를 신중하게 선택하고 가능하면 오픈 소스를 사용하십시오.
3. 통합 클러스터의 단일 창 관리를 제공하는 하이브리드 환경에서 공통 운영 모델을 갖춘 공급자와 IaaS를 쉽게 자체 호스팅할 수 있게 해주는 공급자를 선택하세요.

Replex 블로그에서 Kubernetes aaS 공급자를 선택하기 위한 몇 가지 팁:

1. 즉시 고가용성을 지원하는 배포판을 찾아볼 가치가 있습니다. 여기에는 여러 주요 아키텍처, 고가용성 etcd 구성 요소, 백업 및 복구에 대한 지원이 포함됩니다.
2. Kubernetes 환경에서 이동성을 보장하려면 온프레미스부터 하이브리드, 멀티 클라우드까지 광범위한 배포 모델을 지원하는 클라우드 공급자를 선택하는 것이 가장 좋습니다. 
3. 또한 업데이트, 모니터링, 문제 해결은 물론 설정, 설치, 클러스터 생성의 용이성을 기준으로 공급자 제품을 평가해야 합니다. 기본 요구 사항은 가동 중지 시간 없이 완전히 자동화된 클러스터 업데이트를 지원하는 것입니다. 선택한 솔루션을 사용하면 업데이트를 수동으로 실행할 수도 있습니다. 
4. ID 및 액세스 관리는 보안 및 거버넌스 관점 모두에서 중요합니다. 선택한 Kubernetes 배포판이 내부적으로 사용하는 인증 및 권한 부여 도구와의 통합을 지원하는지 확인하세요. RBAC 및 세분화된 액세스 제어도 중요한 기능 세트입니다.
5. 선택한 배포판에는 다양한 애플리케이션 또는 인프라 요구 사항을 포괄하는 기본 소프트웨어 정의 네트워킹 솔루션이 있거나 Flannel, Calico, kube-router 또는 OVN을 포함하여 널리 사용되는 CNI 기반 네트워킹 구현 중 하나를 지원해야 합니다.

에 실시한 설문 조사 결과에서 알 수 있듯이 컨테이너를 생산에 도입하는 것이 주요 방향이되고 있습니다. 가트너 세션 2018년 XNUMX월 인프라, 운영 및 클라우드 전략(IOCS)에 대해:

보시다시피 응답자의 27%는 이미 업무에 컨테이너를 사용하고 있으며 63%는 그렇게 할 계획입니다.

В Portworx 및 Aqua Security 설문조사 응답자의 24%는 컨테이너 기술에 연간 17만 달러 이상을 투자했다고 밝혔으며, 응답자의 XNUMX%는 연간 XNUMX만 달러 이상을 지출했습니다. 

클라우드 플랫폼 팀이 준비한 기사 Mail.ru 클라우드 솔루션.

주제에 대해 더 읽을 내용:

1. DevOps 모범 사례: DORA 보고서.
2. 구현을 위한 템플릿을 갖춘 불법 복제 정신의 Kubernetes.
3. 쿠버네티스 배포 및 채택을 위한 25가지 유용한 도구.

출처 : habr.com