클라우드에서 Kubernetes 비용 절감을 위한 Kubecost 검토

현재 점점 더 많은 회사가 인프라를 하드웨어 서버와 자체 가상 머신에서 클라우드로 이전하고 있습니다. 이 솔루션은 설명하기 쉽습니다. 하드웨어에 대해 걱정할 필요가 없으며 클러스터는 다양한 방식으로 쉽게 구성됩니다. 그리고 가장 중요한 것은 기존 기술(예: Kubernetes)을 사용하면 부하에 따라 컴퓨팅 성능을 간단히 확장할 수 있다는 것입니다. .

재정적 측면은 항상 중요합니다. 이 문서에서 설명하는 도구는 Kubernetes와 함께 클라우드 인프라를 사용할 때 예산을 줄이는 데 도움이 되도록 설계되었습니다.

소개

큐브코스트 Google의 캘리포니아 스타트업으로, 클라우드 서비스(Kubernetes 클러스터 + 공유 리소스 내)의 인프라 비용을 계산하고 클러스터 설정에서 병목 현상을 검색하고 Slack에 적절한 알림을 보내는 솔루션을 만들고 있습니다.

우리는 친숙한 AWS 및 GCP 클라우드 모두에 Kubernetes를 사용하는 클라이언트를 보유하고 있으며 Linux 커뮤니티의 경우 드물지만 Azure(일반적으로 Kubecost가 지원하는 모든 플랫폼)에 클라이언트를 보유하고 있습니다. 그 중 일부에 대해서는 Kubecost에서 사용하는 것과 유사한 방법을 사용하여 클러스터 내 서비스 비용을 직접 계산하고 인프라 비용을 모니터링하여 최적화하려고 노력합니다. 따라서 우리가 그러한 작업을 자동화할 가능성에 관심이 있었던 것은 논리적입니다.

주요 Kubecost 모듈의 소스 코드는 오픈 소스 라이선스(Apache License 2.0) 조건에 따라 공개됩니다. 자유롭게 사용할 수 있으며 소규모 프로젝트에는 사용 가능한 기능이 충분해야 합니다. 그러나 비즈니스는 비즈니스입니다. 나머지 제품은 닫혀 있으므로 사용할 수 있습니다. 유료 구독, 이는 또한 상업적 지원을 의미합니다. 또한 저자는 소규모 클러스터(1개의 노드가 있는 10개의 클러스터 - 이 기사를 작성하는 동안 이 제한은 20개의 노드로 확장됨)에 대한 무료 라이센스 또는 1개월 동안 전체 기능을 갖춘 평가판 기간을 제공합니다.

작동 방식

그래서 Kubecost의 주요 부분은 애플리케이션입니다. 비용 모델, Go로 작성되었습니다. 전체 시스템을 설명하는 Helm 차트를 호출합니다. 비용 분석기 그 핵심에는 Prometheus, Grafana 및 여러 대시보드가 ​​포함된 비용 모델의 어셈블리가 있습니다.

일반적으로 비용 모델에는 비용 최적화를 위한 팁은 물론 비용에 대한 그래프와 자세한 통계를 표 형식으로 표시하는 자체 웹 인터페이스가 있습니다. Grafana에 제시된 대시보드는 Kubecost 개발의 초기 단계이며 비용 모델과 거의 동일한 데이터를 포함하고 클러스터 및 해당 구성 요소의 CPU/메모리/네트워크/디스크 공간 소비에 대한 일반적인 통계를 보완합니다. .

Kubecost는 어떻게 작동하나요?

• 비용 모델은 클라우드 공급자의 API를 통해 서비스 가격을 받습니다.
• 또한, 노드의 철 종류와 지역에 따라 노드당 비용이 계산됩니다.
• 노드 실행 비용을 기준으로 각 리프 포드는 실행 중인 노드나 스토리지 클래스에 따라 CPU 사용량 시간당, 소비된 메모리 기가바이트당, 저장된 데이터 기가바이트당 시간당 비용을 받습니다.
• 개별 포드 운영 비용을 기준으로 네임스페이스, 서비스, 배포, StatefulSet에 대한 요금이 계산됩니다.
• 통계는 kube-state-metrics 및 node-exporter에서 제공하는 측정항목을 사용하여 계산됩니다.

Kubecost를 고려하는 것이 중요합니다. 기본적으로 Kubernetes에서 사용 가능한 리소스만 계산합니다.. 클러스터에 없는 외부 데이터베이스, GitLab 서버, S3 스토리지 및 기타 서비스(동일한 클라우드에 있더라도)는 표시되지 않습니다. GCP와 AWS의 경우 서비스 계정의 키를 추가하고 모든 것을 함께 계산할 수 있습니다.

설치

Kubecost에는 다음이 필요합니다.

• Kubernetes 버전 1.8 이상
• kube-상태-메트릭;
• 프로메테우스;
• 노드 수출업자.

우리 클러스터에서는 이러한 모든 조건이 미리 충족되었으므로 Prometheus에 액세스하기 위한 올바른 엔드포인트를 지정하는 것만으로도 충분하다는 것이 밝혀졌습니다. 그러나 공식 kubecost Helm 차트에는 베어 클러스터에서 실행하는 데 필요한 모든 것이 포함되어 있습니다.

Kubecost를 설치하는 방법에는 여러 가지가 있습니다.

1. 표준 설치 방법은 다음에 설명되어 있습니다. 명령 개발자 웹사이트에서 필수 비용 분석기 저장소를 Helm에 추가한 다음 차트를 설치합니다.. 남은 것은 포트를 전달하고 수동으로(kubectl을 통해) 및/또는 비용 모델 웹 인터페이스를 사용하여 설정을 원하는 상태로 조정하는 것입니다.

   우리는 타사의 기성 구성을 사용하지 않기 때문에 이 방법을 시도조차 하지 않았지만 "직접 시도해 보세요"라는 좋은 옵션처럼 보입니다. 일부 시스템 구성 요소가 이미 설치되어 있거나 더 세부적인 조정을 원하는 경우 두 번째 경로를 고려하는 것이 좋습니다.

2. 본질적으로 사용 같은 차트하지만 직접 구성하고 설치하세요. 편리한 방법으로.

   이미 언급했듯이 kubecost 자체 외에도 이 차트에는 Grafana 및 Prometheus 차트가 포함되어 있으며 원하는 대로 사용자 정의할 수도 있습니다.

   차트에서 확인 가능 values.yaml 비용 분석기를 사용하면 다음을 구성할 수 있습니다.

   • 배포해야 하는 비용 분석기 구성 요소 목록
   • Prometheus의 엔드포인트(이미 있는 경우)
   • 비용 모델 및 Grafana에 대한 도메인 및 기타 수신 설정
   • 포드에 대한 주석;
   • 영구 저장소 사용의 필요성과 크기.

   설명과 함께 사용 가능한 구성 옵션의 전체 목록은 다음에서 확인할 수 있습니다. 선적 서류 비치.

   기본 버전의 kubecost는 액세스를 제한할 수 없으므로 웹 패널에 대한 기본 인증을 즉시 구성해야 합니다.

3. 설치 시스템 코어만 - 비용 모델. 이렇게 하려면 클러스터에 Prometheus를 설치하고 변수에 해당 주소 값을 지정해야 합니다. prometheusEndpoint 헬름을 위해. 그 후 - 신청 YAML 구성 세트 클러스터에서.

   이번에도 기본 인증을 사용하여 Ingress를 수동으로 추가해야 합니다. 마지막으로 비용 모델 지표를 수집하기 위한 섹션을 추가해야 합니다. extraScrapeConfigs Prometheus 구성에서:

   - job_name: kubecost
     honor_labels: true
     scrape_interval: 1m
     scrape_timeout: 10s
     metrics_path: /metrics
     scheme: http
     dns_sd_configs:
     - names:
       - <адрес вашего сервиса kubecost>
       type: 'A'
       port: 9003

우리는 무엇을 얻습니까?

전체 설치를 통해 우리는 대시보드 세트가 포함된 kubecost 및 Grafana 웹 패널을 마음대로 사용할 수 있습니다.

총 비용메인 화면에 표시되는 은 실제로 해당 월의 리소스 예상 비용을 보여줍니다. 이것 예측 가능한 현재 리소스 소비 수준에서 클러스터 사용 비용(월별)을 반영하는 가격입니다.

이 측정항목은 비용을 분석하고 최적화하는 데 더 적합합니다. kubecost에서 추상적인 XNUMX월의 총 비용을 살펴보는 것은 그리 편리하지 않습니다. 청구로 이동. 하지만 1/2/7/30/90일 동안의 비용을 네임스페이스, 라벨, Pod별로 분류하여 확인할 수 있으며, 청구에는 표시되지 않습니다.

말하기 라벨. 즉시 설정으로 이동하여 비용 그룹화를 위한 추가 범주로 사용될 라벨 이름을 설정해야 합니다.

어떤 라벨이든 걸 수 있습니다. 자체 라벨링 시스템이 이미 있는 경우 편리합니다.

또한 여기에서 비용 모델이 연결되는 API 엔드포인트의 주소를 변경하고, GCP에서 할인 크기를 조정하고, 측정을 위해 리소스 및 통화에 대한 자체 가격을 설정할 수 있습니다(어떤 이유로 이 기능은 총 비용에 영향을 미치지 않습니다).

Kubecost는 다양한 모습을 보여줄 수 있습니다. 클러스터의 문제 (그리고 위험이 있을 경우에도 경고합니다). 안타깝게도 이 옵션은 구성할 수 없으므로 개발자를 위한 환경이 있고 이를 사용하는 경우 다음과 같은 내용이 지속적으로 표시됩니다.

중요한 도구 - 클러스터 절감액. 포드의 활동(네트워크를 포함한 리소스 소비)을 측정하고 비용과 절약할 수 있는 비용도 계산합니다.

최적화 팁은 매우 명백해 보일 수 있지만, 경험상 아직 살펴봐야 할 부분이 있는 것으로 나타났습니다. 특히, 포드의 네트워크 활동이 모니터링되고(Kubecost는 비활성 노드에 주의할 것을 제안함), 요청된 메모리와 CPU 소비량을 비교하고, 클러스터 노드에서 사용하는 CPU(여러 노드를 하나로 축소 제안), 디스크 소비량도 비교합니다. 로드 및 수십 개의 추가 매개변수.

모든 최적화 문제와 마찬가지로 Kubecost 데이터를 기반으로 리소스를 최적화하려면 다음이 필요합니다. 조심스럽게 다루다. 예를 들어 Cluster Savings는 노드 삭제가 안전하다고 주장하면서 노드 삭제를 제안하지만 다른 노드에서는 사용할 수 없는 노드 선택기 및 노드에 배포된 Pod의 taint의 존재를 고려하지 않습니다. 그리고 일반적으로 제품 작성자조차도 최근 기사 (그런데 프로젝트 주제에 관심이있는 사람들에게는 매우 유용 할 수 있습니다.) 비용 최적화에 서두르지 말고 신중하게 문제에 접근하는 것이 좋습니다.

결과

몇 가지 프로젝트에서 kubecost를 한 달간 사용한 후, Kubernetes 클러스터에 사용되는 클라우드 제공업체의 서비스 비용을 분석하고 최적화하는 데 있어 흥미롭고 배우고 설치하기 쉬운 도구라는 결론을 내릴 수 있습니다. 계산은 매우 정확한 것으로 나타났습니다. 실험에서 계산은 공급자가 실제로 요구하는 것과 일치했습니다.

몇 가지 단점도 있습니다. 중요하지 않은 버그가 있고 일부 위치에서는 해당 기능이 일부 프로젝트에 특정한 요구 사항을 충족하지 못합니다. 그러나 클라우드 서비스 비용을 지속적으로 5~30% 줄이기 위해 돈이 어디로 가고 무엇을 "삭감"할 수 있는지 신속하게 파악해야 하는 경우(우리의 경우에 발생한 일입니다) 이는 훌륭한 선택입니다. .

PS

블로그에서도 읽어보세요.

• «Kubernetes의 자동 크기 조정 및 리소스 관리(개요 및 동영상 보고서)";
• «Kubernetes 모험 Dailymotion: 클라우드 + 온프레미스에서 인프라 구축";
• «Kubernetes 팁과 요령: 노드 할당 및 웹 애플리케이션 로드 정보".

출처 : habr.com