Yandex.Cloud 向け Kubernetes CCM (クラウド コントローラー マネージャー) の紹介

最近に引き続き CSIドライバーのリリース Yandex.Cloud については、このクラウド用に別のオープンソース プロジェクトを公開しています - クラウドコントローラーマネージャー。 CCM は、クラスター全体だけでなく、CSI ドライバー自体にも必要です。 その目的といくつかの実装機能の詳細はまだ明らかにされていません。

導入

これはなぜですか？

Yandex.Cloud 用の CCM を開発する動機は、すでに説明したものと完全に一致します。 発表 CSIドライバー。 当社はさまざまなクラウド プロバイダーからの多数の Kubernetes クラスターを維持しており、それらに対して単一のツールを使用しています。 これらのプロバイダーのマネージド ソリューションを「バイパス」して、多数の便利な機能を実装します。 はい、かなり特殊なケースとニーズがありますが、それらによって作成された開発は他のユーザーにとって役立つ可能性があります。

CCMとは一体何なのでしょうか？

通常、私たちはクラスターのために周囲の環境を準備します。 外から - たとえば、Terraform を使用します。 しかし、場合によっては、周囲のクラウド環境を管理する必要がある場合があります。 クラスターから。 この可能性が提供され、それが実装されます CCM.

具体的には、Cloud Controller Manager は、次の XNUMX つの主要なタイプの対話を提供します。

1. インスタンス – Kubernetes のノード オブジェクト間の 1:1 関係を実装します (Node) とクラウドプロバイダーの仮想マシン。 このために、私たちは次のことを行います。
   • フィールドに記入してください spec.providerID オブジェクトの中で Node。 たとえば、OpenStack CCM の場合、このフィールドの形式は次のとおりです。 openstack:///d58a78bf-21b0-4682-9dc6-2132406d2bb0。 クラウドプロバイダーの名前と、オブジェクトのサーバー (OpenStack の仮想マシン) の一意の UUID を確認できます。
   • 補体 nodeInfo オブジェクトの中で Node 仮想マシンに関する情報。 たとえば、AWS ではインスタンス タイプを指定します。
   • クラウド内の仮想マシンの存在を確認します。 たとえば、オブジェクトの場合、 Node 状態になった NotReady、仮想マシンがクラウドプロバイダーに存在するかどうかを確認するには、次のようにします。 providerID。 そこに存在しない場合は、オブジェクトを削除します Node、そうでなければ、クラスター内に永久に残ります。
2. ゾーン – オブジェクトの障害ドメインを設定します Node、スケジューラがクラウド プロバイダーのリージョンとゾーンに従ってポッドのノードを選択できるようにします。
3. ロードバランサー – オブジェクトを作成するとき Service タイプ付き LoadBalancer 外部からのトラフィックをクラスター ノードに転送する一種のバランサーを作成します。 たとえば、Yandex.Cloud では次のように使用できます。 NetworkLoadBalancer и TargetGroup これらの目的のため;
4. ルート – ノード間にネットワークを構築します。 Kubernetes の要件に従って、各ポッドは独自の IP アドレスを持ち、他のポッドに到達できる必要があります。 これらの目的のために、オーバーレイ ネットワーク (VXLAN、GENEVE) を使用するか、クラウド プロバイダーの仮想ネットワークにルーティング テーブルを直接設定できます。

   

5. 音量 – PVC と SC を使用して PV を動的に順序付けできます。 当初、この機能は CCM の一部でしたが、非常に複雑なため、別のプロジェクトである Container Storage Interface (CSI) に移動されました。 私たちはCSIについて何度も話してきました писали そして、すでに述べたように、 リリース CSIドライバー。

以前は、クラウドと対話するすべてのコードは、次の場所にある Kubernetes プロジェクトのメイン Git リポジトリにありました。 k8s.io/kubernetes/pkg/cloudprovider/providersしかし、大規模なコードベースを扱うのは不便であるため、これを放棄することにしました。 古い実装はすべて次の場所に移動されました。 別のリポジトリ。 さらなるサポートと開発の便宜のために、すべての共通コンポーネントも次の場所に移動されました。 別のリポジトリ.

CSI と同様に、多くの大規模クラウド プロバイダーはすでに Kubernetes 上のクラウドを活用するように CCM を設計しています。 サプライヤーが CCM を持っていないが、必要な機能がすべて API 経由で利用できる場合は、自分で CCM を実装できます。

独自の CCM 実装を作成するには、以下を実装するだけで十分です 必要な Go インターフェイス.

И これが私たちが得たものです.

具現化

どうやってこんなことになったんだろう

と開発（というより使用）を始めました。 準備完了(!) CCM XNUMX年前のYandex.Cloudの場合。

ただし、この実装では次のものが欠けていました。

• JWT IAM トークンによる認証。
• サービスコントローラーのサポート。

著者に同意する (ドリシン) Telegram では、yandex-cloud-controller-manager をフォークし、不足している機能を追加しました。

主な機能

現在、CCM は次のインターフェイスをサポートしています。

• インスタンス;
• ゾーン;
• ロードバランサー.

将来、Yandex.Cloud が高度な VPC 機能と連携し始めると、インターフェイスが追加される予定です。 ルート.

主な課題としての LoadBalancer

最初に、他の CCM 実装と同様に、次のペアを作成しようとしました。 LoadBalancer и TargetGroup それぞれに Service タイプ付き LoadBalancer。 ただし、Yandex.Cloud は XNUMX つの興味深い制限を発見しました。 TargetGroups 交差している Targets （ペア SubnetID - IpAddress).

したがって、作成された CCM 内でコントローラーが起動され、オブジェクトが変更されるとコントローラーが起動されます。 Node 各仮想マシン上のすべてのインターフェイスに関する情報を収集し、特定の仮想マシンに属するものに従ってグループ化します。 NetworkID、によって作成されます TargetGroup на NetworkID、関連性も監視します。 続いて、オブジェクトを作成するときに、 Service タイプ付き LoadBalanacer 事前に作成したものを添付するだけです TargetGroup 新しいに NetworkLoadBalanacer'午前。

使用を開始するにはどうすればよいですか?

CCM は、Kubernetes バージョン 1.15 以降をサポートします。 クラスター内で機能するには、フラグが必要です。 --cloud-provider=external に設定されました true kube-apiserver、kube-controller-manager、kube-scheduler、およびすべての kubelet 用。

インストール自体に必要なすべての手順については、「 README。 インストールは、要約すると、マニフェストから Kubernetes にオブジェクトを作成することです。

CCM を使用するには、以下も必要です。

• 指定する マニフェスト内のディレクトリ識別子 (folder-id）Yandex.Cloud;
• Yandex.Cloud API と対話するためのサービス アカウント。 マニフェストでは Secret 必要 承認されたキーを転送する サービスアカウントから。 ドキュメントでは 説明された、サービス アカウントを作成してキーを取得する方法。

フィードバックをお待ちしております。 新しい問題何か問題が発生した場合は！

結果

過去 20 週間にわたり、実装された CCM を 8 つの Kubernetes クラスターで使用してきましたが、来月にはその数を XNUMX に拡大する予定です。 現在、大規模かつ重要な KXNUMX インストールに CCM を使用することはお勧めしません。

CSI の場合と同様、Yandex 開発者がこのプロジェクトの開発とサポートを引き受けてくれれば幸いです。私たちにとってより関連性の高いタスクを処理するために、彼らの要求に応じてリポジトリを転送する準備ができています。

PS

私たちのブログもお読みください:

• «Kubernetes で Yandex.Cloud 用の CSI ドライバーを開発した経験";
• «Kubernetes クラスターを準備するのは簡単で便利ですか? アドオンオペレーターの発表";
• «Kubernetes の拡張と補足 (概要とビデオ レポート)'。

出所： habr.com