Calico のネットワーク ポリシー オプションを理解する

Calico ネットワーク プラグインは、ハードウェア ホスト、仮想マシン、およびポッドを保護するための統一された構文を備えた幅広いネットワーク ポリシーを提供します。 これらのポリシーは、名前空間内に適用することも、以下に適用されるグローバル ネットワーク ポリシーとして適用することもできます。 ホストエンドポイント (ホスト上で直接実行されているアプリケーションを保護するため - ホストはサーバーまたは仮想マシンにすることができます) または ワークロードエンドポイント (コンテナまたはホストされた仮想マシンで実行されているアプリケーションを保護するため)。 Calico ポリシーを使用すると、preDNAT、unraracked、applyOnForward などのオプションを使用して、パケット パスのさまざまなポイントにセキュリティ対策を適用できます。 これらのオプションがどのように機能するかを理解すると、システム全体のセキュリティとパフォーマンスを向上させることができます。 この記事では、パケット処理パス (iptabels チェーン) で何が起こるかに重点を置きながら、ホスト エンドポイントに適用されるこれらの Calico ポリシー オプション (preDNAT、unraracked、および applyOnForward) の本質について説明します。

この記事は、Kubernetes および Calico ネットワーク ポリシーの仕組みについて基本的に理解していることを前提としています。 そうでない場合は、試してみることをお勧めします 基本的なネットワーク ポリシーのチュートリアル и ホスト保護のチュートリアル この記事を読む前に Calico を使用してください。 また、業務についての基本的な理解があることも期待されます。 iptables Linuxで。

サラサ グローバルネットワークポリシー ラベルごとに一連のアクセス ルールを (ホストおよびワークロード/ポッドのグループに) 適用できます。 これは、仮想マシン、ハードウェア上のシステム、または Kubernetes インフラストラクチャなど、異種システムを一緒に使用する場合に非常に便利です。 さらに、一連の宣言型ポリシーを使用してクラスター (ノード) を保護し、受信トラフィック (たとえば、NodePort または外部 IP サービス経由) にネットワーク ポリシーを適用できます。

基本的なレベルでは、Calico がポッドをネットワークに接続するとき (以下の図を参照)、仮想イーサネット インターフェイス (veth) を使用してポッドをホストに接続します。 ポッドによって送信されたトラフィックは、この仮想インターフェイスからホストに送信され、物理ネットワーク インターフェイスから送信された場合と同じ方法で処理されます。 デフォルトでは、Calico はこれらのインターフェイスに caliXXX という名前を付けます。 トラフィックは仮想インターフェイスを経由するため、ポッドが XNUMX ホップ離れているかのように iptables を通過します。 したがって、トラフィックがポッドに送受信されるとき、そのトラフィックはホストの観点から転送されます。

Calico を実行している Kubernetes ノードでは、次のように仮想インターフェイス (veth) をワークロードにマップできます。 以下の例では、veth#10 (calic1cbf1ca0f8) が calico-monitoring 名前空間の cnx-manager-* に接続されていることがわかります。

[centos@ip-172-31-31-46 K8S]$ sudo ip a
...
10: calic1cbf1ca0f8@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1440 qdisc noqueue state UP group default
    link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 5
    inet6 fe80::ecee:eeff:feee:eeee/64 scope link
       valid_lft forever preferred_lft forever
...

[centos@ip-172-31-31-46 K8S]$ calicoctl get wep --all-namespaces
...
calico-monitoring cnx-manager-8f778bd66-lz45m                            ip-172-31-31-46.ec2.internal 192.168.103.134/32
calic1cbf1ca0f8
...

Calico がワークロードごとに veth インターフェイスを作成するとすると、ポリシーはどのように適用されるのでしょうか? これを行うために、Calico は iptables を使用してパケット処理パスのさまざまなチェーンにフックを作成します。

以下の図は、iptables (または netfilter サブシステム) でのパケット処理に関係するチェーンを示しています。 パケットがネットワーク インターフェイスを介して到着すると、まず PREROUTING チェーンを通過します。 次にルーティングの決定が行われ、これに基づいてパケットは INPUT (ホスト プロセスに送信される) または FORWARD (ポッドまたはネットワーク上の別のノードに送信される) を通過します。 ローカル プロセスから、パケットは OUTPUT チェーンを通過し、次に POSTROUTING チェーンを通過してからケーブルに送信されます。

iptables 処理の観点からは、Pod は外部エンティティ (veth に接続されている) でもあることに注意してください。 要約しましょう:

• 転送されたトラフィック (nat、ルーティング、またはポッドへの/ポッドからのトラフィック) は、PREROUTING - FORWARD - POSTROUTING チェーンを通過します。
• ローカル ホスト プロセスへのトラフィックは、PREROUTING - INPUT チェーンを通過します。
• ローカル ホスト プロセスからのトラフィックは、OUTPUT - POSTROUTING チェーンを通過します。

Calico は、すべてのチェーンにポリシーを適用できるポリシー オプションを提供します。 これを念頭に置いて、Calico で利用できるさまざまなポリシー構成オプションを見てみましょう。 以下のオプションのリストの番号は、上の図の番号に対応しています。

1. ワークロード エンドポイント (ポッド) ポリシー
2. ホストエンドポイントポリシー
3. [ApplyOnForward] オプション
4. PreDNAT ポリシー
5. 追跡されていないポリシー

まず、ワークロード エンドポイント (Kubernetes ポッドまたは OpenStack VM) にポリシーがどのように適用されるかを見てから、ホスト エンドポイントのポリシー オプションを見てみましょう。

ワークロードエンドポイント

ワークロードエンドポイントポリシー (1)

これは、Kubernetes ポッドを保護するためのオプションです。 Calico は Kubernetes NetworkPolicy との連携をサポートしていますが、追加のポリシーである Calico NetworkPolicy と GlobalNetworkPolicy も提供します。 Calico は、ポッド (ワークロード) ごとにチェーンを作成し、ワークロードの INPUT チェーンと OUTPUT チェーンを FORWARD チェーンのフィルター テーブルにフックします。

ホストエンドポイント

ホストエンドポイントポリシー (2)

CNI (コンテナ ネットワーク インターフェイス) に加えて、Calico ポリシーはホスト自体を保護する機能を提供します。 Calico では、ホスト インターフェイスと必要に応じてポート番号の組み合わせを指定して、ホスト エンドポイントを作成できます。 このエンティティに対するポリシーの適用は、INPUT チェーンと OUTPUT チェーンのフィルター テーブルを使用して実現されます。 図からわかるように、(2) ノード/ホスト上のローカル プロセスに適用されます。 つまり、ホスト エンドポイントに適用するポリシーを作成した場合、ポッドとの間で送受信されるトラフィックには影響しません。 ただし、Calico ポリシーを使用してホストとポッドのトラフィックをブロックするための単一のインターフェイス/構文が提供されます。 これにより、異種ネットワークのポリシー管理プロセスが大幅に簡素化されます。 クラスターのセキュリティを強化するためにホスト エンドポイント ポリシーを構成することも、重要な使用例です。

適用ポリシー (3)

Calico グローバル ネットワーク ポリシーでは、ApplyOnForward オプションを使用して、ホストによって転送されるトラフィックを含む、ホスト エンドポイントを通過するすべてのトラフィックにポリシーを適用できるようにします。 これには、ローカル ポッドまたはネットワーク上の他の場所に転送されるトラフィックが含まれます。 Calico では、PreDNAT および追跡されていないポリシーを使用するポリシーに対してこの設定を有効にする必要があります。次のセクションを参照してください。 さらに、仮想ルーターまたはソフトウェア NAT が使用されている場合、ApplyOnForward を使用してホスト トラフィックを監視できます。

同じネットワーク ポリシーをホスト プロセスとポッドの両方に適用する必要がある場合は、ApplyOnForward オプションを使用する必要がないことに注意してください。 必要なのは、必要なホストエンドポイントとワークロードエンドポイント (ポッド) のラベルを作成することだけです。 Calico は、エンドポイントの種類 (ホストエンドポイントまたはワークロード) に関係なく、ラベルに基づいてポリシーを適用できるほど賢いです。

PreDNAT ポリシー (4)

Kubernetes では、NodePorts オプションを使用して、またはオプションで (Calico を使用する場合) クラスター IP または外部 IP オプションを使用してサービス エンティティ ポートをアドバタイズすることにより、サービス エンティティ ポートを外部に公開できます。 Kube プロキシは、DNAT を使用して、サービスにバインドされた受信トラフィックを対応するサービスのポッドに分散します。 このことを踏まえると、NodePort を経由するトラフィックに対してポリシーを適用するにはどうすればよいでしょうか? トラフィックが DNAT (ホスト:ポートと対応するサービスの間のマッピング) によって処理される前にこれらのポリシーが確実に適用されるように、Calico は「preDNAT: true」と呼ばれる globalNetworkPolicy のパラメーターを提供します。

pre-DNAT が有効な場合、これらのポリシーは、図の (4)、PREROUTING チェーンのマングル テーブル、DNAT の直前に実装されます。 これらのポリシーの適用はトラフィック処理パスのかなり早い段階で行われるため、ここでは通常のポリシーの順序には従いません。 ただし、preDNAT ポリシーはポリシー間の適用順序を尊重します。

pre-DNAT を使用してポリシーを作成する場合は、処理するトラフィックに注意し、大部分が拒否されるようにすることが重要です。 pre-DNAT ポリシーで「許可」とマークされたトラフィックはホストエンドポイント ポリシーによってチェックされなくなりますが、pre-DNAT ポリシーに失敗したトラフィックは残りのチェーンを通過し続けます。
Calico では、定義上トラフィックの宛先がまだ選択されていないため、preDNAT を使用する場合は applyOnForward オプションを有効にすることが必須になっています。 トラフィックはホスト プロセスに送信することも、ポッドまたは別のノードに転送することもできます。

追跡されていないポリシー (5)

ネットワークとアプリケーションの動作には大きな違いがある可能性があります。 極端な場合には、アプリケーションは存続期間の短い接続を多数生成することがあります。 これにより、conntrack (Linux ネットワーク スタックのコア コンポーネント) がメモリ不足になる可能性があります。 従来、この種のアプリケーションを Linux 上で実行するには、conntrack を手動で構成または無効にするか、conntrack をバイパスする iptables ルールを作成する必要がありました。 接続をできるだけ早く処理したい場合は、Calico の追跡されていないポリシーがよりシンプルで効率的なオプションです。 たとえば、大規模なを使用する場合、 memcacheの または追加の保護手段として DDOS.

これを読む ブログ投稿 （または 私たちの翻訳追跡されていないポリシーを使用したパフォーマンス テストなどの詳細については、「」を参照してください。

Calico globalNetworkPolicy で「doNotTrack: true」オプションを設定すると、**追跡されない** ポリシーになり、Linux パケット処理パイプラインの非常に早い段階で適用されます。 上の図を見ると、接続追跡 (conntrack) が開始される前に、生のテーブルの PREROUTING チェーンと OUTPUT チェーンに追跡されていないポリシーが適用されています。 パケットが追跡されていないポリシーによって許可されている場合、そのパケットの接続追跡を無効にするようにマークされます。 その意味は：

• 追跡されていないポリシーはパケットごとに適用されます。 接続（または流れ）という概念はありません。 接続が不足すると、いくつかの重要な結果が生じます。
• 要求トラフィックと応答トラフィックの両方を許可する場合は、受信トラフィックと送信トラフィックの両方のルールが必要です (Calico は通常、conntrack を使用して応答トラフィックを許可としてマークするため)。
• untracked ポリシーは、Kubernetes ワークロード (ポッド) では機能しません。この場合、ポッドからの送信接続を追跡する方法がないためです。
• NAT は、追跡されていないパケットでは正しく機能しません (カーネルが NAT マッピングを conntrack に保存するため)。
• 追跡されていないポリシーの「すべてを許可」ルールを通過すると、すべてのパケットが追跡されていないとしてマークされます。 これはほとんどの場合、希望どおりではないため、追跡されていないポリシーによって許可されるパケットを非常に慎重に選択することが重要です (そして、ほとんどのトラフィックが通常の追跡されるポリシーを通過できるようにする)。
• 追跡されていないポリシーは、パケット処理パイプラインの最初に適用されます。 これは、Calico ポリシーを作成するときに理解することが非常に重要です。 order:1 のポッド ポリシーと order:1000 の追跡されていないポリシーを設定できます。 関係ないでしょう。 Untracked ポリシーは、ポッドのポリシーより前に適用されます。 追跡されていないポリシーは、ポリシー間でのみ実行順序を尊重します。

doNotTrack ポリシーの目的の 5 つは、Linux パケット処理パイプラインの非常に早い段階でポリシーを適用することであるため、Calico では、doNotTrack を使用するときに applyOnForward オプションを指定することを必須にしています。 パケット処理図を参照すると、ルーティングの決定の前に untracked(XNUMX) ポリシーが適用されることに注意してください。 トラフィックはホスト プロセスに送信することも、ポッドまたは別のノードに転送することもできます。

結果

Calico のさまざまなポリシー オプション (ホスト エンドポイント、ApplyOnForward、preDNAT、および Untracked) と、それらがパケット処理パスに沿ってどのように適用されるかを調べました。 それらがどのように機能するかを理解することは、効果的で安全なポリシーを開発するのに役立ちます。 Calico を使用すると、ラベル (ノードとポッドのグループ) に適用されるグローバル ネットワーク ポリシーを使用し、さまざまなパラメーターを含むポリシーを適用できます。 これにより、セキュリティおよびネットワーク設計の専門家は、Calico ポリシーを含む単一のポリシー言語を使用して、「すべて」(エンドポイントの種類) を一度に簡単に保護できるようになります。

謝辞：感謝したいと思います ショーン・クランプトン и アレクサ・ポリッタ レビューと貴重な情報をありがとうございます。

出所： habr.com