🥇Linux conntrack が友達ではなくなったら

接続追跡 (「conntrack」) は、Linux カーネルネットワーキングスタックの中核機能です。これにより、カーネルはすべての論理ネットワーク接続またはフローを追跡し、それによって各フローを構成するすべてのパケットを識別して、それらを順番にまとめて処理できるようになります。

Conntrack は、いくつかの基本的なケースで使用される重要なカーネル機能です。

NAT は conntrack からの情報に依存しているため、同じストリームからのすべてのパケットを同等に扱うことができます。たとえば、ポッドが Kubernetes サービスにアクセスする場合、kube-proxy ロードバランサーは NAT を使用してトラフィックをクラスター内の特定のポッドに送信します。 Conntrack は、特定の接続について、IP サービスへのすべてのパケットは同じポッドに送信される必要があり、バックエンドポッドから返されたパケットは要求の送信元のポッドに NAT 変換されて戻される必要があると記録しています。
Calico などのステートフルファイアウォールは、connecttrack からの情報に依存して「応答」トラフィックをホワイトリストに登録します。これにより、応答トラフィックを明示的に許可するポリシーを作成しなくても、「ポッドが任意のリモート IP アドレスに接続できるようにする」というネットワークポリシーを作成できるようになります。 (これを行わないと、はるかに安全性の低い「任意の IP からのポッドへのパケットを許可する」ルールを追加する必要があります。)

さらに、conntrack は通常、ストリーム内の最初のパケットのみを処理するため、(CPU 消費量とパケット遅延を削減することによって) システムパフォーマンスを向上させます。
ネットワークスタック全体を調べて、その処理を決定する必要があります。投稿を参照してください。」kube-proxy モードの比較」を参照して、その仕組みの例を確認してください。

ただし、conntrack には制限があります...

では、どこですべてがうまくいかなかったのでしょうか?

conntrack テーブルには構成可能な最大サイズがあり、それがいっぱいになると、通常、接続が拒否またはドロップされ始めます。テーブルには、ほとんどのアプリケーションのトラフィックを処理するのに十分な空き領域があり、これが問題になることはありません。ただし、conntrack テーブルの使用を検討したほうがよいシナリオがいくつかあります。

最も明白なケースは、サーバーが非常に多数の同時にアクティブな接続を処理する場合です。たとえば、conntrack テーブルが 128k エントリ用に設定されているにもかかわらず、同時接続数が 128k を超えている場合、確実に問題が発生します。
少し分かりにくいケースですが、サーバーが 120 秒あたり非常に多くの接続を処理する場合です。接続の存続期間が短い場合でも、Linux によって一定期間 (デフォルトでは 128 秒) 監視され続けます。たとえば、conntrack テーブルが 1100k エントリ用に構成されており、128 秒あたり 120 の接続を処理しようとしている場合、接続の有効期間が非常に短い場合でも、conntrack テーブルのサイズを超えます (1092k/XNUMXs = XNUMX 接続/ s）。

これらのカテゴリに分類されるニッチなタイプのアプリがいくつかあります。さらに、悪意のある攻撃者が多数存在する場合、サーバーの conntrack テーブルが多数のハーフオープン接続でいっぱいになると、サービス拒否 (DOS) 攻撃の一部として使用される可能性があります。どちらの場合も、conntrack がシステムの制限的なボトルネックになる可能性があります。場合によっては、conntrack テーブルのパラメータを調整するだけでニーズを満たすことができます。サイズを大きくしたり、conntrack のタイムアウトを減らしたりすることです (ただし、やり方を間違えると、多くの問題に遭遇することになります)。他のケースでは、攻撃的なトラフィックに対して conntrack をバイパスする必要があります。

実際の例

具体的な例を挙げてみましょう。私たちが協力したある大規模な SaaS プロバイダーでは、ホスト (仮想マシンではなく) 上に多数の memcached サーバーがあり、それぞれが 50 秒あたり XNUMX 以上の短期接続を処理していました。

彼らは conntrack 構成を試して、テーブルサイズを増やし、追跡時間を短縮しましたが、その構成は信頼性が低く、RAM 消費量が大幅に増加して問題が発生し (GBytes 単位!)、接続が短すぎるため conntrack は使用できませんでした。通常のパフォーマンス上の利点 (CPU 消費またはパケット遅延の削減) を生み出します。

彼らは代替案として Calico に目を向けました。 Calico ネットワークポリシーを使用すると、特定の種類のトラフィックに対して conntrack を使用しないことができます (doNotTrack ポリシーオプションを使用)。これにより、必要なレベルのパフォーマンスに加えて、Calico によって提供される追加レベルのセキュリティが提供されました。

conntrackをバイパスするにはどのくらいの長さを行かなければなりませんか?

Do-Not Track ネットワークポリシーは通常、対称的である必要があります。 SaaS プロバイダーの場合: アプリケーションは保護ゾーン内で実行されていたため、ネットワークポリシーを使用して、memcached へのアクセスを許可された他の特定のアプリケーションからのトラフィックをホワイトリストに登録できました。
do-not-track ポリシーでは、接続の方向は考慮されません。したがって、memcached サーバーがハッキングされた場合でも、理論的には、正しい送信元ポートを使用している限り、どの memcached クライアントにも接続を試みることができます。ただし、memcached クライアントのネットワークポリシーを正しく定義している場合でも、これらの接続試行はクライアント側で拒否されます。
do-not-track ポリシーは、フロー内の最初のパケットにのみ適用される通常のポリシーとは対照的に、すべてのパケットに適用されます。ポリシーをパケットごとに適用する必要があるため、パケットごとの CPU 消費量が増加する可能性があります。ただし、存続期間が短い接続の場合、この費用は、conntrack 処理のリソース消費の削減によってバランスがとれます。たとえば、SaaS プロバイダーの場合、各接続のパケット数は非常に少ないため、各パケットにポリシーを適用するときに追加の CPU 消費が正当化されました。

テストを始めましょう

8 秒あたり非常に多くの接続を実行できるように、memcached サーバーを備えた単一のポッドとリモートノードで実行されている複数の memcached クライアントポッドでテストを実行しました。 memcached サーバーポッドを備えたサーバーには 512 コアがあり、conntrack テーブル (ホストの標準構成テーブルサイズ) に XNUMXk エントリがありました。
ネットワークポリシーがない場合と、ネットワークポリシーがない場合のパフォーマンスの違いを測定しました。通常の Calico ポリシーを使用します。 Calico の追跡禁止ポリシー。

最初のテストでは、CPU 消費量の違いに注目できるように、接続数を 4.000 秒あたり 20 に設定しました。ポリシーなしと通常のポリシーの間に大きな違いはありませんでしたが、追跡しないと CPU 消費量が約 XNUMX% 増加しました。

4,000 番目のテストでは、クライアントが生成できるだけ多くの接続を開始し、memcached サーバーが処理できる 512 秒あたりの最大接続数を測定しました。予想通り、「ポリシーなし」ケースと「通常ポリシー」ケースは両方とも、120 秒あたり 4,369 接続を超える conntrack 制限 (60,000k / XNUMX 秒 = XNUMX 接続/秒) に達しました。 do-not-track ポリシーを使用すると、クライアントは問題なく XNUMX 秒あたり XNUMX の接続を送信できました。クライアントをさらに追加することでこの数を増やすことができると確信していますが、この記事の要点を説明するにはこれらの数で十分であると考えています。

まとめ

Conntrack は重要なカーネル機能です。彼は自分の仕事を完璧にこなします。主要なシステムコンポーネントでよく使用されます。ただし、特定のシナリオでは、conntrack による輻輳が、conntrack が提供する通常の利点を上回ります。このシナリオでは、Calico ネットワークポリシーを使用して、ネットワークセキュリティを強化しながら conntrack の使用を選択的に無効にすることができます。他のすべてのトラフィックについては、conntrack が引き続きあなたの友人です。

私たちのブログの他の記事もお読みください。

出所： habr.com

Linux conntrack が友達ではなくなったら

では、どこですべてがうまくいかなかったのでしょうか?

実際の例

conntrackをバイパスするにはどのくらいの長さを行かなければなりませんか?

テストを始めましょう

まとめ

私たちのブログの他の記事もお読みください。

コメントを追加します 返信をキャンセル

コメントを追加します返信をキャンセル