Cloudflareは、Linuxでのディスク暗号化を劇的に高速化するパッチを準備しました

Cloudflareの開発者 言った Linux カーネルでのディスク暗号化のパフォーマンスを最適化する作業の実行について。 その結果、用意されていたのは、 パッチ サブシステム用 dm-crypt Crypto API により、合成テストでの読み取りおよび書き込みのスループットが XNUMX 倍以上になり、遅延が半分になることが可能になりました。 実際のハードウェアでテストしたところ、暗号化のオーバーヘッドは、データ暗号化なしでディスクを操作した場合に観察されたレベルにほぼ減少しました。

Cloudflareはdm-cryptを使用して、CDN上のコンテンツのキャッシュに使用されるストレージデバイス上のデータを暗号化します。 Dm-crypt はブロック デバイス レベルで動作し、書き込み I/O リクエストを暗号化し、読み取りリクエストを復号化して、ブロック デバイスとファイル システム ドライバーの間の層として機能します。

パッケージを使用して dm-crypt のパフォーマンスを評価するには フレキシブルI/Oテスター ディスクパフォ​​ーマンスの変動を排除し、コードパフォーマンスに重点を置くために、RAM に配置された RAM ディスク上の暗号化されたパーティションと暗号化されていないパーティションの操作速度を測定しました。 暗号化されていないパーティションの場合、読み取りおよび書き込みパフォーマンスは 1126 MB/秒のままでしたが、暗号化が有効になると速度が低下しました。 時間内に7 147 MB​​/秒に達しました。

当初、カーネル暗号システムで非効率的なアルゴリズムが使用されているのではないかという疑惑が生じました。 ただし、テストでは 256 個の暗号化キーを備えた最速のアルゴリズム aes-xts が使用され、「cryptsetup ベンチマーク」を実行したときのパフォーマンスは、RAM ディスクのテストで得られた結果の 136 倍以上でした。 パフォーマンス調整のために dm-crypt フラグを使用した実験では結果が得られませんでした。「--perf-same_cpu_crypt」フラグを使用すると、パフォーマンスは 166 MB/s まで低下しましたが、「--perf-submit_from_crypt_cpus」フラグを指定した場合は、パフォーマンスが向上するだけでした。 XNUMXMB/秒まで。

動作ロジックをより深く分析したところ、dm-crypt は見かけほど単純ではないことがわかりました。書き込みリクエストが FS ドライバーから到着すると、dm-crypt はそれをすぐには処理せず、「kcryptd」キューに入れます。すぐには解析されませんが、都合の良いときに解析されます。 リクエストはキューから Linux Crypto API に送信され、暗号化が実行されます。 ただし、Crypto API は非同期実行モデルを使用するため、暗号化もすぐには実行されず、別のキューをバイパスします。 暗号化が完了すると、dm-crypt は検索ツリーを使用して保留中の書き込みリクエストを並べ替えようとする場合があります。 赤、黒。 最後に、別のカーネル スレッドが一定の遅延を伴って再び蓄積された I/O リクエストを取得し、ブロック デバイス スタックに送信します。

読み取り時、dm-crypt はまずドライブからデータを受信するリクエストを「kcryptd_io」キューに追加します。 しばらくすると、データが利用可能になり、復号化のために「kcryptd」キューに入れられます。
Kcryptd は Linux Crypto API にリクエストを送信し、情報が非同期的に復号化されます。 リクエストは常にすべてのキューを通過するわけではありませんが、最悪のシナリオでは、書き込みリクエストは最大 4 回、読み取りリクエストは最大 3 回キューに入ります。 キューにヒットするたびに遅延が発生し、これが dm-crypt のパフォーマンスを大幅に低下させる主な理由です。

キューを使用するのは、中断が発生する状況で作業する必要があるためです。 dm-crypt の現在のキューベースのオペレーティング モデルが実装された 2005 年には、Crypto API はまだ非同期ではありませんでした。 Crypto API が非同期実行モデルに移行された後、基本的に二重保護が使用され始めました。 カーネル スタックの消費を節約するためにキューも導入されましたが、2014 年にキューが増加した後、これらの最適化は関連性を失いました。 追加のキュー「kcryptd_io」は、大量のリクエストが到着したときにメモリ割り当てを待機することになるボトルネックを克服するために導入されました。 2015 年には、マルチプロセッサ システム上の暗号化リクエストが順番どおりに完了しない可能性があるため、追加のソート フェーズが導入されました (ディスクへのシーケンシャル アクセスではなく、ランダムな順序でアクセスが実行され、CFQ スケジューラが効率的に機能しませんでした)。 現在、SSD ドライブを使用する場合、ソートは意味を失い、CFQ スケジューラはカーネルで使用されなくなりました。

最新のドライブがより高速かつスマートになったことを考慮して、Linux カーネルのリソース分散システムが改訂され、一部のサブシステムが再設計されたと Cloudflare エンジニアは述べています。 追加した dm-crypt には、不要なキューと非同期呼び出しの使用を排除する新しい動作モードがあります。 このモードは別のフラグ「force_inline」によって有効になり、dm-crypt を受信リクエストの暗号化と復号化を行う単純なプロキシの形式にします。 Crypto API との対話は、同期モードで動作し、リクエスト キューを使用しない暗号化アルゴリズムを明示的に選択することによって最適化されています。 Crypto API と同期して動作するには、 提案された FPU/AES-NI を高速化に使用し、暗号化および復号化リクエストを直接転送できるようにするモジュール。

その結果、RAM ディスクをテストすると、dm-crypt のパフォーマンスを 294 倍以上にすることができました。パフォーマンスは 2 MB/s (147 x 640 MB​​/s) から 696 MB/s に向上しました。これは、dm-crypt のパフォーマンスに非常に近い値です。ベア暗号化のパフォーマンス (XNUMX MB /秒)。

実サーバーで負荷をテストすると、新しい実装は暗号化なしで実行する構成に非常に近いパフォーマンスを示し、Cloudflare キャッシュを使用してサーバーで暗号化を有効にしても応答速度には影響しませんでした。 将来的には、Cloudflareは準備されたパッチをメインのLinuxカーネルに転送する予定ですが、パッチは特定の負荷に最適化されており、アプリケーションのすべての領域（たとえば、低レベルの暗号化など）をカバーしていないため、その前に再加工する必要があります。 - 組み込みデバイスに電力を供給します。

出所： オープンネット.ru