BPF と eBPF の簡単な紹介

おい、ハブル！ 書籍の発売を準備中であることをお知らせします。」BPF による Linux の可観測性".

BPF 仮想マシンは進化を続け、実際に積極的に使用されているため、その主な機能と現在の状態を説明する記事を翻訳しました。

近年、高性能のパケット処理が必要な場合に Linux カーネルの制限を補うプログラミング ツールや技術が人気を集めています。 この種の最も一般的な方法の XNUMX つは次のように呼ばれます。 コアバイパス (カーネル バイパス) により、カーネルのネットワーク層をスキップして、ユーザー空間からすべてのパケット処理を実行できるようになります。 カーネルをバイパスするには、ネットワーク カードの管理も必要になります。 ユーザースペース。 言い換えれば、ネットワーク カードを使用する場合、ドライバーに依存します。 ユーザースペース.

ネットワーク カードの完全な制御をユーザー空間プログラムに移すことで、カーネルのオーバーヘッド (コンテキスト スイッチ、ネットワーク層の処理、割り込みなど) が削減されます。これは、10 Gb/s または XNUMX Gb/s の速度で実行する場合に非常に重要です。より高い。 カーネルと他の機能の組み合わせをバイパスします (バッチ処理) および慎重なパフォーマンスチューニング (NUMA 会計, CPUの分離、など）は、高性能のユーザー空間ネットワーキングの基本に適合します。 おそらく、パケット処理に対するこの新しいアプローチの典型的な例は次のとおりです。 DPDK インテルから (データプレーン開発キット）、Cisco の VPP（ベクトル パケット処理）、Netmap、そしてもちろん、 スナブ.

ユーザー空間でのネットワーク インタラクションの組織化には、次のような多くの欠点があります。

• OS カーネルは、ハードウェア リソースの抽象化レイヤーです。 ユーザー空間プログラムはリソースを直接管理する必要があるため、独自のハードウェアも管理する必要があります。 これは多くの場合、独自のドライバーをプログラミングすることを意味します。
• カーネル空間を完全に放棄することになるので、カーネルによって提供されるすべてのネットワーク機能も放棄することになります。 ユーザー空間プログラムは、カーネルまたはオペレーティング システムによってすでに提供されている機能を再実装する必要があります。
• プログラムはサンドボックス モードで動作するため、相互作用が大幅に制限され、オペレーティング システムの他の部分と統合できなくなります。

基本的に、ユーザー空間でネットワークを構築する場合、パケット処理をカーネルからユーザー空間に移動することでパフォーマンスが向上します。 XDP はまったく逆のことを行います。ネットワーク プログラムをユーザー空間 (フィルター、コンバーター、ルーティングなど) からカーネル領域に移動します。 XDP を使用すると、パケットがネットワーク インターフェイスに到達するとすぐに、パケットがカーネルのネットワーク サブシステムに到達し始める前に、ネットワーク機能を実行できます。 その結果、パケット処理速度が大幅に向上します。 しかし、カーネルはどのようにしてユーザーがカーネル空間でプログラムを実行できるようにするのでしょうか? この質問に答える前に、BPF とは何かを見てみましょう。

BPF と eBPF

名前は完全に明確ではありませんが、BPF (パケット フィルタリング、バークレー) は実際には仮想マシン モデルです。 この仮想マシンはもともとパケット フィルタリングを処理するように設計されていたため、この名前が付けられました。

BPF を使用する最もよく知られたツールの XNUMX つは次のとおりです。 tcpdump。 パケットをキャプチャする場合 tcpdump ユーザーはパケット フィルタリングの式を指定できます。 この式に一致するパケットのみがキャプチャされます。 たとえば、「tcp dst port 80」は、ポート 80 に到着するすべての TCP パケットを指します。コンパイラは、この式を BPF バイトコードに変換することで短縮できます。

$ sudo tcpdump -d "tcp dst port 80"
(000) ldh [12] (001) jeq #0x86dd jt 2 jf 6
(002) ldb [20] (003) jeq #0x6 jt 4 jf 15
(004) ldh [56] (005) jeq #0x50 jt 14 jf 15
(006) jeq #0x800 jt 7 jf 15
(007) ldb [23] (008) jeq #0x6 jt 9 jf 15
(009) ldh [20] (010) jset #0x1fff jt 15 jf 11
(011) ldxb 4*([14]&0xf)
(012) ldh [x + 16] (013) jeq #0x50 jt 14 jf 15
(014) ret #262144
(015) ret #0

これは基本的に上記のプログラムの動作です。

• 命令 (000): オフセット 12 のパケットを 16 ビット ワードとしてアキュムレータにロードします。 オフセット 12 はパケットのイーサタイプに対応します。
• 命令 (001): アキュムレータ内の値を 0x86dd、つまり IPv6 の ethertype 値と比較します。 結果が真の場合、プログラム カウンタは命令 (002) にジャンプし、そうでない場合は (006) にジャンプします。
• 命令 (006): 値を 0x800 (IPv4 の ethertype 値) と比較します。 答えが真の場合、プログラムは (007) に進み、そうでない場合、プログラムは (015) に進みます。

パケット フィルタリング プログラムが結果を返すまで、同様に続きます。 通常はブール値です。 ゼロ以外の値を返す (命令 (014)) はパケットが一致したことを意味し、ゼロを返す (命令 (015)) はパケットが一致しなかったことを意味します。

BPF 仮想マシンとそのバイトコードは、Steve McCann と Van Jacobson が論文を発表した 1992 年末に提案されました。 BSD パケット フィルター: ユーザーレベルのパケット キャプチャのための新しいアーキテクチャ, このテクノロジーは、1993 年の冬に開催された Usenix カンファレンスで初めて発表されました。

BPF は仮想マシンであるため、プログラムが実行される環境を定義します。 バイトコードに加えて、パケット メモリ モデル (ロード命令はパケットに暗黙的に適用されます)、レジスタ (A および X、アキュムレータおよびインデックス レジスタ)、スクラッチ メモリ ストレージ、および暗黙的なプログラム カウンターも定義されます。 興味深いことに、BPF バイトコードは Motorola 6502 ISA をモデルにしています。 スティーブ・マッキャンが著書で思い出したように、 全体報告書 Sharkfest '11 で、彼は高校時代に Apple II でプログラミングしていたときにビルド 6502 に精通しており、この知識は BPF バイトコードの設計に影響を与えました。

BPF サポートは、主に Jay Schullist によって追加されたバージョン v2.5 以降の Linux カーネルに実装されています。 BPF コードは、Eric Dumaset が JIT モードで動作するように BPF インタープリタを再設計した 2011 年まで変更されませんでした (出典: パケットフィルターのJIT）。 その後、BPF バイトコードを解釈する代わりに、カーネルは BPF プログラムをターゲット アーキテクチャ (x86、ARM、MIPS など) に直接変換できるようになります。

その後、2014 年に Alexei Starovoitov が BPF 用の新しい JIT メカニズムを提案しました。 実際、この新しい JIT は BPF に基づく新しいアーキテクチャとなり、eBPF と呼ばれました。 しばらくの間は両方の VM が共存していたと思いますが、現在パケット フィルタリングは eBPF の上に実装されています。 実際、多くの最新のドキュメント例では、BPF は eBPF と呼ばれ、古典的な BPF は現在 cBPF として知られています。

eBPF は、いくつかの方法で従来の BPF 仮想マシンを拡張します。

• 最新の 64 ビット アーキテクチャに依存します。 eBPF は 64 ビット レジスタを使用し、使用可能なレジスタの数を 2 (アキュムレータと X) から 10 に増やします。eBPF は追加のオペコード (BPF_MOV、BPF_JNE、BPF_CALL…) も提供します。
• ネットワーク層サブシステムから切り離されています。 BPF はバッチ データ モデルに関連付けられていました。 これはパケットのフィルタリングに使用されていたため、そのコードはネットワーク インタラクションを提供するサブシステム内にありました。 ただし、eBPF 仮想マシンはデータ モデルに束縛されなくなり、あらゆる目的に使用できるようになります。 これで、eBPF プログラムをトレースポイントまたは kprobe に接続できるようになりました。 これにより、eBPF インストルメンテーション、パフォーマンス分析、および他のカーネル サブシステムのコンテキストでの他の多くのユース ケースへの扉が開かれます。 これで、eBPF コードは独自のパス kernel/bpf に配置されました。
• マップと呼ばれるグローバル データ ストア。 マップは、ユーザー空間とカーネル空間の間でデータ交換を提供するキーと値のストアです。 eBPF はいくつかのタイプのカードを提供します。
• 二次的な機能。 特に、パッケージの上書き、チェックサムの計算、またはパッケージのクローン作成を行います。 これらの関数はカーネル内で実行され、ユーザー空間プログラムには属しません。 さらに、eBPF プログラムからシステム コールを実行できます。
• 通話を終了します。 eBPF のプログラム サイズは 4096 バイトに制限されています。 エンドコール機能を使用すると、eBPF プログラムが新しい eBPF プログラムに制御を移すことができるため、この制限を回避できます (この方法で最大 32 個のプログラムをチェーンできます)。

eBPFの例

Linux カーネル ソースには eBPF の例がいくつかあります。 これらは、samples/bpf/ で入手できます。 これらの例をコンパイルするには、次のように入力するだけです。

$ sudo make samples/bpf/

eBPF の新しい例を自分で書くつもりはありませんが、samples/bpf/ にあるサンプルの XNUMX つを使用します。 コードの一部を見て、それがどのように機能するかを説明します。 例として、私が選んだプログラムは、 tracex4.

一般に、samples/bpf/ 内の各サンプルは XNUMX つのファイルで構成されています。 この場合：

• tracex4_kern.c、カーネルで eBPF バイトコードとして実行されるソース コードが含まれています。
• tracex4_user.c、ユーザー空間からのプログラムが含まれています。

この場合、コンパイルする必要があります tracex4_kern.c eBPF バイトコードに変換します。 現時点では gcc eBPF にはサーバー部分はありません。 幸いなことに、 clang eBPF バイトコードを生成できます。 Makefile 使用する clang コンパイルします tracex4_kern.c オブジェクトファイルに。

上で、eBPF の最も興味深い機能の 4 つはマップであると述べました。 tracexXNUMX_kern は XNUMX つのマップを定義します。

struct pair {
    u64 val;
    u64 ip;
};  

struct bpf_map_def SEC("maps") my_map = {
    .type = BPF_MAP_TYPE_HASH,
    .key_size = sizeof(long),
    .value_size = sizeof(struct pair),
    .max_entries = 1000000,
};

BPF_MAP_TYPE_HASH eBPF が提供する多くのカード タイプの XNUMX つです。 この場合、それは単なるハッシュです。 あなたも広告に気づいたかもしれません SEC("maps")。 SEC は、バイナリ ファイルの新しいセクションを作成するために使用されるマクロです。 実際、例では tracex4_kern さらに XNUMX つのセクションが定義されています。

SEC("kprobe/kmem_cache_free")
int bpf_prog1(struct pt_regs *ctx)
{   
    long ptr = PT_REGS_PARM2(ctx);

    bpf_map_delete_elem(&my_map, &ptr); 
    return 0;
}
    
SEC("kretprobe/kmem_cache_alloc_node") 
int bpf_prog2(struct pt_regs *ctx)
{
    long ptr = PT_REGS_RC(ctx);
    long ip = 0;

    // получаем ip-адрес вызывающей стороны kmem_cache_alloc_node() 
    BPF_KRETPROBE_READ_RET_IP(ip, ctx);

    struct pair v = {
        .val = bpf_ktime_get_ns(),
        .ip = ip,
    };
    
    bpf_map_update_elem(&my_map, &ptr, &v, BPF_ANY);
    return 0;
}   

これら XNUMX つの関数を使用すると、マップからエントリを削除できます (kprobe/kmem_cache_free) マップに新しいエントリを追加します (kretprobe/kmem_cache_alloc_node）。 大文字で書かれたすべての関数名は、次のように定義されたマクロに対応します。 bpf_helpers.h.

オブジェクト ファイルのセクションをダンプすると、これらの新しいセクションがすでに定義されていることがわかります。

$ objdump -h tracex4_kern.o

tracex4_kern.o: file format elf64-little

Sections:
Idx Name Size VMA LMA File off Algn
0 .text 00000000 0000000000000000 0000000000000000 00000040 2**2
CONTENTS, ALLOC, LOAD, READONLY, CODE
1 kprobe/kmem_cache_free 00000048 0000000000000000 0000000000000000 00000040 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, CODE
2 kretprobe/kmem_cache_alloc_node 000000c0 0000000000000000 0000000000000000 00000088 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, CODE
3 maps 0000001c 0000000000000000 0000000000000000 00000148 2**2
CONTENTS, ALLOC, LOAD, DATA
4 license 00000004 0000000000000000 0000000000000000 00000164 2**0
CONTENTS, ALLOC, LOAD, DATA
5 version 00000004 0000000000000000 0000000000000000 00000168 2**2
CONTENTS, ALLOC, LOAD, DATA
6 .eh_frame 00000050 0000000000000000 0000000000000000 00000170 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, DATA

まだ持っている tracex4_user.c、メインプログラム。 基本的に、このプログラムはイベントをリッスンします。 kmem_cache_alloc_node。 このようなイベントが発生すると、対応する eBPF コードが実行されます。 このコードはオブジェクトの IP 属性をマップに保存し、オブジェクトはメイン プログラムを通じてループされます。 例：

$ sudo ./tracex4
obj 0xffff8d6430f60a00 is 2sec old was allocated at ip ffffffff9891ad90
obj 0xffff8d6062ca5e00 is 23sec old was allocated at ip ffffffff98090e8f
obj 0xffff8d5f80161780 is 6sec old was allocated at ip ffffffff98090e8f

ユーザー空間プログラムと eBPF プログラムはどのように関連していますか? 初期化時 tracex4_user.c オブジェクトファイルをロードします tracex4_kern.o 関数を使用して load_bpf_file.

int main(int ac, char **argv)
{
    struct rlimit r = {RLIM_INFINITY, RLIM_INFINITY};
    char filename[256];
    int i;

    snprintf(filename, sizeof(filename), "%s_kern.o", argv[0]);

    if (setrlimit(RLIMIT_MEMLOCK, &r)) {
        perror("setrlimit(RLIMIT_MEMLOCK, RLIM_INFINITY)");
        return 1;
    }

    if (load_bpf_file(filename)) {
        printf("%s", bpf_log_buf);
        return 1;
    }

    for (i = 0; ; i++) {
        print_old_objects(map_fd[1]);
        sleep(1);
    }

    return 0;
}

しながら load_bpf_file eBPF ファイルで定義されたプローブは、 /sys/kernel/debug/tracing/kprobe_events。 これで、これらのイベントを監視し、イベントが発生したときにプログラムが何かを実行できるようになります。

$ sudo cat /sys/kernel/debug/tracing/kprobe_events
p:kprobes/kmem_cache_free kmem_cache_free
r:kprobes/kmem_cache_alloc_node kmem_cache_alloc_node

sample/bpf/ 内の他のすべてのプログラムは同様に構造化されています。 これらには常に XNUMX つのファイルが含まれています。

• XXX_kern.c: eBPF プログラム。
• XXX_user.c: メインプログラム。

eBPF プログラムは、セクションに関連付けられたマップと関数を定義します。 カーネルが特定のタイプのイベント (たとえば、 tracepoint)、バインドされた関数が実行されます。 マップは、カーネル プログラムとユーザー空間プログラム間の通信を提供します。

まとめ

この記事では、BPF と eBPF について一般的に説明しました。 現在、eBPF に関する情報やリソースがたくさんあることは承知しています。そのため、さらなる学習のためにさらにいくつかの資料をお勧めします。

私は読むことをお勧めします：

• BPF: ユニバーサルカーネル内仮想マシン ジョナサン・コーベット。 BPF の概要と、それがどのように eBPF に進化したかについて説明します。
• eBPF の徹底紹介 ブレンダン・グレッグ。 LWN.netの記事。 ブレンダンは eBPF について頻繁にツイートし、Web サイト上でこのテーマに関するリソースのリストを管理しています。 ブログ記事.
• BPF と eBPF に関する注意事項 ジュリア・エヴァンス。 スチャクラ・シャルマ氏のプレゼンテーション「BSD パケット フィルター: ユーザー レベルのパケット キャプチャのための新しいアーキテクチャ」についてのコメント。 コメントは素晴らしく、スライドを理解するのに非常に役立ちます。
• eBPF、パート 1: 過去、現在、未来 フェリス・エリス。 ロングリード付き 継続しかし、読む価値はあります。 私がこれまでに出会った中で最高の eBPF 記事の XNUMX つ。

出所： habr.com