BPF 및 eBPF에 대한 간략한 소개

안녕, 하브르! 책 출간을 준비 중이라는 소식을 전해드리고 싶습니다."BPF를 사용한 Linux 관측성".

BPF 가상 머신은 지속적으로 발전하고 실제로 활발하게 사용되기 때문에 주요 기능과 현재 상태를 설명하는 기사를 번역했습니다.

최근에는 고성능 패킷 처리가 필요한 경우 리눅스 커널의 한계를 보완하기 위한 프로그래밍 도구와 기술이 점점 대중화되고 있습니다. 이런 종류의 가장 인기 있는 기술 중 하나는 다음과 같습니다. 커널 우회 (커널 우회) 커널 네트워크 계층을 우회하여 사용자 공간에서 모든 패킷 처리를 수행할 수 있습니다. 커널을 우회하려면 네트워크 카드를 제어하는 ​​것도 포함됩니다. 사용자 공간. 즉, 네트워크 카드로 작업할 때 드라이버에 의존합니다. 사용자 공간.

네트워크 카드에 대한 전체 제어권을 사용자 공간 프로그램으로 이전함으로써 우리는 10Gb/s 이상의 속도로 실행할 때 매우 중요한 커널 오버헤드(컨텍스트 전환, 네트워크 계층 처리, 인터럽트 등)를 줄입니다. 커널 우회와 기타 기능의 조합(일괄 처리) 및 신중한 성능 조정(NUMA 회계, CPU 격리등)은 사용자 공간에서의 고성능 네트워크 처리의 기본에 해당합니다. 아마도 패킷 처리에 대한 이러한 새로운 접근 방식의 예시적인 예는 다음과 같습니다. DPDK 인텔(데이터 플레인 개발 키트), 물론 Cisco의 VPP(벡터 패킷 처리), Netmap 및 스냅.

사용자 공간에서 네트워크 상호 작용을 구성하면 다음과 같은 여러 가지 단점이 있습니다.

• OS 커널은 하드웨어 리소스에 대한 추상화 계층입니다. 사용자 공간 프로그램은 리소스를 직접 관리해야 하기 때문에 자체 하드웨어도 관리해야 합니다. 이는 종종 자신의 드라이버를 프로그래밍해야 함을 의미합니다.
• 우리는 커널 공간을 완전히 포기하기 때문에 커널이 제공하는 모든 네트워킹 기능도 포기합니다. 사용자 공간 프로그램은 커널이나 운영 체제에서 이미 제공했을 수 있는 기능을 다시 구현해야 합니다.
• 프로그램은 샌드박스 모드에서 작동하므로 상호 작용이 심각하게 제한되고 운영 체제의 다른 부분과 통합되지 않습니다.

본질적으로 사용자 공간에서 네트워킹할 때 패킷 처리를 커널에서 사용자 공간으로 이동하면 성능이 향상됩니다. XDP는 정반대로 작동합니다. 즉, 네트워킹 프로그램을 사용자 공간(필터, 확인자, 라우팅 등)에서 커널 공간으로 이동합니다. XDP를 사용하면 패킷이 네트워크 인터페이스에 도달하자마자 커널 네트워크 하위 시스템으로 이동하기 전에 네트워크 기능을 수행할 수 있습니다. 결과적으로 패킷 처리 속도가 크게 향상됩니다. 그러나 커널은 사용자가 커널 공간에서 프로그램을 실행할 수 있도록 어떻게 허용합니까? 이 질문에 답하기 전에 BPF가 무엇인지 살펴보겠습니다.

BPF 및 eBPF

혼란스러운 이름에도 불구하고 BPF(Berkeley Packet Filtering)는 실제로 가상 머신 모델입니다. 이 가상 머신은 원래 패킷 필터링을 처리하도록 설계되었으므로 이름이 붙여졌습니다.

BPF를 사용하는 가장 유명한 도구 중 하나는 tcpdump. 다음을 사용하여 패킷을 캡처할 때 tcpdump 사용자는 패킷을 필터링하는 표현식을 지정할 수 있습니다. 이 표현식과 일치하는 패킷만 캡처됩니다. 예를 들어, "tcp dst port 80”는 포트 80에 도착하는 모든 TCP 패킷을 나타냅니다. 컴파일러는 이 표현식을 BPF 바이트코드로 변환하여 단축할 수 있습니다.

$ sudo tcpdump -d "tcp dst port 80"
(000) ldh [12] (001) jeq #0x86dd jt 2 jf 6
(002) ldb [20] (003) jeq #0x6 jt 4 jf 15
(004) ldh [56] (005) jeq #0x50 jt 14 jf 15
(006) jeq #0x800 jt 7 jf 15
(007) ldb [23] (008) jeq #0x6 jt 9 jf 15
(009) ldh [20] (010) jset #0x1fff jt 15 jf 11
(011) ldxb 4*([14]&0xf)
(012) ldh [x + 16] (013) jeq #0x50 jt 14 jf 15
(014) ret #262144
(015) ret #0

위 프로그램이 기본적으로 수행하는 작업은 다음과 같습니다.

• 명령(000): 오프셋 12의 패킷을 16비트 워드로 누산기에 로드합니다. 오프셋 12는 패킷의 에테르 유형에 해당합니다.
• 명령(001): 누산기의 값을 0x86dd, 즉 IPv6의 에테르 유형 값과 비교합니다. 결과가 참이면 프로그램 카운터는 명령어(002)로 이동하고, 그렇지 않으면 명령어(006)로 이동합니다.
• 명령(006): 값을 0x800(IPv4의 에테르 유형 값)과 비교합니다. 대답이 참이면 프로그램은 (007)로 이동하고, 그렇지 않으면 (015)로 이동합니다.

패킷 필터링 프로그램이 결과를 반환할 때까지 계속됩니다. 이는 일반적으로 부울입니다. 014이 아닌 값(명령어(015))을 반환하면 패킷이 승인되었음을 의미하고, XNUMX(명령어(XNUMX))을 반환하면 패킷이 승인되지 않았음을 의미합니다.

BPF 가상 머신과 해당 바이트코드는 1992년 후반에 Steve McCann과 Van Jacobson이 논문을 발표하면서 제안했습니다. BSD 패킷 필터: 사용자 수준 패킷 캡처를 위한 새로운 아키텍처이 기술은 1993년 겨울 Usenix 컨퍼런스에서 처음 발표되었습니다.

BPF는 가상 머신이므로 프로그램이 실행되는 환경을 정의합니다. 바이트코드 외에도 배치 메모리 모델(로드 명령이 배치에 암시적으로 적용됨), 레지스터(A 및 X, 누산기 및 인덱스 레지스터), 스크래치 메모리 저장소 및 암시적 프로그램 카운터도 정의합니다. 흥미롭게도 BPF 바이트코드는 Motorola 6502 ISA를 모델로 했습니다. 스티브 맥캔(Steve McCann)이 그의 글에서 회상했듯이 전체보고 Sharkfest '11에서 그는 고등학교 시절 Apple II 프로그래밍을 통해 빌드 6502에 익숙했으며 이 지식은 BPF 바이트 코드를 설계하는 작업에 영향을 미쳤습니다.

BPF 지원은 버전 v2.5 이상의 Linux 커널에서 구현되며 주로 Jay Schullist의 노력으로 추가되었습니다. BPF 코드는 Eric Dumaset이 JIT 모드에서 실행되도록 BPF 인터프리터를 재설계한 2011년까지 변경되지 않았습니다(출처: 패킷 필터용 JIT). 그 후 커널은 BPF 바이트코드를 해석하는 대신 BPF 프로그램을 x86, ARM, MIPS 등의 대상 아키텍처로 직접 변환할 수 있습니다.

이후 2014년 Alexey Starovoitov는 BPF를 위한 새로운 JIT 메커니즘을 제안했습니다. 실제로 이 새로운 JIT는 새로운 BPF 기반 아키텍처가 되었으며 eBPF라고 불렸습니다. 한동안 두 VM이 공존했다고 생각하는데, 현재 패킷 필터링은 eBPF 기반으로 구현되어 있습니다. 실제로 현대 문서의 많은 예에서 BPF는 eBPF로 이해되며 기존 BPF는 오늘날 cBPF로 알려져 있습니다.

eBPF는 여러 가지 방법으로 클래식 BPF 가상 머신을 확장합니다.

• 최신 64비트 아키텍처를 기반으로 합니다. eBPF는 64비트 레지스터를 사용하고 사용 가능한 레지스터 수를 2(누산기 및 X)에서 10으로 늘립니다. eBPF는 또한 추가 opcode(BPF_MOV, BPF_JNE, BPF_CALL...)를 제공합니다.
• 네트워크 계층 하위 시스템에서 분리되었습니다. BPF는 배치 데이터 모델에 연결되었습니다. 패킷 필터링에 사용되었기 때문에 해당 코드는 네트워크 통신을 제공하는 하위 시스템에 위치했습니다. 그러나 eBPF 가상 머신은 더 이상 데이터 모델에 연결되지 않으며 어떤 목적으로도 사용할 수 있습니다. 이제 eBPF 프로그램을 Tracepoint 또는 kprobe에 연결할 수 있습니다. 이는 다른 커널 하위 시스템의 맥락에서 eBPF 계측, 성능 분석 및 기타 많은 사용 사례에 대한 길을 열어줍니다. 이제 eBPF 코드는 자체 경로인 kernel/bpf에 있습니다.
• 지도라고 불리는 글로벌 데이터 저장소. 맵은 사용자 공간과 커널 공간 간의 데이터 교환을 가능하게 하는 키-값 저장소입니다. eBPF는 여러 유형의 맵을 제공합니다.
• 보조 기능. 특히, 패키지를 다시 작성하거나 체크섬을 계산하거나 패키지를 복제하려면 이러한 함수는 커널 내부에서 실행되며 사용자 공간 프로그램이 아닙니다. eBPF 프로그램에서 시스템 호출을 할 수도 있습니다.
• 통화를 종료합니다. eBPF의 프로그램 크기는 4096바이트로 제한됩니다. 테일 콜 기능을 사용하면 eBPF 프로그램이 제어권을 새 eBPF 프로그램으로 이전하여 이 제한을 우회할 수 있습니다(이 방법으로 최대 32개의 프로그램을 연결할 수 있음).

eBPF: 예시

Linux 커널 소스에는 eBPF에 대한 몇 가지 예가 있습니다. 샘플/bpf/에서 사용할 수 있습니다. 이러한 예제를 컴파일하려면 다음을 입력하면 됩니다.

$ sudo make samples/bpf/

eBPF에 대한 새로운 예제를 직접 작성하지는 않겠지만, Samples/bpf/에 있는 샘플 중 하나를 사용하겠습니다. 코드의 일부 부분을 살펴보고 작동 방식을 설명하겠습니다. 예를 들어 제가 선택한 프로그램은 tracex4.

일반적으로 Samples/bpf/의 각 예제는 두 개의 파일로 구성됩니다. 이 경우:

• tracex4_kern.c, eBPF 바이트코드로 커널에서 실행될 소스 코드를 포함합니다.
• tracex4_user.c, 사용자 공간의 프로그램을 포함합니다.

이 경우에는 컴파일해야 합니다. tracex4_kern.c eBPF 바이트코드로. 현재 gcc eBPF에 대한 백엔드가 없습니다. 다행스럽게도, clang eBPF 바이트코드를 출력할 수 있습니다. Makefile использует clang 컴파일을 위해 tracex4_kern.c 개체 파일에.

위에서 eBPF의 가장 흥미로운 기능 중 하나가 맵이라고 언급했습니다. Tracex4_kern은 하나의 맵을 정의합니다.

struct pair {
    u64 val;
    u64 ip;
};  

struct bpf_map_def SEC("maps") my_map = {
    .type = BPF_MAP_TYPE_HASH,
    .key_size = sizeof(long),
    .value_size = sizeof(struct pair),
    .max_entries = 1000000,
};

BPF_MAP_TYPE_HASH eBPF에서 제공하는 다양한 유형의 카드 중 하나입니다. 이 경우에는 단지 해시일 뿐입니다. 광고를 보셨을 수도 있습니다 SEC("maps"). SEC는 바이너리 파일의 새로운 섹션을 생성하는 데 사용되는 매크로입니다. 실제로 예시에서는 tracex4_kern 두 개의 섹션이 더 정의됩니다.

SEC("kprobe/kmem_cache_free")
int bpf_prog1(struct pt_regs *ctx)
{   
    long ptr = PT_REGS_PARM2(ctx);

    bpf_map_delete_elem(&my_map, &ptr); 
    return 0;
}
    
SEC("kretprobe/kmem_cache_alloc_node") 
int bpf_prog2(struct pt_regs *ctx)
{
    long ptr = PT_REGS_RC(ctx);
    long ip = 0;

    // получаем ip-адрес вызывающей стороны kmem_cache_alloc_node() 
    BPF_KRETPROBE_READ_RET_IP(ip, ctx);

    struct pair v = {
        .val = bpf_ktime_get_ns(),
        .ip = ip,
    };
    
    bpf_map_update_elem(&my_map, &ptr, &v, BPF_ANY);
    return 0;
}   

이 두 가지 기능을 사용하면 지도에서 항목을 삭제할 수 있습니다(kprobe/kmem_cache_free) 지도에 새 항목을 추가합니다(kretprobe/kmem_cache_alloc_node). 대문자로 작성된 모든 함수 이름은 다음에 정의된 매크로에 해당합니다. bpf_helpers.h.

개체 파일의 섹션을 덤프하면 다음과 같은 새 섹션이 이미 정의되어 있는 것을 볼 수 있습니다.

$ objdump -h tracex4_kern.o

tracex4_kern.o: file format elf64-little

Sections:
Idx Name Size VMA LMA File off Algn
0 .text 00000000 0000000000000000 0000000000000000 00000040 2**2
CONTENTS, ALLOC, LOAD, READONLY, CODE
1 kprobe/kmem_cache_free 00000048 0000000000000000 0000000000000000 00000040 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, CODE
2 kretprobe/kmem_cache_alloc_node 000000c0 0000000000000000 0000000000000000 00000088 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, CODE
3 maps 0000001c 0000000000000000 0000000000000000 00000148 2**2
CONTENTS, ALLOC, LOAD, DATA
4 license 00000004 0000000000000000 0000000000000000 00000164 2**0
CONTENTS, ALLOC, LOAD, DATA
5 version 00000004 0000000000000000 0000000000000000 00000168 2**2
CONTENTS, ALLOC, LOAD, DATA
6 .eh_frame 00000050 0000000000000000 0000000000000000 00000170 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, DATA

아직 가지고있다. tracex4_user.c, 메인 프로그램. 기본적으로 이 프로그램은 이벤트를 수신합니다. kmem_cache_alloc_node. 이러한 이벤트가 발생하면 해당 eBPF 코드가 실행됩니다. 코드는 개체의 IP 속성을 맵에 저장하고 개체는 기본 프로그램을 통해 반복됩니다. 예:

$ sudo ./tracex4
obj 0xffff8d6430f60a00 is 2sec old was allocated at ip ffffffff9891ad90
obj 0xffff8d6062ca5e00 is 23sec old was allocated at ip ffffffff98090e8f
obj 0xffff8d5f80161780 is 6sec old was allocated at ip ffffffff98090e8f

사용자 공간 프로그램과 eBPF 프로그램은 어떤 관련이 있나요? 초기화 시 tracex4_user.c 객체 파일 로드 tracex4_kern.o 기능을 사용하여 load_bpf_file.

int main(int ac, char **argv)
{
    struct rlimit r = {RLIM_INFINITY, RLIM_INFINITY};
    char filename[256];
    int i;

    snprintf(filename, sizeof(filename), "%s_kern.o", argv[0]);

    if (setrlimit(RLIMIT_MEMLOCK, &r)) {
        perror("setrlimit(RLIMIT_MEMLOCK, RLIM_INFINITY)");
        return 1;
    }

    if (load_bpf_file(filename)) {
        printf("%s", bpf_log_buf);
        return 1;
    }

    for (i = 0; ; i++) {
        print_old_objects(map_fd[1]);
        sleep(1);
    }

    return 0;
}

하고있을 때 load_bpf_file eBPF 파일에 정의된 프로브가 다음에 추가됩니다. /sys/kernel/debug/tracing/kprobe_events. 이제 우리는 이러한 이벤트를 수신하고 해당 이벤트가 발생하면 프로그램에서 조치를 취할 수 있습니다.

$ sudo cat /sys/kernel/debug/tracing/kprobe_events
p:kprobes/kmem_cache_free kmem_cache_free
r:kprobes/kmem_cache_alloc_node kmem_cache_alloc_node

Sample/bpf/의 다른 모든 프로그램은 유사하게 구성됩니다. 여기에는 항상 두 개의 파일이 포함됩니다.

• XXX_kern.c: eBPF 프로그램.
• XXX_user.c: 메인 프로그램.

eBPF 프로그램은 섹션과 연관된 맵 및 기능을 식별합니다. 커널이 특정 유형의 이벤트를 발행할 때(예: tracepoint), 바인딩된 함수가 실행됩니다. 카드는 커널 프로그램과 사용자 공간 프로그램 간의 통신을 제공합니다.

결론

이 기사에서는 BPF와 eBPF를 일반적인 용어로 설명했습니다. 현재 eBPF에 대한 많은 정보와 리소스가 있다는 것을 알고 있으므로 추가 연구를 위해 몇 가지 리소스를 더 추천하겠습니다.

나는 읽는 것이 좋습니다 :

• BPF: 범용 커널 내 가상 머신 조나단 코베트. BPF에 대한 소개와 이것이 eBPF로 어떻게 발전했는지 설명합니다.
• eBPF에 대한 철저한 소개 브렌든 그레그. LWN.net의 기사. Brendan은 eBPF에 대해 자주 트윗하고 자신의 주제에 대한 리소스 목록을 유지 관리합니다. 블로그.
• BPF 및 eBPF에 대한 참고 사항 줄리아 에반스. Suchakra Sharma의 "BSD 패킷 필터: 사용자 수준 패킷 캡처를 위한 새로운 아키텍처" 프레젠테이션에 대한 의견입니다. 댓글이 훌륭하고 슬라이드를 이해하는 데 큰 도움이 됩니다.
• eBPF, 1부: 과거, 현재, 미래 페리스 엘리스. 장문 계속, 하지만 읽어볼 가치가 있습니다. eBPF에 관해 내가 본 최고의 기사 중 하나입니다.

출처 : habr.com