BPF आणि eBPF चा संक्षिप्त परिचय

हॅलो, हॅब्र! आम्ही तुम्हाला कळवू इच्छितो की आम्ही प्रकाशनासाठी एक पुस्तक तयार करत आहोत."BPF सह लिनक्स निरीक्षणक्षमता".

BPF व्हर्च्युअल मशीन सतत विकसित होत असल्याने आणि सरावामध्ये सक्रियपणे वापरले जात असल्याने, आम्ही तुमच्यासाठी त्याच्या मुख्य क्षमता आणि सद्य स्थितीचे वर्णन करणारा लेख अनुवादित केला आहे.

अलिकडच्या वर्षांत, उच्च-कार्यक्षमता पॅकेट प्रक्रिया आवश्यक असलेल्या प्रकरणांमध्ये लिनक्स कर्नलच्या मर्यादांची भरपाई करण्यासाठी प्रोग्रामिंग साधने आणि तंत्रे अधिक लोकप्रिय झाली आहेत. या प्रकारच्या सर्वात लोकप्रिय तंत्रांपैकी एक म्हणतात कर्नल बायपास (कर्नल बायपास) आणि कर्नल नेटवर्क लेयरला बायपास करून, वापरकर्त्याच्या जागेवरून सर्व पॅकेट प्रक्रिया करण्यास अनुमती देते. कर्नल बायपास करण्यामध्ये नेटवर्क कार्ड नियंत्रित करणे देखील समाविष्ट आहे वापरकर्ता जागा. दुसऱ्या शब्दांत, नेटवर्क कार्डसह काम करताना, आम्ही ड्रायव्हरवर अवलंबून असतो वापरकर्ता जागा.

नेटवर्क कार्डचे संपूर्ण नियंत्रण वापरकर्ता-स्पेस प्रोग्राममध्ये हस्तांतरित करून, आम्ही कर्नल ओव्हरहेड (संदर्भ स्विचिंग, नेटवर्क लेयर प्रोसेसिंग, इंटरप्ट्स इ.) कमी करतो, जे 10Gb/s किंवा त्याहून अधिक वेगाने चालत असताना खूप महत्वाचे आहे. कर्नल बायपास आणि इतर वैशिष्ट्यांचे संयोजन (बॅच प्रक्रिया) आणि काळजीपूर्वक कार्यप्रदर्शन ट्यूनिंग (NUMA लेखा, CPU अलगाव, इ.) वापरकर्ता स्पेसमधील उच्च-कार्यक्षमता नेटवर्क प्रक्रियेच्या मूलभूत तत्त्वांशी संबंधित आहे. कदाचित पॅकेट प्रक्रियेच्या या नवीन दृष्टिकोनाचे अनुकरणीय उदाहरण आहे डीपीडीके इंटेल कडून (डेटा प्लेन डेव्हलपमेंट किट), जरी सिस्कोचे व्हीपीपी (वेक्टर पॅकेट प्रोसेसिंग), नेटमॅप आणि अर्थातच, यासह इतर सुप्रसिद्ध साधने आणि तंत्रे आहेत. स्नॅब.

वापरकर्त्याच्या जागेत नेटवर्क परस्परसंवाद आयोजित करण्याचे अनेक तोटे आहेत:

• OS कर्नल हार्डवेअर संसाधनांसाठी एक अ‍ॅबस्ट्रॅक्शन लेयर आहे. कारण वापरकर्ता स्पेस प्रोग्राम्सना त्यांचे संसाधन थेट व्यवस्थापित करावे लागतात, त्यांना त्यांचे स्वतःचे हार्डवेअर देखील व्यवस्थापित करावे लागते. याचा अर्थ आपल्या स्वतःच्या ड्रायव्हर्सना प्रोग्राम करणे आवश्यक आहे.
• कारण आम्ही कर्नलची जागा पूर्णपणे सोडून देत आहोत, आम्ही कर्नलद्वारे प्रदान केलेली नेटवर्किंग कार्यक्षमता देखील सोडून देत आहोत. वापरकर्ता स्पेस प्रोग्रॅम्सनी कर्नल किंवा ऑपरेटिंग सिस्टमद्वारे आधीच प्रदान केलेली वैशिष्ट्ये पुन्हा लागू करणे आवश्यक आहे.
• प्रोग्राम सँडबॉक्स मोडमध्ये कार्य करतात, जे त्यांच्या परस्परसंवादाला गंभीरपणे मर्यादित करते आणि त्यांना ऑपरेटिंग सिस्टमच्या इतर भागांसह एकत्रित होण्यापासून प्रतिबंधित करते.

थोडक्यात, युजर स्पेसमध्ये नेटवर्किंग करताना, पॅकेट प्रोसेसिंग कर्नलमधून युजर स्पेसमध्ये हलवून परफॉर्मन्स नफा मिळवला जातो. XDP अगदी उलट करते: ते नेटवर्किंग प्रोग्राम्स वापरकर्त्याच्या जागेवरून (फिल्टर्स, रिझोल्व्हर्स, राउटिंग इ.) कर्नल स्पेसमध्ये हलवते. पॅकेट नेटवर्क इंटरफेसवर आदळताच आणि कर्नल नेटवर्क सबसिस्टममध्ये जाण्यापूर्वी XDP आम्हाला नेटवर्क कार्य करण्यास अनुमती देते. परिणामी, पॅकेट प्रक्रियेची गती लक्षणीय वाढते. तथापि, कर्नल वापरकर्त्याला कर्नल स्पेसमध्ये त्यांचे प्रोग्राम कार्यान्वित करण्याची परवानगी कशी देते? या प्रश्नाचे उत्तर देण्यापूर्वी, BPF म्हणजे काय ते पाहू.

BPF आणि eBPF

गोंधळात टाकणारे नाव असूनही, BPF (Berkeley Packet Filtering) हे खरे तर एक आभासी मशीन मॉडेल आहे. हे व्हर्च्युअल मशीन मूळतः पॅकेट फिल्टरिंग हाताळण्यासाठी डिझाइन केले होते, म्हणून हे नाव.

BPF वापरून सर्वात प्रसिद्ध साधनांपैकी एक आहे tcpdump. वापरून पॅकेट कॅप्चर करताना tcpdump वापरकर्ता पॅकेट फिल्टर करण्यासाठी अभिव्यक्ती निर्दिष्ट करू शकतो. केवळ या अभिव्यक्तीशी जुळणारी पॅकेट्स कॅप्चर केली जातील. उदाहरणार्थ, अभिव्यक्ती "tcp dst port 80” पोर्ट 80 वर येणार्‍या सर्व TCP पॅकेट्सचा संदर्भ देते. कंपायलर या अभिव्यक्तीला BPF बायकोडमध्ये रूपांतरित करून लहान करू शकतो.

$ sudo tcpdump -d "tcp dst port 80"
(000) ldh [12] (001) jeq #0x86dd jt 2 jf 6
(002) ldb [20] (003) jeq #0x6 jt 4 jf 15
(004) ldh [56] (005) jeq #0x50 jt 14 jf 15
(006) jeq #0x800 jt 7 jf 15
(007) ldb [23] (008) jeq #0x6 jt 9 jf 15
(009) ldh [20] (010) jset #0x1fff jt 15 jf 11
(011) ldxb 4*([14]&0xf)
(012) ldh [x + 16] (013) jeq #0x50 jt 14 jf 15
(014) ret #262144
(015) ret #0

वरील प्रोग्राम मुळात हेच करतो:

• सूचना (000): पॅकेट ऑफसेट 12 वर, 16-बिट शब्द म्हणून, संचयकामध्ये लोड करा. ऑफसेट 12 पॅकेटच्या इथरटाइपशी संबंधित आहे.
• सूचना (001): संचयकातील मूल्याची तुलना 0x86dd सह करते, म्हणजेच IPv6 साठी इथरटाइप मूल्याशी. परिणाम सत्य असल्यास, प्रोग्राम काउंटर सूचना (002) वर जातो, आणि नसल्यास, नंतर (006) वर जातो.
• सूचना (006): 0x800 (IPv4 साठी इथरटाइप मूल्य) सह मूल्याची तुलना करते. जर उत्तर खरे असेल, तर प्रोग्राम (007) वर जाईल, नसल्यास (015) वर जाईल.

आणि असेच पॅकेट फिल्टरिंग प्रोग्राम निकाल देत नाही तोपर्यंत. हे सहसा बुलियन असते. शून्य नसलेले मूल्य (सूचना (014)) परत करणे म्हणजे पॅकेट स्वीकारले गेले आणि शून्य मूल्य (सूचना (015)) परत करणे म्हणजे पॅकेट स्वीकारले गेले नाही.

स्टीव्ह मॅककॅन आणि व्हॅन जेकबसन यांनी 1992 च्या उत्तरार्धात बीपीएफ व्हर्च्युअल मशीन आणि त्याचे बायकोड प्रस्तावित केले होते जेव्हा त्यांचा पेपर प्रकाशित झाला होता. BSD पॅकेट फिल्टर: वापरकर्ता-स्तरीय पॅकेट कॅप्चरसाठी नवीन आर्किटेक्चर, हे तंत्रज्ञान प्रथम 1993 च्या हिवाळ्यात Usenix परिषदेत सादर केले गेले.

BPF हे व्हर्च्युअल मशीन असल्यामुळे, ते कोणत्या वातावरणात प्रोग्राम चालवतात ते परिभाषित करते. बाइटकोड व्यतिरिक्त, ते बॅच मेमरी मॉडेल (लोड सूचना बॅचवर स्पष्टपणे लागू केल्या जातात), रजिस्टर्स (A आणि X; संचयक आणि निर्देशांक रजिस्टर्स), स्क्रॅच मेमरी स्टोरेज आणि एक अव्यक्त प्रोग्राम काउंटर देखील परिभाषित करते. विशेष म्हणजे, BPF बायकोड मोटोरोला 6502 ISA नंतर तयार केले गेले. स्टीव्ह मॅककॅनने त्याच्या आठवणीप्रमाणे पूर्ण अहवाल शार्कफेस्ट '11 मध्ये, त्याला Apple II वरील हायस्कूल दिवसांच्या प्रोग्रामिंगपासून बिल्ड 6502 ची ओळख होती आणि या ज्ञानाने BPF बायकोड डिझाइन करण्याच्या त्याच्या कामावर प्रभाव पाडला.

BPF समर्थन लिनक्स कर्नलमध्ये v2.5 आणि उच्च आवृत्त्यांमध्ये लागू केले गेले आहे, जे मुख्यतः जय शुलिस्टच्या प्रयत्नांनी जोडले गेले आहे. 2011 पर्यंत BPF कोड अपरिवर्तित राहिला, जेव्हा एरिक डुमासेटने BPF इंटरप्रिटरला JIT मोडमध्ये चालवण्यासाठी पुन्हा डिझाइन केले (स्रोत: पॅकेट फिल्टरसाठी JIT). यानंतर, कर्नल, BPF बायकोडचा अर्थ लावण्याऐवजी, थेट BPF प्रोग्राम्सना लक्ष्य आर्किटेक्चरमध्ये रूपांतरित करू शकतो: x86, ARM, MIPS, इ.

नंतर, 2014 मध्ये, Alexey Starovoitov BPF साठी नवीन JIT यंत्रणा प्रस्तावित केली. खरं तर, ही नवीन JIT नवीन BPF-आधारित आर्किटेक्चर बनली आणि त्याला eBPF म्हटले गेले. मला असे वाटते की दोन्ही व्हीएम काही काळ एकत्र होते, परंतु सध्या पॅकेट फिल्टरिंग eBPF वर आधारित लागू केले आहे. खरं तर, आधुनिक दस्तऐवजीकरणाच्या अनेक उदाहरणांमध्ये, BPF हे eBPF समजले जाते आणि शास्त्रीय BPF आज cBPF म्हणून ओळखले जाते.

eBPF क्लासिक BPF व्हर्च्युअल मशीनचा विस्तार अनेक प्रकारे करते:

• आधुनिक 64-बिट आर्किटेक्चरवर आधारित. eBPF 64-बिट रजिस्टर्स वापरते आणि उपलब्ध रजिस्टर्सची संख्या 2 (एक्युम्युलेटर आणि X) वरून 10 पर्यंत वाढवते. eBPF अतिरिक्त opcodes (BPF_MOV, BPF_JNE, BPF_CALL...) देखील प्रदान करते.
• नेटवर्क लेयर उपप्रणालीपासून अलिप्त. BPF बॅच डेटा मॉडेलशी जोडलेले होते. ते पॅकेट फिल्टरिंगसाठी वापरले जात असल्याने, त्याचा कोड नेटवर्क संप्रेषण प्रदान करणार्‍या उपप्रणालीमध्ये स्थित होता. तथापि, eBPF व्हर्च्युअल मशीन यापुढे डेटा मॉडेलशी जोडलेले नाही आणि कोणत्याही कारणासाठी वापरले जाऊ शकते. त्यामुळे, आता eBPF प्रोग्राम ट्रेसपॉईंट किंवा kprobe शी जोडला जाऊ शकतो. हे इतर कर्नल उपप्रणालींच्या संदर्भात eBPF इन्स्ट्रुमेंटेशन, कार्यप्रदर्शन विश्लेषण आणि इतर अनेक वापर प्रकरणांसाठी मार्ग उघडते. आता eBPF कोड त्याच्या स्वतःच्या मार्गावर स्थित आहे: kernel/bpf.
• जागतिक डेटा स्टोअरला नकाशे म्हणतात. नकाशे हे की-व्हॅल्यू स्टोअर्स आहेत जे वापरकर्ता स्पेस आणि कर्नल स्पेस दरम्यान डेटा एक्सचेंज सक्षम करतात. eBPF अनेक प्रकारचे नकाशे प्रदान करते.
• दुय्यम कार्ये. विशेषतः, पॅकेज पुन्हा लिहिण्यासाठी, चेकसमची गणना करा किंवा पॅकेज क्लोन करा. ही फंक्शन्स कर्नलच्या आत चालतात आणि वापरकर्ता-स्पेस प्रोग्राम नाहीत. तुम्ही eBPF प्रोग्राममधून सिस्टम कॉल देखील करू शकता.
• कॉल्स संपवा. eBPF मध्ये प्रोग्रामचा आकार 4096 बाइट्सपर्यंत मर्यादित आहे. टेल कॉल वैशिष्ट्य eBPF प्रोग्रामला नवीन eBPF प्रोग्राममध्ये नियंत्रण हस्तांतरित करण्यास अनुमती देते आणि अशा प्रकारे ही मर्यादा बायपास करते (32 पर्यंत प्रोग्राम अशा प्रकारे लिंक केले जाऊ शकतात).

eBPF: उदाहरण

लिनक्स कर्नल स्त्रोतांमध्ये eBPF साठी अनेक उदाहरणे आहेत. ते नमुने/bpf/ वर उपलब्ध आहेत. ही उदाहरणे संकलित करण्यासाठी, फक्त प्रविष्ट करा:

$ sudo make samples/bpf/

मी स्वत: eBPF साठी नवीन उदाहरण लिहिणार नाही, परंतु सॅम्पल/bpf/ मध्ये उपलब्ध नमुन्यांपैकी एक वापरेन. मी कोडचे काही भाग पाहू आणि ते कसे कार्य करते ते स्पष्ट करेन. उदाहरण म्हणून, मी प्रोग्राम निवडला tracex4.

सर्वसाधारणपणे, नमुने/bpf/ मधील प्रत्येक उदाहरणात दोन फाइल्स असतात. या प्रकरणात:

• tracex4_kern.c, मध्ये कर्नलमध्ये eBPF bytecode म्हणून कार्यान्वित करण्‍यासाठी स्रोत कोड समाविष्ट आहे.
• tracex4_user.c, वापरकर्ता स्पेस मधील प्रोग्राम समाविष्टीत आहे.

या प्रकरणात, आपल्याला संकलित करणे आवश्यक आहे tracex4_kern.c eBPF bytecode वर. सध्या मध्ये gcc eBPF साठी कोणताही बॅकएंड नाही. सुदैवाने, clang eBPF bytecode आउटपुट करू शकतो. Makefile वापरते clang संकलनासाठी tracex4_kern.c ऑब्जेक्ट फाइलवर.

मी वर उल्लेख केला आहे की eBPF च्या सर्वात मनोरंजक वैशिष्ट्यांपैकी एक म्हणजे नकाशे. tracex4_kern एक नकाशा परिभाषित करते:

struct pair {
    u64 val;
    u64 ip;
};  

struct bpf_map_def SEC("maps") my_map = {
    .type = BPF_MAP_TYPE_HASH,
    .key_size = sizeof(long),
    .value_size = sizeof(struct pair),
    .max_entries = 1000000,
};

BPF_MAP_TYPE_HASH eBPF द्वारे ऑफर केलेल्या अनेक प्रकारच्या कार्डांपैकी एक आहे. या प्रकरणात, तो फक्त एक हॅश आहे. तुम्‍ही कदाचित जाहिरात पाहिली असेल SEC("maps"). SEC हा एक मॅक्रो आहे जो बायनरी फाइलचा नवीन विभाग तयार करण्यासाठी वापरला जातो. खरं तर, उदाहरणात tracex4_kern आणखी दोन विभाग परिभाषित केले आहेत:

SEC("kprobe/kmem_cache_free")
int bpf_prog1(struct pt_regs *ctx)
{   
    long ptr = PT_REGS_PARM2(ctx);

    bpf_map_delete_elem(&my_map, &ptr); 
    return 0;
}
    
SEC("kretprobe/kmem_cache_alloc_node") 
int bpf_prog2(struct pt_regs *ctx)
{
    long ptr = PT_REGS_RC(ctx);
    long ip = 0;

    // получаем ip-адрес вызывающей стороны kmem_cache_alloc_node() 
    BPF_KRETPROBE_READ_RET_IP(ip, ctx);

    struct pair v = {
        .val = bpf_ktime_get_ns(),
        .ip = ip,
    };
    
    bpf_map_update_elem(&my_map, &ptr, &v, BPF_ANY);
    return 0;
}   

ही दोन फंक्शन्स तुम्हाला नकाशावरून एंट्री हटवण्याची परवानगी देतात (kprobe/kmem_cache_free) आणि नकाशावर एक नवीन एंट्री जोडा (kretprobe/kmem_cache_alloc_node). कॅपिटल अक्षरांमध्ये लिहिलेली सर्व फंक्शन नावे परिभाषित केलेल्या मॅक्रोशी संबंधित आहेत bpf_helpers.h.

जर मी ऑब्जेक्ट फाईलचे विभाग टाकले, तर हे नवीन विभाग आधीच परिभाषित केलेले आहेत हे मला दिसले पाहिजे:

$ objdump -h tracex4_kern.o

tracex4_kern.o: file format elf64-little

Sections:
Idx Name Size VMA LMA File off Algn
0 .text 00000000 0000000000000000 0000000000000000 00000040 2**2
CONTENTS, ALLOC, LOAD, READONLY, CODE
1 kprobe/kmem_cache_free 00000048 0000000000000000 0000000000000000 00000040 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, CODE
2 kretprobe/kmem_cache_alloc_node 000000c0 0000000000000000 0000000000000000 00000088 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, CODE
3 maps 0000001c 0000000000000000 0000000000000000 00000148 2**2
CONTENTS, ALLOC, LOAD, DATA
4 license 00000004 0000000000000000 0000000000000000 00000164 2**0
CONTENTS, ALLOC, LOAD, DATA
5 version 00000004 0000000000000000 0000000000000000 00000168 2**2
CONTENTS, ALLOC, LOAD, DATA
6 .eh_frame 00000050 0000000000000000 0000000000000000 00000170 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, DATA

तसेच आहे tracex4_user.c, मुख्य कार्यक्रम. मुळात हा कार्यक्रम कार्यक्रम ऐकतो kmem_cache_alloc_node. जेव्हा अशी घटना घडते, तेव्हा संबंधित eBPF कोड कार्यान्वित केला जातो. कोड ऑब्जेक्टची IP विशेषता नकाशामध्ये सेव्ह करतो आणि ऑब्जेक्ट नंतर मुख्य प्रोग्रामद्वारे लूप केला जातो. उदाहरण:

$ sudo ./tracex4
obj 0xffff8d6430f60a00 is 2sec old was allocated at ip ffffffff9891ad90
obj 0xffff8d6062ca5e00 is 23sec old was allocated at ip ffffffff98090e8f
obj 0xffff8d5f80161780 is 6sec old was allocated at ip ffffffff98090e8f

वापरकर्ता स्पेस प्रोग्राम आणि eBPF प्रोग्राम कसे संबंधित आहेत? आरंभीवर tracex4_user.c ऑब्जेक्ट फाइल लोड करते tracex4_kern.o फंक्शन वापरून load_bpf_file.

int main(int ac, char **argv)
{
    struct rlimit r = {RLIM_INFINITY, RLIM_INFINITY};
    char filename[256];
    int i;

    snprintf(filename, sizeof(filename), "%s_kern.o", argv[0]);

    if (setrlimit(RLIMIT_MEMLOCK, &r)) {
        perror("setrlimit(RLIMIT_MEMLOCK, RLIM_INFINITY)");
        return 1;
    }

    if (load_bpf_file(filename)) {
        printf("%s", bpf_log_buf);
        return 1;
    }

    for (i = 0; ; i++) {
        print_old_objects(map_fd[1]);
        sleep(1);
    }

    return 0;
}

असे करून load_bpf_file eBPF फाइलमध्ये परिभाषित केलेल्या प्रोब्समध्ये जोडल्या जातात /sys/kernel/debug/tracing/kprobe_events. आता आम्ही या कार्यक्रमांसाठी ऐकतो आणि जेव्हा ते घडतात तेव्हा आमचा कार्यक्रम काहीतरी करू शकतो.

$ sudo cat /sys/kernel/debug/tracing/kprobe_events
p:kprobes/kmem_cache_free kmem_cache_free
r:kprobes/kmem_cache_alloc_node kmem_cache_alloc_node

नमुना/bpf/ मधील इतर सर्व प्रोग्राम्सची रचना अशीच आहे. त्यामध्ये नेहमी दोन फायली असतात:

• XXX_kern.c: eBPF कार्यक्रम.
• XXX_user.c: मुख्य कार्यक्रम.

eBPF प्रोग्राम विभागाशी संबंधित नकाशे आणि कार्ये ओळखतो. जेव्हा कर्नल विशिष्ट प्रकारची घटना जारी करते (उदाहरणार्थ, tracepoint), बंधनकारक कार्ये अंमलात आणली जातात. कार्ड कर्नल प्रोग्राम आणि वापरकर्ता स्पेस प्रोग्राम दरम्यान संवाद प्रदान करतात.

निष्कर्ष

या लेखात BPF आणि eBPF वर सर्वसाधारणपणे चर्चा केली आहे. मला माहित आहे की आज eBPF बद्दल बरीच माहिती आणि संसाधने आहेत, म्हणून मी पुढील अभ्यासासाठी आणखी काही संसाधनांची शिफारस करेन

मी वाचण्याची शिफारस करतो:

• BPF: युनिव्हर्सल इन-कर्नल व्हर्च्युअल मशीन जोनाथन कॉर्बेट. BPF चा परिचय आणि तो eBPF मध्ये कसा विकसित झाला.
• eBPF चा सखोल परिचय ब्रेंडन ग्रेग. LWN.net कडील लेख. ब्रेंडन वारंवार eBPF बद्दल ट्विट करतो आणि त्याच्या विषयावरील संसाधनांची यादी ठेवतो ब्लॉग पोस्ट.
• BPF आणि eBPF वर नोट्स ज्युलिया इव्हान्स. सुचक्रा शर्माच्या सादरीकरणावर टिप्पण्या “द बीएसडी पॅकेट फिल्टर: युजर-लेव्हल पॅकेट कॅप्चरसाठी नवीन आर्किटेक्चर”. टिप्पण्या चांगल्या आहेत आणि तुम्हाला स्लाइड्स समजून घेण्यात खरोखर मदत करतात.
• eBPF, भाग 1: भूतकाळ, वर्तमान आणि भविष्य फेरीस एलिस. सह लांबवाचक सातत्य, पण ते वाचण्यासारखे आहे. मी eBPF वर भेटलेल्या सर्वोत्तम लेखांपैकी एक.

स्त्रोत: www.habr.com