बीपीएफ और ईबीपीएफ का संक्षिप्त परिचय

हे हबर! हम आपको सूचित करते हैं कि हम एक पुस्तक जारी करने की तैयारी कर रहे हैं"बीपीएफ के साथ लिनक्स ऑब्जर्वेबिलिटी".

चूंकि बीपीएफ वर्चुअल मशीन लगातार विकसित हो रही है और व्यवहार में सक्रिय रूप से उपयोग की जा रही है, हमने आपके लिए इसकी मुख्य विशेषताओं और वर्तमान स्थिति का वर्णन करने वाले एक लेख का अनुवाद किया है।

हाल के वर्षों में, उन मामलों में जहां उच्च-प्रदर्शन पैकेट प्रसंस्करण की आवश्यकता होती है, लिनक्स कर्नेल की सीमाओं की भरपाई के लिए प्रोग्रामिंग टूल और तकनीकों ने लोकप्रियता हासिल की है। इस तरह की सबसे लोकप्रिय विधियों में से एक कहा जाता है कोर बाईपास (कर्नेल बायपास) और कर्नेल की नेटवर्क परत को छोड़कर, उपयोगकर्ता स्थान से सभी पैकेट प्रोसेसिंग करने की अनुमति देता है। कर्नेल को बायपास करने में नेटवर्क कार्ड को प्रबंधित करना भी शामिल है उपयोक्ता स्थान. दूसरे शब्दों में, नेटवर्क कार्ड के साथ काम करते समय, हम ड्राइवर पर भरोसा करते हैं उपयोक्ता स्थान.

नेटवर्क कार्ड का पूर्ण नियंत्रण उपयोगकर्ता-स्पेस प्रोग्राम में स्थानांतरित करके, हम कर्नेल (संदर्भ स्विच, नेटवर्क परत प्रसंस्करण, इंटरप्ट इत्यादि) के कारण होने वाले ओवरहेड को कम करते हैं, जो 10 जीबी / एस या की गति पर चलने पर काफी महत्वपूर्ण है। उच्चतर. कर्नेल को दरकिनार करने के साथ-साथ अन्य सुविधाओं का संयोजन (प्रचय संसाधन) और सावधानीपूर्वक प्रदर्शन ट्यूनिंग (NUMA लेखांकन, सीपीयू अलगाव, आदि) उच्च-प्रदर्शन उपयोगकर्ता-स्पेस नेटवर्किंग की मूल बातें फिट बैठते हैं। शायद पैकेट प्रोसेसिंग के इस नए दृष्टिकोण का एक अनुकरणीय उदाहरण है डीपीडीके इंटेल से (डेटा प्लेन डेवलपमेंट किट), हालांकि अन्य प्रसिद्ध उपकरण और तकनीकें हैं, जिनमें सिस्को से वीपीपी (वेक्टर पैकेट प्रोसेसिंग), नेटमैप और निश्चित रूप से शामिल हैं। झपटना.

उपयोगकर्ता स्थान में नेटवर्क इंटरैक्शन के संगठन के कई नुकसान हैं:

• OS कर्नेल हार्डवेयर संसाधनों के लिए एक अमूर्त परत है। क्योंकि उपयोगकर्ता-अंतरिक्ष कार्यक्रमों को सीधे अपने संसाधनों का प्रबंधन करना होता है, उन्हें अपने हार्डवेयर का भी प्रबंधन करना होता है। इसका मतलब अक्सर अपने स्वयं के ड्राइवरों को प्रोग्राम करना होता है।
• चूँकि हम कर्नेल स्पेस को पूरी तरह से छोड़ रहे हैं, हम कर्नेल द्वारा प्रदान की गई सभी नेटवर्किंग कार्यक्षमता को भी छोड़ रहे हैं। उपयोगकर्ता-स्पेस प्रोग्राम को उन सुविधाओं को फिर से लागू करना होगा जो पहले से ही कर्नेल या ऑपरेटिंग सिस्टम द्वारा प्रदान की जा सकती हैं।
• प्रोग्राम सैंडबॉक्स मोड में काम करते हैं, जो उनकी बातचीत को गंभीरता से सीमित करता है और उन्हें ऑपरेटिंग सिस्टम के अन्य हिस्सों के साथ एकीकृत होने से रोकता है।

संक्षेप में, उपयोगकर्ता स्थान में नेटवर्किंग करते समय, पैकेट प्रोसेसिंग को कर्नेल से उपयोगकर्ता स्थान पर ले जाकर प्रदर्शन लाभ प्राप्त किया जाता है। XDP बिल्कुल विपरीत कार्य करता है: यह नेटवर्क प्रोग्राम को उपयोगकर्ता स्थान (फ़िल्टर, कन्वर्टर्स, रूटिंग, आदि) से कर्नेल क्षेत्र में ले जाता है। जैसे ही पैकेट नेटवर्क इंटरफ़ेस से टकराता है और कर्नेल के नेटवर्क सबसिस्टम तक यात्रा शुरू करने से पहले XDP हमें नेटवर्क फ़ंक्शन निष्पादित करने की अनुमति देता है। परिणामस्वरूप, पैकेट प्रसंस्करण गति में काफी वृद्धि हुई है। हालाँकि, कर्नेल उपयोगकर्ता को कर्नेल स्पेस में अपने प्रोग्राम चलाने की अनुमति कैसे देता है? इस प्रश्न का उत्तर देने से पहले, आइए देखें कि बीपीएफ क्या है।

बीपीएफ और ईबीपीएफ

पूरी तरह से स्पष्ट नाम नहीं होने के बावजूद, बीपीएफ (पैकेट फ़िल्टरिंग, बर्कले) वास्तव में एक वर्चुअल मशीन मॉडल है। यह वर्चुअल मशीन मूल रूप से पैकेट फ़िल्टरिंग को संभालने के लिए डिज़ाइन की गई थी, इसलिए इसे यह नाम दिया गया।

BPF का उपयोग करने वाले अधिक प्रसिद्ध उपकरणों में से एक है tcpdump. पैकेट कैप्चर करते समय tcpdump उपयोगकर्ता पैकेट फ़िल्टरिंग के लिए एक अभिव्यक्ति निर्दिष्ट कर सकता है। केवल इस अभिव्यक्ति से मेल खाने वाले पैकेट ही कैप्चर किए जाएंगे। उदाहरण के लिए, अभिव्यक्ति "tcp dst port 80” पोर्ट 80 पर आने वाले सभी टीसीपी पैकेटों को संदर्भित करता है। कंपाइलर इस अभिव्यक्ति को बीपीएफ बाइटकोड में परिवर्तित करके छोटा कर सकता है।

$ sudo tcpdump -d "tcp dst port 80"
(000) ldh [12] (001) jeq #0x86dd jt 2 jf 6
(002) ldb [20] (003) jeq #0x6 jt 4 jf 15
(004) ldh [56] (005) jeq #0x50 jt 14 jf 15
(006) jeq #0x800 jt 7 jf 15
(007) ldb [23] (008) jeq #0x6 jt 9 jf 15
(009) ldh [20] (010) jset #0x1fff jt 15 jf 11
(011) ldxb 4*([14]&0xf)
(012) ldh [x + 16] (013) jeq #0x50 jt 14 jf 15
(014) ret #262144
(015) ret #0

उपरोक्त प्रोग्राम मूलतः यही करता है:

• निर्देश (000): पैकेट को ऑफसेट 12 पर, 16-बिट शब्द के रूप में, संचायक में लोड करता है। ऑफसेट 12 पैकेट के ईथरटाइप से मेल खाता है।
• निर्देश (001): संचायक में मान की तुलना 0x86dd से करता है, अर्थात IPv6 के लिए ईथरटाइप मान के साथ। यदि परिणाम सत्य है, तो प्रोग्राम काउंटर निर्देश (002) पर जाता है, और यदि नहीं, तो (006) पर जाता है।
• निर्देश (006): मान की तुलना 0x800 (आईपीवी4 के लिए ईथरटाइप मान) से करता है। यदि उत्तर सत्य है, तो प्रोग्राम (007) पर जाता है, यदि नहीं, तो (015) पर जाता है।

और इसी तरह, जब तक कि पैकेट फ़िल्टरिंग प्रोग्राम कोई परिणाम न दे दे। आमतौर पर यह बूलियन होता है. गैर-शून्य मान (निर्देश (014)) लौटाने का मतलब है कि पैकेट मेल खाता है, और शून्य लौटाने (निर्देश (015)) का मतलब है कि पैकेट मेल नहीं खाता है।

बीपीएफ वर्चुअल मशीन और इसके बाइटकोड को 1992 के अंत में स्टीव मैककैन और वैन जैकबसन द्वारा प्रस्तावित किया गया था जब उनका पेपर सामने आया था। बीएसडी पैकेट फ़िल्टर: उपयोगकर्ता-स्तरीय पैकेट कैप्चर के लिए नया आर्किटेक्चर, पहली बार इस तकनीक को 1993 की सर्दियों में यूसेनिक्स सम्मेलन में प्रस्तुत किया गया था।

चूँकि BPF एक वर्चुअल मशीन है, यह उस वातावरण को परिभाषित करती है जिसमें प्रोग्राम चलते हैं। बाइटकोड के अलावा, यह एक पैकेट मेमोरी मॉडल (लोड निर्देश एक पैकेट पर अंतर्निहित रूप से लागू होते हैं), रजिस्टर (ए और एक्स; संचायक और इंडेक्स रजिस्टर), स्क्रैच मेमोरी स्टोरेज और एक अंतर्निहित प्रोग्राम काउंटर को भी परिभाषित करता है। दिलचस्प बात यह है कि बीपीएफ बाइटकोड को मोटोरोला 6502 आईएसए के आधार पर तैयार किया गया था। जैसा कि स्टीव मैक्कैन ने अपने में याद किया पूर्ण रिपोर्ट शार्कफेस्ट '11 में, एप्पल II पर प्रोग्रामिंग करते समय वह हाई स्कूल से बिल्ड 6502 से परिचित थे, और इस ज्ञान ने बीपीएफ बाइटकोड को डिजाइन करने के उनके काम को प्रभावित किया।

बीपीएफ समर्थन लिनक्स कर्नेल में संस्करण v2.5 और बाद में लागू किया गया है, जिसे मुख्य रूप से जे शूलिस्ट द्वारा जोड़ा गया है। बीपीएफ कोड 2011 तक अपरिवर्तित रहा, जब एरिक डुमासेट ने जेआईटी मोड में काम करने के लिए बीपीएफ दुभाषिया को फिर से डिजाइन किया (स्रोत: पैकेट फ़िल्टर के लिए JIT). उसके बाद, BPF बाइटकोड की व्याख्या करने के बजाय, कर्नेल सीधे BPF प्रोग्राम को लक्ष्य आर्किटेक्चर में परिवर्तित कर सकता है: x86, ARM, MIPS, आदि।

बाद में, 2014 में, एलेक्सी स्टारोवोइटोव ने बीपीएफ के लिए एक नया जेआईटी तंत्र प्रस्तावित किया। वास्तव में, यह नया JIT BPF पर आधारित एक नया आर्किटेक्चर बन गया और इसे eBPF कहा गया। मुझे लगता है कि दोनों वीएम कुछ समय के लिए सह-अस्तित्व में थे, लेकिन पैकेट फ़िल्टरिंग वर्तमान में ईबीपीएफ के शीर्ष पर लागू की गई है। वास्तव में, कई आधुनिक दस्तावेज़ीकरण उदाहरणों में, बीपीएफ को ईबीपीएफ के रूप में जाना जाता है, और शास्त्रीय बीपीएफ को आज सीबीपीएफ के रूप में जाना जाता है।

eBPF क्लासिक BPF वर्चुअल मशीन को कई तरीकों से विस्तारित करता है:

• आधुनिक 64-बिट आर्किटेक्चर पर निर्भर करता है। eBPF 64-बिट रजिस्टरों का उपयोग करता है और उपलब्ध रजिस्टरों की संख्या 2 (संचायक और X) से बढ़ाकर 10 कर देता है। eBPF अतिरिक्त ऑपकोड (BPF_MOV, BPF_JNE, BPF_CALL...) भी प्रदान करता है।
• नेटवर्क लेयर सबसिस्टम से अलग किया गया। बीपीएफ बैच डेटा मॉडल से जुड़ा था। चूँकि इसका उपयोग पैकेटों को फ़िल्टर करने के लिए किया जाता था, इसका कोड सबसिस्टम में था जो नेटवर्क इंटरैक्शन प्रदान करता था। हालाँकि, eBPF वर्चुअल मशीन अब डेटा मॉडल से बंधी नहीं है और इसका उपयोग किसी भी उद्देश्य के लिए किया जा सकता है। तो, अब eBPF प्रोग्राम को ट्रेसपॉइंट या kprobe से जोड़ा जा सकता है। यह अन्य कर्नेल सबसिस्टम के संदर्भ में ईबीपीएफ इंस्ट्रूमेंटेशन, प्रदर्शन विश्लेषण और कई अन्य उपयोग के मामलों के लिए द्वार खोलता है। अब ईबीपीएफ कोड अपने पथ में स्थित है: कर्नेल/बीपीएफ।
• वैश्विक डेटा भंडार जिन्हें मैप्स कहा जाता है। मानचित्र कुंजी-मूल्य भंडार हैं जो उपयोगकर्ता स्थान और कर्नेल स्थान के बीच डेटा विनिमय प्रदान करते हैं। eBPF कई प्रकार के कार्ड प्रदान करता है।
• द्वितीयक कार्य. विशेष रूप से, किसी पैकेज को अधिलेखित करने, चेकसम की गणना करने, या किसी पैकेज को क्लोन करने के लिए। ये फ़ंक्शन कर्नेल के अंदर चलते हैं और उपयोगकर्ता-स्पेस प्रोग्राम से संबंधित नहीं हैं। इसके अलावा, eBPF प्रोग्राम से सिस्टम कॉल की जा सकती है।
• कॉल समाप्त करें. eBPF में प्रोग्राम का आकार 4096 बाइट्स तक सीमित है। एंड कॉल सुविधा एक eBPF प्रोग्राम को नियंत्रण को एक नए eBPF प्रोग्राम में स्थानांतरित करने की अनुमति देती है और इस प्रकार इस सीमा को बायपास करती है (32 प्रोग्राम तक इस तरह से जंजीर बनाई जा सकती है)।

ईबीपीएफ उदाहरण

लिनक्स कर्नेल स्रोतों में eBPF के कई उदाहरण हैं। वे नमूने/बीपीएफ/ पर उपलब्ध हैं। इन उदाहरणों को संकलित करने के लिए, बस टाइप करें:

$ sudo make samples/bpf/

मैं स्वयं ईबीपीएफ के लिए कोई नया उदाहरण नहीं लिखूंगा, लेकिन नमूने/बीपीएफ/ में उपलब्ध नमूनों में से एक का उपयोग करूंगा। मैं कोड के कुछ हिस्सों को देखूंगा और समझाऊंगा कि यह कैसे काम करता है। उदाहरण के तौर पर, मैंने प्रोग्राम को चुना tracex4.

सामान्य तौर पर, नमूने/बीपीएफ/ में प्रत्येक उदाहरण में दो फ़ाइलें होती हैं। इस मामले में:

• tracex4_kern.c, कर्नेल में eBPF बाइटकोड के रूप में निष्पादित होने वाला स्रोत कोड शामिल है।
• tracex4_user.c, उपयोगकर्ता स्थान से एक प्रोग्राम शामिल है।

इस मामले में, हमें संकलन करने की आवश्यकता है tracex4_kern.c ईबीपीएफ बाइटकोड के लिए। फिलहाल में gcc eBPF के लिए कोई सर्वर पार्ट नहीं है। सौभाग्य से, clang ईबीपीएफ बाइटकोड का उत्पादन कर सकता है। Makefile का उपयोग करता है clang संकलन करना tracex4_kern.c ऑब्जेक्ट फ़ाइल में.

मैंने ऊपर उल्लेख किया है कि ईबीपीएफ की सबसे दिलचस्प विशेषताओं में से एक मानचित्र है। ट्रेसएक्स4_कर्न एक मानचित्र को परिभाषित करता है:

struct pair {
    u64 val;
    u64 ip;
};  

struct bpf_map_def SEC("maps") my_map = {
    .type = BPF_MAP_TYPE_HASH,
    .key_size = sizeof(long),
    .value_size = sizeof(struct pair),
    .max_entries = 1000000,
};

BPF_MAP_TYPE_HASH eBPF द्वारा पेश किए जाने वाले कई कार्ड प्रकारों में से एक है। इस मामले में, यह सिर्फ एक हैश है। आपने भी विज्ञापन पर गौर किया होगा SEC("maps"). एसईसी एक मैक्रो है जिसका उपयोग बाइनरी फ़ाइल का एक नया अनुभाग बनाने के लिए किया जाता है। दरअसल, उदाहरण में tracex4_kern दो और अनुभाग परिभाषित हैं:

SEC("kprobe/kmem_cache_free")
int bpf_prog1(struct pt_regs *ctx)
{   
    long ptr = PT_REGS_PARM2(ctx);

    bpf_map_delete_elem(&my_map, &ptr); 
    return 0;
}
    
SEC("kretprobe/kmem_cache_alloc_node") 
int bpf_prog2(struct pt_regs *ctx)
{
    long ptr = PT_REGS_RC(ctx);
    long ip = 0;

    // получаем ip-адрес вызывающей стороны kmem_cache_alloc_node() 
    BPF_KRETPROBE_READ_RET_IP(ip, ctx);

    struct pair v = {
        .val = bpf_ktime_get_ns(),
        .ip = ip,
    };
    
    bpf_map_update_elem(&my_map, &ptr, &v, BPF_ANY);
    return 0;
}   

ये दो फ़ंक्शन आपको मानचित्र से एक प्रविष्टि हटाने की अनुमति देते हैं (kprobe/kmem_cache_free) और मानचित्र में एक नई प्रविष्टि जोड़ें (kretprobe/kmem_cache_alloc_node). बड़े अक्षरों में लिखे गए सभी फ़ंक्शन नाम परिभाषित मैक्रोज़ के अनुरूप हैं bpf_helpers.h.

यदि मैं ऑब्जेक्ट फ़ाइल के अनुभागों को डंप करता हूं, तो मुझे देखना चाहिए कि ये नए अनुभाग पहले से ही परिभाषित हैं:

$ objdump -h tracex4_kern.o

tracex4_kern.o: file format elf64-little

Sections:
Idx Name Size VMA LMA File off Algn
0 .text 00000000 0000000000000000 0000000000000000 00000040 2**2
CONTENTS, ALLOC, LOAD, READONLY, CODE
1 kprobe/kmem_cache_free 00000048 0000000000000000 0000000000000000 00000040 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, CODE
2 kretprobe/kmem_cache_alloc_node 000000c0 0000000000000000 0000000000000000 00000088 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, CODE
3 maps 0000001c 0000000000000000 0000000000000000 00000148 2**2
CONTENTS, ALLOC, LOAD, DATA
4 license 00000004 0000000000000000 0000000000000000 00000164 2**0
CONTENTS, ALLOC, LOAD, DATA
5 version 00000004 0000000000000000 0000000000000000 00000168 2**2
CONTENTS, ALLOC, LOAD, DATA
6 .eh_frame 00000050 0000000000000000 0000000000000000 00000170 2**3
CONTENTS, ALLOC, LOAD, RELOC, READONLY, DATA

अभी भी है tracex4_user.c, मुख्य कार्यक्रम। मूलतः, यह प्रोग्राम घटनाओं को सुनता है kmem_cache_alloc_node. जब ऐसी कोई घटना होती है, तो संबंधित eBPF कोड निष्पादित किया जाता है। कोड ऑब्जेक्ट की आईपी विशेषता को मानचित्र में सहेजता है, और फिर ऑब्जेक्ट को मुख्य प्रोग्राम के माध्यम से लूप किया जाता है। उदाहरण:

$ sudo ./tracex4
obj 0xffff8d6430f60a00 is 2sec old was allocated at ip ffffffff9891ad90
obj 0xffff8d6062ca5e00 is 23sec old was allocated at ip ffffffff98090e8f
obj 0xffff8d5f80161780 is 6sec old was allocated at ip ffffffff98090e8f

यूजर स्पेस प्रोग्राम और ईबीपीएफ प्रोग्राम कैसे संबंधित हैं? आरंभीकरण पर tracex4_user.c ऑब्जेक्ट फ़ाइल लोड करता है tracex4_kern.o समारोह का उपयोग करना load_bpf_file.

int main(int ac, char **argv)
{
    struct rlimit r = {RLIM_INFINITY, RLIM_INFINITY};
    char filename[256];
    int i;

    snprintf(filename, sizeof(filename), "%s_kern.o", argv[0]);

    if (setrlimit(RLIMIT_MEMLOCK, &r)) {
        perror("setrlimit(RLIMIT_MEMLOCK, RLIM_INFINITY)");
        return 1;
    }

    if (load_bpf_file(filename)) {
        printf("%s", bpf_log_buf);
        return 1;
    }

    for (i = 0; ; i++) {
        print_old_objects(map_fd[1]);
        sleep(1);
    }

    return 0;
}

जब प्रदर्शन कर रहे हैं load_bpf_file eBPF फ़ाइल में परिभाषित जांच को इसमें जोड़ा जाता है /sys/kernel/debug/tracing/kprobe_events. अब हम इन घटनाओं को सुनते हैं और जब ये घटित होती हैं तो हमारा कार्यक्रम कुछ कर सकता है।

$ sudo cat /sys/kernel/debug/tracing/kprobe_events
p:kprobes/kmem_cache_free kmem_cache_free
r:kprobes/kmem_cache_alloc_node kmem_cache_alloc_node

नमूना/बीपीएफ/ में अन्य सभी कार्यक्रम समान रूप से संरचित हैं। उनमें हमेशा दो फ़ाइलें होती हैं:

• XXX_kern.c: ईबीपीएफ कार्यक्रम।
• XXX_user.c: मुख्य कार्यक्रम.

eBPF प्रोग्राम किसी अनुभाग से जुड़े मानचित्रों और कार्यों को परिभाषित करता है। जब कर्नेल एक निश्चित प्रकार की घटना उत्सर्जित करता है (उदाहरण के लिए, tracepoint), बाउंड फ़ंक्शंस निष्पादित होते हैं। मानचित्र कर्नेल प्रोग्राम और उपयोगकर्ता-स्पेस प्रोग्राम के बीच संचार प्रदान करते हैं।

निष्कर्ष

इस लेख में, BPF और eBPF पर सामान्य शब्दों में चर्चा की गई। मुझे पता है कि आज ईबीपीएफ के बारे में बहुत सारी जानकारी और संसाधन हैं, इसलिए मैं आगे के अध्ययन के लिए कुछ और सामग्रियों की सिफारिश करूंगा।

मैं पढ़ने की सलाह देता हूं:

• बीपीएफ: यूनिवर्सल इन-कर्नेल वर्चुअल मशीन जोनाथन कॉर्बेट. बीपीएफ का परिचय और यह ईबीपीएफ में कैसे विकसित हुआ।
• ईबीपीएफ का संपूर्ण परिचय ब्रेंडन ग्रेग. LWN.net से आलेख. ब्रेंडन अक्सर ईबीपीएफ के बारे में ट्वीट करते हैं और अपनी वेबसाइट पर इस विषय पर संसाधनों की एक सूची रखते हैं। ब्लॉग.
• बीपीएफ और ईबीपीएफ पर नोट्स जूलिया इवांस. सुचक्र शर्मा की प्रस्तुति "बीएसडी पैकेट फ़िल्टर: उपयोगकर्ता-स्तरीय पैकेट कैप्चर के लिए एक नई वास्तुकला" पर टिप्पणियाँ। टिप्पणियाँ अच्छी हैं और वास्तव में स्लाइड्स को समझने में मदद करती हैं।
• ईबीपीएफ, भाग 1: अतीत, वर्तमान और भविष्य फेरिस एलिस. साथ में लंबे समय तक पढ़ें विस्तारलेकिन पढ़ने लायक. सबसे अच्छे ईबीपीएफ लेखों में से एक जो मैंने देखा है।

स्रोत: www.habr.com