Kubernetes नेटवर्किंग प्लगइन (CNI) बेंचमार्क परिणाम 10 Gbps नेटवर्कपेक्षा जास्त (एप्रिल 2019 अद्यतनित)

हे माझे अपडेट आहे मागील बेंचमार्क, जे आता एप्रिल 1.14 पर्यंत नवीनतम CNI आवृत्तीसह Kubernetes 2019 वर चालते.

सर्वप्रथम, मी Cilium टीमचे आभार मानू इच्छितो: मुलांनी मला मेट्रिक्स मॉनिटरिंग स्क्रिप्ट तपासण्यात आणि दुरुस्त करण्यात मदत केली.

नोव्हेंबर 2018 पासून काय बदलले आहे

तेव्हापासून काय बदलले ते येथे आहे (तुम्हाला स्वारस्य असल्यास):

फ्लॅनेल हा सर्वात वेगवान आणि सोपा CNI इंटरफेस आहे, परंतु तरीही नेटवर्क धोरणे आणि एन्क्रिप्शनला समर्थन देत नाही.

Romana यापुढे समर्थित नाही, म्हणून आम्ही ते बेंचमार्कमधून काढून टाकले आहे.

WeaveNet आता Ingress आणि Egress साठी नेटवर्क धोरणांना समर्थन देते! पण उत्पादकता कमी झाली आहे.

कॅलिकोमध्ये, सर्वोत्तम कामगिरीसाठी तुम्हाला कमाल पॅकेट आकार (MTU) मॅन्युअली कॉन्फिगर करणे आवश्यक आहे. CNI स्थापित करण्यासाठी कॅलिको दोन पर्याय ऑफर करते, जेणेकरुन तुम्ही वेगळ्या ETCD रेपॉजिटरीशिवाय करू शकता:

• Kubernetes API मध्‍ये डेटा स्‍टोअर म्‍हणून स्‍टोअरिंग स्‍टेट (क्‍लस्‍टर आकार < 50 नोडस्);
• K8S API (क्लस्टर आकार > 50 नोड्स) वरील भार कमी करण्यासाठी टायफा प्रॉक्सीसह डेटा स्टोअर म्हणून Kubernetes API मध्ये संचयित करण्याची स्थिती.

कॅलिकोने पाठिंबा जाहीर केला अनुप्रयोग स्तर धोरणे अनुप्रयोग-स्तरीय सुरक्षिततेसाठी Istio च्या शीर्षस्थानी.

Cilium आता एनक्रिप्शनला सपोर्ट करते! Cilium IPSec बोगद्यांसह एनक्रिप्शन प्रदान करते आणि एनक्रिप्टेड WeaveNet नेटवर्कला पर्याय देते. परंतु वीव्हनेट एनक्रिप्शन सक्षम असलेल्या Cilium पेक्षा वेगवान आहे.

अंगभूत ETCD ऑपरेटरमुळे Cilium आता तैनात करणे सोपे झाले आहे.

Cilium संघाने मेमरी वापर आणि CPU खर्च कमी करून CNI वरून काही वजन कमी करण्याचा प्रयत्न केला आहे, परंतु त्याचे प्रतिस्पर्धी अद्याप हलके आहेत.

बेंचमार्क संदर्भ

बेंचमार्क 10 Gb सुपरमाइक्रो स्विचसह तीन नॉन-व्हर्च्युअलाइज्ड सुपरमाइक्रो सर्व्हरवर चालवला जातो. सर्व्हर निष्क्रिय DAC SFP+ केबल्सद्वारे स्विचशी थेट जोडलेले आहेत आणि जंबो फ्रेम्स (MTU 9000) सह समान VLAN वर कॉन्फिगर केले आहेत.

कुबर्नेट्स 1.14.0 उबंटू 18.04 LTS वर डॉकर 18.09.2 सह स्थापित केले आहे (या प्रकाशनातील डीफॉल्ट डॉकर आवृत्ती).

पुनरुत्पादनक्षमता सुधारण्यासाठी, आम्ही नेहमी पहिल्या नोडवर मास्टर कॉन्फिगर करण्याचा, बेंचमार्कचा सर्व्हर भाग दुसऱ्या सर्व्हरवर आणि क्लायंटचा भाग तिसऱ्यावर ठेवण्याचा निर्णय घेतला. हे करण्यासाठी, आम्ही Kubernetes उपयोजनांमध्ये NodeSelector वापरतो.

आम्ही खालील स्केलवर बेंचमार्क परिणामांचे वर्णन करू:

बेंचमार्कसाठी CNI निवडणे

विभागातील सूचीमधून फक्त CNI साठी हा बेंचमार्क आहे kubeadm सह एक मास्टर क्लस्टर तयार करण्याबद्दल अधिकृत Kubernetes दस्तऐवजीकरण पहा. 9 CNIs पैकी, आम्ही फक्त 6 घेऊ: आम्ही त्या वगळू ज्यांना स्थापित करणे कठीण आहे आणि/किंवा कागदपत्रांनुसार कॉन्फिगरेशनशिवाय कार्य करत नाही (Romana, Contiv-VPP आणि JuniperContrail/TungstenFabric).

आम्ही खालील CNI ची तुलना करू:

• कॅलिको v3.6
• कालवा v3.6 (नेटवर्किंगसाठी मूलत: फ्लॅनेल + फायरवॉल म्हणून कॅलिको)
• सिलियम 1.4.2
• फ्लॅनेल 0.11.0
• कुबे-राउटर 0.2.5
• WeaveNet 2.5.1

सेटिंग

CNI स्थापित करणे जितके सोपे असेल तितकी आमची पहिली छाप चांगली असेल. बेंचमार्कमधील सर्व सीएनआय स्थापित करणे खूप सोपे आहे (एक किंवा दोन कमांडसह).

आम्ही म्हटल्याप्रमाणे, सर्व्हर आणि स्विच जंबो फ्रेम्स सक्षम करून कॉन्फिगर केले आहेत (आम्ही MTU 9000 वर सेट केले आहे). CNI ने अॅडॉप्टरच्या कॉन्फिगरेशनवर आधारित MTU स्वयंचलितपणे निर्धारित केल्यास आम्हाला आनंद होईल. तथापि, केवळ सिलियम आणि फ्लॅनेलने हे व्यवस्थापित केले. उर्वरित CNIs कडे GitHub वर स्वयंचलित MTU शोध जोडण्यासाठी विनंत्या आहेत, परंतु आम्ही कॅलिको, कॅनल आणि कुबे-राउटरसाठी कॉन्फिगमॅप बदलून किंवा WeaveNet साठी पर्यावरण व्हेरिएबल पास करून ते व्यक्तिचलितपणे कॉन्फिगर करू.

चुकीच्या MTU मध्ये समस्या काय आहे? हे आकृती डीफॉल्ट एमटीयू आणि जंबो फ्रेम्स सक्षम असलेल्या WeaveNet मधील फरक दर्शवते:

MTU थ्रुपुटवर कसा परिणाम करतो?

कार्यप्रदर्शनासाठी MTU किती महत्त्वाचे आहे हे आम्ही पाहिले आहे, आता आमचे CNI ते स्वयंचलितपणे कसे ठरवतात ते पाहूया:

CNI स्वयंचलितपणे MTU शोधते

आलेख दाखवतो की इष्टतम कामगिरीसाठी तुम्हाला कॅलिको, कॅनल, कुबे-राउटर आणि वीव्हनेटसाठी MTU कॉन्फिगर करणे आवश्यक आहे. Cilium आणि Flannel कोणत्याही सेटिंग्जशिवाय MTU स्वतःच योग्यरित्या निर्धारित करण्यात सक्षम होते.

सुरक्षा

आम्ही CNI सुरक्षेची दोन पैलूंमध्ये तुलना करू: प्रसारित डेटा एनक्रिप्ट करण्याची क्षमता आणि Kubernetes नेटवर्क धोरणांची अंमलबजावणी (वास्तविक चाचण्यांवर आधारित, कागदपत्रांवर आधारित नाही).

फक्त दोन CNI डेटा एन्क्रिप्ट करतात: Cilium आणि WeaveNet. एनक्रिप्शन WeaveNet CNI पर्यावरण व्हेरिएबल म्हणून एन्क्रिप्शन पासवर्ड सेट करून सक्षम केले. IN दस्तऐवजीकरण WeaveNet त्याचे वर्णन क्लिष्ट पद्धतीने करते, परंतु सर्व काही अगदी सोप्या पद्धतीने केले जाते. एनक्रिप्शन सिलियम आदेशांद्वारे कॉन्फिगर केलेले, कुबर्नेट्स सिक्रेट्स तयार करून, आणि डेमनसेटमध्ये बदल करून (वेव्हनेटपेक्षा थोडे अधिक क्लिष्ट, परंतु सिलियममध्ये चरण-दर-चरण आहे सूचना).

नेटवर्क धोरणाच्या अंमलबजावणीसाठी, ते यशस्वी झाले आहेत कॅलिको, कालवा, सिलियम आणि विव्हनेट, ज्यामध्ये तुम्ही Ingress आणि Egress नियम कॉन्फिगर करू शकता. च्या साठी कुबे-राउटर फक्त प्रवेशासाठी नियम आहेत, आणि फ्लॅनेल कोणतीही नेटवर्क धोरणे नाहीत.

येथे एकूण परिणाम आहेत:

सुरक्षा कार्यप्रदर्शन बेंचमार्क परिणाम

उत्पादकता

हा बेंचमार्क प्रत्येक चाचणीच्या किमान तीन धावांवर सरासरी थ्रूपुट दर्शवतो. आम्ही TCP आणि UDP (iperf3 वापरून), रिअल ऍप्लिकेशन्स जसे HTTP (Nginx आणि curl सह) किंवा FTP (vsftpd आणि curl सह) आणि शेवटी SCP-आधारित एन्क्रिप्शन (क्लायंट आणि सर्व्हर OpenSSH वापरून) वापरून ऍप्लिकेशन कामगिरीची चाचणी करतो.

सर्व चाचण्यांसाठी, आम्ही CNI कार्यप्रदर्शनाची नेटिव्ह नेटवर्क कामगिरीशी तुलना करण्यासाठी बेअर मेटल बेंचमार्क (ग्रीन लाइन) केले. येथे आम्ही समान स्केल वापरतो, परंतु रंगात:

• पिवळा = खूप चांगला
• केशरी = चांगले
• निळा = so-so
• लाल = वाईट

आम्ही चुकीच्या पद्धतीने कॉन्फिगर केलेले CNIs घेणार नाही आणि योग्य MTU सह CNI चे परिणाम दाखवू. (टीप: तुम्ही एनक्रिप्शन सक्षम केल्यास Cilium योग्यरित्या MTU ची गणना करत नाही, म्हणून तुम्हाला आवृत्ती 8900 मध्ये MTU 1.4 पर्यंत व्यक्तिचलितपणे कमी करावे लागेल. पुढील आवृत्ती, 1.5, हे स्वयंचलितपणे करते.)

येथे परिणाम आहेत:

TCP कामगिरी

सर्व CNIs ने TCP बेंचमार्कमध्ये चांगली कामगिरी केली. एनक्रिप्शनसह CNI खूप मागे आहे कारण एनक्रिप्शन महाग आहे.

UDP कामगिरी

इथेही सर्व CNI चांगले काम करत आहेत. एनक्रिप्शनसह सीएनआयने जवळजवळ समान परिणाम दर्शविला. Cilium स्पर्धेमध्ये थोडे मागे आहे, परंतु ते बेअर मेटलच्या केवळ 2,3% आहे, त्यामुळे ते वाईट परिणाम नाही. हे विसरू नका की केवळ Cilium आणि Flannel ने स्वतः MTU योग्यरित्या निर्धारित केले आहे आणि हे कोणत्याही अतिरिक्त कॉन्फिगरेशनशिवाय त्यांचे परिणाम आहेत.

वास्तविक अर्जाबद्दल काय? तुम्ही बघू शकता, HTTP ची एकूण कामगिरी TCP पेक्षा थोडी कमी आहे. तुम्ही जरी TCP सह HTTP वापरत असलो तरीही, HTTP बेंचमार्कवर परिणाम होणारी धीमी सुरुवात टाळण्यासाठी आम्ही TCP बेंचमार्कमध्ये iperf3 कॉन्फिगर केले आहे. प्रत्येकाने येथे चांगले काम केले. कुबे-राउटरचा स्पष्ट फायदा आहे, परंतु वीव्हनेटने चांगले प्रदर्शन केले नाही: बेअर मेटलपेक्षा सुमारे 20% वाईट. एन्क्रिप्शनसह Cilium आणि WeaveNet खरोखर दुःखी दिसत आहेत.

FTP सह, दुसरा TCP-आधारित प्रोटोकॉल, परिणाम बदलतात. फ्लॅनेल आणि कुबे-राउटर काम करतात, परंतु कॅलिको, कॅनाल आणि सिलियम थोडे मागे आहेत आणि बेअर मेटलपेक्षा 10% हळू आहेत. WeaveNet 17% मागे आहे, परंतु एनक्रिप्टेड WeaveNet एनक्रिप्टेड Cilium पेक्षा 40% पुढे आहे.

SCP सह आम्ही लगेच पाहू शकतो की SSH एन्क्रिप्शनसाठी आम्हाला किती खर्च येतो. जवळजवळ सर्व CNIs चांगले काम करत आहेत, परंतु WeaveNet पुन्हा मागे पडत आहे. दुहेरी एन्क्रिप्शन (SSH + CNI) मुळे एन्क्रिप्शनसह Cilium आणि WeaveNet अपेक्षितपणे सर्वात वाईट आहेत.

येथे परिणामांसह सारांश सारणी आहे:

संसाधनाचा वापर

आता तुलना करूया की CNI संसाधने मोठ्या भाराखाली (TCP हस्तांतरणादरम्यान, 10 Gbps) कशी वापरते. कामगिरी चाचण्यांमध्ये आम्ही सीएनआयची तुलना बेअर मेटल (ग्रीन लाइन) सह करतो. संसाधनाच्या वापरासाठी, CNI शिवाय शुद्ध Kubernetes (जांभळी रेषा) दाखवू आणि CNI किती अतिरिक्त संसाधने वापरतो ते पाहू.

चला स्मृतीपासून सुरुवात करूया. हस्तांतरणादरम्यान MB मध्ये नोड्सच्या RAM (बफर आणि कॅशे वगळून) साठी सरासरी मूल्य येथे आहे.

मेमरी वापर

फ्लॅनेल आणि कुबे-राउटरने उत्कृष्ट परिणाम दर्शविले - केवळ 50 एमबी. कॅलिको आणि कॅनालमध्ये प्रत्येकी 70 आहेत. WeaveNet स्पष्टपणे इतरांपेक्षा जास्त वापरते - 130 MB, आणि Cilium 400 इतके वापरते.
आता CPU वेळ वापर तपासू. लक्षवेधी: आकृती टक्केवारी दर्शवत नाही, परंतु ppm, म्हणजेच "बेअर आयर्न" साठी 38 ppm 3,8% आहे. येथे परिणाम आहेत:

CPU वापर

कॅलिको, कॅनाल, फ्लॅनेल आणि कुबे-राउटर हे खूप CPU कार्यक्षम आहेत - CNI शिवाय कुबर्नेट्सपेक्षा फक्त 2% जास्त. WeaveNet अतिरिक्त 5% सह मागे आहे, त्यानंतर Cilium 7% वर आहे.

येथे संसाधनाच्या वापराचा सारांश आहे:

परिणाम

सर्व परिणामांसह सारणी:

सामान्य बेंचमार्क परिणाम

निष्कर्ष

शेवटच्या भागात मी निकालावर माझे व्यक्तिनिष्ठ मत व्यक्त करेन. लक्षात ठेवा की हा बेंचमार्क फक्त एका अगदी लहान क्लस्टरवर (3 नोड्स) एकाच कनेक्शनच्या थ्रूपुटची चाचणी करतो. हे मोठ्या क्लस्टर्स (<50 नोड्स) किंवा समांतर कनेक्शनवर लागू होत नाही.

मी परिस्थितीनुसार खालील सीएनआय वापरण्याची शिफारस करतो:

• तुमच्या क्लस्टरमध्ये आहे का काही संसाधनांसह नोड्स (अनेक GB RAM, अनेक कोर) आणि तुम्हाला सुरक्षा वैशिष्ट्यांची आवश्यकता नाही - निवडा फ्लॅनेल. हे सर्वात किफायतशीर CNIs पैकी एक आहे. आणि ते विविध प्रकारच्या आर्किटेक्चर्सशी सुसंगत आहे (amd64, arm, arm64, इ.). याव्यतिरिक्त, हे दोनपैकी एक आहे (दुसरा Cilium आहे) CNI जो आपोआप MTU निर्धारित करू शकतो, त्यामुळे तुम्हाला काहीही कॉन्फिगर करण्याची गरज नाही. कुबे-राउटर देखील योग्य आहे, परंतु ते मानक नाही आणि तुम्हाला MTU व्यक्तिचलितपणे कॉन्फिगर करावे लागेल.
• आवश्यक असल्यास नेटवर्क एनक्रिप्ट करा सुरक्षिततेसाठी, घ्या WeaveNet. जर तुम्ही जंबो फ्रेम्स वापरत असाल तर MTU आकार निर्दिष्ट करण्यास विसरू नका आणि एन्क्रिप्शन सक्षम करा एन्व्हायर्नमेंट व्हेरिएबलद्वारे पासवर्ड निर्दिष्ट करून. परंतु कार्यप्रदर्शन विसरून जाणे चांगले आहे - ही एन्क्रिप्शनची किंमत आहे.
• करण्यासाठी सामान्य वापर मी सल्ला देतो केलिको. हे CNI विविध Kubernetes उपयोजन साधनांमध्ये (Kops, Kubespray, Rancher, इ.) मोठ्या प्रमाणावर वापरले जाते. WeaveNet प्रमाणे, जंबो फ्रेम्स वापरत असल्यास ConfigMap मध्ये MTU कॉन्फिगर करण्याचे सुनिश्चित करा. हे एक बहु-कार्यक्षम साधन आहे जे संसाधनांचा वापर, कार्यप्रदर्शन आणि सुरक्षिततेच्या दृष्टीने कार्यक्षम आहे.

आणि शेवटी, मी तुम्हाला विकासाचे अनुसरण करण्याचा सल्ला देतो सिलियम. या CNI ची एक अतिशय सक्रिय टीम आहे जी त्यांच्या उत्पादनावर खूप काम करते (वैशिष्ट्ये, संसाधन बचत, कार्यप्रदर्शन, सुरक्षा, क्लस्टरिंग...) आणि त्यांच्याकडे खूप मनोरंजक योजना आहेत.

सीएनआय निवडीसाठी व्हिज्युअल आकृती

स्त्रोत: www.habr.com