10G नेटवर्क (ऑगस्ट 2020) वर कुबर्नेट्ससाठी CNI कार्यप्रदर्शन मूल्यांकन

TL; डॉ: कुबे-राउटर आणि कुबे-ओव्हीएनचा अपवाद वगळता सर्व सीएनआय कार्य करतात, स्वयंचलित MTU शोध अपवाद वगळता, कॅलिको सर्वोत्तम आहे.

माझ्या मागील चेकचे लेख-अद्यतन (2018 и 2019), चाचणीच्या वेळी मी Ubuntu 1.19 वर Kubernetes 18.04 वापरत आहे आणि ऑगस्ट 2020 पर्यंत अपडेट केलेल्या CNI सह.

आम्ही मेट्रिक्समध्ये जाण्यापूर्वी...

एप्रिल 2019 पासून नवीन काय आहे?

• तुमच्या स्वतःच्या क्लस्टरवर चाचणी करू शकता: तुम्ही आमचे टूल वापरून तुमच्या स्वतःच्या क्लस्टरवर चाचण्या चालवू शकता कुबर्नेट्स नेटवर्क बेंचमार्क: knb
• नवीन सदस्य दिसू लागले आहेत
  • अँट्रीया VMware Tanzu कडून
  • कुबे-ओव्हीएन alauda.io वरून
• नवीन परिस्थिती: सध्याच्या तपासण्या "पॉड-टू-पॉड" नेटवर्क कार्यप्रदर्शन चाचण्या चालवतात आणि एक नवीन "पॉड-टू-सर्व्हिस" स्क्रिप्ट जोडली गेली आहे जी वास्तविक-जगातील परिस्थितीच्या जवळ चाचण्या चालवते. सराव मध्ये, API सह तुमचा Pod सेवा म्हणून बेससह कार्य करतो, Pod ip पत्त्याद्वारे नाही (अर्थातच आम्ही दोन्ही परिस्थितींसाठी TCP आणि UDP दोन्ही तपासतो).
• संसाधनाचा वापर: प्रत्येक चाचणीची आता स्वतःची संसाधन तुलना आहे
• ऍप्लिकेशन चाचण्या काढून टाकणे: आम्ही यापुढे HTTP, FTP आणि SCP चाचण्या करत नाही कारण CNI स्टार्टअपमध्ये विलंब झाल्यामुळे समुदाय आणि CNI देखभालकर्त्यांसह आमच्या फलदायी सहयोगाने TCP आणि कर्ल परिणामांमधले iperf परिणामांमध्ये अंतर शोधले आहे (पॉडचे पहिले काही सेकंद स्टार्टअप, जे वास्तविक परिस्थितीत वैशिष्ट्यपूर्ण नाही).
• मुक्त स्रोत: सर्व चाचणी स्रोत (स्क्रिप्ट, yml सेटिंग्ज आणि मूळ "कच्चा" डेटा) उपलब्ध आहेत येथे

संदर्भ चाचणी प्रोटोकॉल

प्रोटोकॉलचे तपशीलवार वर्णन केले आहे येथेकृपया लक्षात घ्या की हा लेख डीफॉल्ट कर्नलसह उबंटू 18.04 बद्दल आहे.

मूल्यांकनासाठी CNI निवडणे

या चाचणीचा उद्देश एका yaml फाईलसह कॉन्फिगर केलेल्या CNI ची तुलना करणे आहे (म्हणून, स्क्रिप्टद्वारे स्थापित केलेले सर्व, जसे की VPP आणि इतर, वगळले आहेत).

तुलना करण्यासाठी आमचे निवडलेले CNI:

• एंट्रीया v.0.9.1
• कॅलिको v3.16
• कालवा v3.16 (फ्लानेल नेटवर्क + कॅलिको नेटवर्क धोरणे)
• सिलियम 1.8.2
• फ्लॅनेल 0.12.0
• कुबे-राउटर नवीनतम (२०२०-०८-२५)
• WeaveNet 2.7.0

CNI साठी MTU कॉन्फिगर करत आहे

सर्व प्रथम, आम्ही TCP कार्यप्रदर्शनावर स्वयंचलित MTU शोधाचा प्रभाव तपासतो:

TCP कामगिरीवर MTU चा प्रभाव

UDP वापरताना आणखी मोठे अंतर आढळते:

UDP कामगिरीवर MTU चा प्रभाव

चाचण्यांमध्ये दिसून आलेला प्रचंड कार्यप्रदर्शन प्रभाव लक्षात घेता, आम्ही सर्व CNI देखभालकर्त्यांना आशाचे पत्र पाठवू इच्छितो: कृपया CNI मध्ये स्वयंचलित MTU शोध जोडा. तुम्ही मांजरीचे पिल्लू, युनिकॉर्न आणि अगदी गोंडस: लहान देवोप वाचवाल.

तथापि, जर तुम्हाला स्वयंचलित MTU शोधासाठी समर्थनाशिवाय CNI वापरण्याची आवश्यकता असेल, तर तुम्ही कार्यप्रदर्शन मिळवण्यासाठी ते व्यक्तिचलितपणे कॉन्फिगर करू शकता. कृपया लक्षात घ्या की हे कॅलिको, कॅनाल आणि वेव्हनेटला लागू होते.

सोबतच्या CNI ला माझी छोटीशी विनंती...

CNI चाचणी: रॉ डेटा

या विभागात, आम्ही योग्य MTU (स्वयंचलितपणे किंवा व्यक्तिचलितपणे निर्धारित) सह CNI ची तुलना करू. आलेखांमध्ये कच्चा डेटा दर्शविणे हे येथे मुख्य लक्ष्य आहे.

रंग आख्यायिका:

• राखाडी - नमुना (म्हणजे बेअर लोह)
• हिरवा - 9500 Mbps वरील बँडविड्थ
• पिवळा - 9000 Mbps वरील बँडविड्थ
• केशरी - 8000 Mbps वरील बँडविड्थ
• लाल - 8000 Mbps खाली बँडविड्थ
• निळा - तटस्थ (बँडविड्थशी संबंधित नाही)

नो-लोड संसाधन वापर

सर्व प्रथम, जेव्हा क्लस्टर “झोपत” असेल तेव्हा संसाधनाचा वापर तपासा.

नो-लोड संसाधन वापर

पॉड-टू-पॉड

ही परिस्थिती गृहीत धरते की क्लायंट पॉड त्याचा IP पत्ता वापरून सर्व्हर पॉडशी थेट कनेक्ट होतो.

पॉड-टू-पॉड परिस्थिती

टीसीपी

पॉड-टू-पॉड टीसीपी परिणाम आणि संबंधित संसाधनांचा वापर:

UDP

पॉड-टू-पॉड UDP परिणाम आणि संबंधित संसाधन वापर:

पॉड-टू-सर्व्हिस

हा विभाग वास्तविक वापर प्रकरणांसाठी संबंधित आहे, क्लायंट पॉड क्लस्टरआयपी सेवेद्वारे सर्व्हर पॉडशी कनेक्ट होतो.

पॉड-टू-सर्व्हिस स्क्रिप्ट

टीसीपी

पॉड-टू-सर्व्हिस TCP परिणाम आणि संबंधित संसाधनांचा वापर:

UDP

पॉड-टू-सर्व्हिस UDP परिणाम आणि संबंधित संसाधन वापर:

नेटवर्क धोरण समर्थन

वरील सर्वांमध्ये, राजकारणाला पाठिंबा न देणारा एकमेव फ्लॅनेल आहे. इतर सर्व इनबाउंड आणि आउटबाउंडसह नेटवर्क धोरणे योग्यरित्या अंमलात आणतात. चांगले काम!

CNI एन्क्रिप्शन

तपासलेल्या सीएनआयमध्ये असे आहेत जे पॉड्स दरम्यान नेटवर्क एक्सचेंज एन्क्रिप्ट करू शकतात:

• IPsec वापरून Antrea
• वायरगार्ड वापरून कॅलिको
• IPsec वापरून Cilium
• IPsec वापरून WeaveNet

बँडविड्थ

कमी CNI शिल्लक असल्याने, सर्व परिस्थिती एका आलेखात ठेवूया:

संसाधनाचा वापर

या विभागात, आम्ही टीसीपी आणि यूडीपीमध्ये पॉड-टू-पॉड कम्युनिकेशनवर प्रक्रिया करताना वापरलेल्या संसाधनांचे मूल्यमापन करू. पॉड-टू-सर्व्हिस आलेख काढण्यात काही अर्थ नाही कारण तो अतिरिक्त माहिती प्रदान करत नाही.

हे सर्व एकत्र ठेवणे

चला सर्व आलेखांची पुनरावृत्ती करण्याचा प्रयत्न करूया, आम्ही येथे "vwry fast", "low" इत्यादी शब्दांसह वास्तविक मूल्यांच्या जागी थोडी सब्जेक्टिव्हिटी सादर केली आहे.

निष्कर्ष आणि माझे निष्कर्ष

हे थोडे व्यक्तिनिष्ठ आहे, कारण मी निकालांचे स्वतःचे स्पष्टीकरण देत आहे.

मला आनंद आहे की नवीन सीएनआय दिसू लागले, अँट्रीयाने चांगले प्रदर्शन केले, सुरुवातीच्या आवृत्त्यांमध्येही अनेक कार्ये लागू केली गेली: स्वयंचलित MTU शोध, एन्क्रिप्शन आणि सुलभ स्थापना.

आम्ही कामगिरीची तुलना केल्यास, Kube-OVN आणि Kube-Router वगळता सर्व CNI चांगले काम करतात. कुबे-राउटर देखील एमटीयू शोधण्यात अक्षम होते, मला कागदपत्रांमध्ये कुठेही ते कॉन्फिगर करण्याचा मार्ग सापडला नाही (येथे या विषयावरील विनंती खुली आहे).

संसाधनाच्या वापराच्या बाबतीत, Cilium अजूनही इतरांपेक्षा अधिक RAM वापरते, परंतु निर्माता स्पष्टपणे मोठ्या क्लस्टर्सना लक्ष्य करत आहे, जे स्पष्टपणे तीन-नोड क्लस्टरवरील चाचणीसारखे नाही. Kube-OVN देखील भरपूर CPU आणि RAM संसाधने वापरते, परंतु ते Open vSwitch वर आधारित एक तरुण CNI आहे (Antrea प्रमाणे, ते चांगले कार्य करते आणि कमी वापरते).

फ्लॅनेल वगळता प्रत्येकाकडे नेटवर्क धोरणे आहेत. बहुधा तो त्यांना कधीही पाठिंबा देणार नाही, कारण वाफवलेल्या सलगमपेक्षा ध्येय सोपे आहे: हलके, चांगले.

तसेच, इतर गोष्टींबरोबरच, एन्क्रिप्शन कामगिरी आश्चर्यकारक आहे. कॅलिको सर्वात जुन्या CNIs पैकी एक आहे, परंतु एन्क्रिप्शन काही आठवड्यांपूर्वीच जोडले गेले होते. त्यांनी IPsec ऐवजी वायरगार्ड निवडले आणि सोप्या भाषेत सांगायचे तर ते उत्तम आणि आश्चर्यकारक कार्य करते, चाचणीच्या या भागामध्ये इतर CNI ला पूर्णपणे ग्रहण करते. अर्थात, एन्क्रिप्शनमुळे संसाधनांचा वापर वाढतो, परंतु प्राप्त केलेले थ्रूपुट ते योग्य आहे (कॅलिकोने सिलियमच्या तुलनेत एनक्रिप्शन चाचणीमध्ये सहापट सुधारणा दर्शविली, जी दुसऱ्या क्रमांकावर आहे). शिवाय, तुम्ही क्लस्टरमध्ये कॅलिको तैनात केल्यानंतर तुम्ही कधीही वायरगार्ड सक्षम करू शकता आणि तुमची इच्छा असल्यास तुम्ही ते थोड्या काळासाठी किंवा कायमचे अक्षम देखील करू शकता. हे आश्चर्यकारकपणे सोयीस्कर आहे, तरी! आम्ही तुम्हाला आठवण करून देतो की Calico सध्या MTU स्वयं-शोधत नाही (हे वैशिष्ट्य भविष्यातील आवृत्त्यांसाठी नियोजित आहे), त्यामुळे तुमचे नेटवर्क जंबो फ्रेम्स (MTU 9000) ला समर्थन देत असल्यास MTU कॉन्फिगर करण्याचे सुनिश्चित करा.

इतर गोष्टींबरोबरच, लक्षात घ्या की Cilium क्लस्टर नोड्स (आणि फक्त Pods दरम्यान नाही) ट्रॅफिक एन्क्रिप्ट करू शकते, जे सार्वजनिक क्लस्टर नोड्ससाठी खूप महत्वाचे असू शकते.

निष्कर्ष म्हणून, मी खालील वापर प्रकरणे सुचवतो:

• अगदी लहान क्लस्टरसाठी CNI आवश्यक आहे किंवा मला सुरक्षिततेची आवश्यकता नाही: च्या सोबत काम करतो फ्लॅनेल, सर्वात हलका आणि सर्वात स्थिर CNI (होमो कुबरनॉटस किंवा होमो कॉन्टेटोरस यांनी शोध लावला होता, पौराणिक कथेनुसार तो सर्वात जुन्या व्यक्तींपैकी एक आहे). तुम्हाला सर्वात कल्पक प्रकल्पामध्ये देखील स्वारस्य असू शकते के 3 एस, तपासा!
• नियमित क्लस्टरसाठी CNI आवश्यक आहे: केलिको - तुमची निवड, परंतु आवश्यक असल्यास MTU कॉन्फिगर करण्यास विसरू नका. तुम्ही नेटवर्क धोरणांसह सहज आणि नैसर्गिकरित्या खेळू शकता, एन्क्रिप्शन चालू आणि बंद करू शकता इ.
• (खूप) मोठ्या प्रमाणात क्लस्टरसाठी CNI आवश्यक आहे: ठीक आहे, चाचणी मोठ्या क्लस्टर्सचे वर्तन दर्शवत नाही, मला चाचण्या घेण्यास आनंद होईल, परंतु आमच्याकडे 10Gbps कनेक्शन असलेले शेकडो सर्व्हर नाहीत. म्हणून सर्वोत्तम पर्याय म्हणजे तुमच्या नोड्सवर सुधारित चाचणी चालवणे, किमान कॅलिको आणि सिलियमसह.

स्त्रोत: www.habr.com