कुबेरनेट्स नेटवर्किंग प्लगइन (सीएनआई) 10 जीबीपीएस नेटवर्क पर बेंचमार्क परिणाम (अप्रैल 2019 को अपडेट किया गया)

यह मेरा अपडेट है पिछला बेंचमार्क, जो अब अप्रैल 1.14 तक नवीनतम सीएनआई संस्करण के साथ कुबेरनेट्स 2019 पर चलता है।

सबसे पहले, मैं सिलियम टीम को धन्यवाद देना चाहता हूं: लोगों ने मेट्रिक्स मॉनिटरिंग स्क्रिप्ट को जांचने और सही करने में मेरी मदद की।

नवंबर 2018 से क्या बदल गया है?

यहां बताया गया है कि तब से क्या बदल गया है (यदि आप रुचि रखते हैं):

फ़्लानेल सबसे तेज़ और सरल CNI इंटरफ़ेस बना हुआ है, लेकिन फिर भी नेटवर्क नीतियों और एन्क्रिप्शन का समर्थन नहीं करता है।

रोमाना अब समर्थित नहीं है, इसलिए हमने इसे बेंचमार्क से हटा दिया है।

वीवनेट अब इनग्रेस और इग्रेस के लिए नेटवर्क नीतियों का समर्थन करता है! लेकिन उत्पादकता कम हो गई है.

केलिको में, आपको सर्वोत्तम प्रदर्शन के लिए अभी भी अधिकतम पैकेट आकार (MTU) को मैन्युअल रूप से कॉन्फ़िगर करने की आवश्यकता है। केलिको सीएनआई स्थापित करने के लिए दो विकल्प प्रदान करता है, ताकि आप एक अलग ईटीसीडी रिपॉजिटरी के बिना ऐसा कर सकें:

• कुबेरनेट्स एपीआई में डेटा स्टोर के रूप में भंडारण की स्थिति (क्लस्टर आकार <50 नोड्स);
• K8S एपीआई (क्लस्टर आकार> 50 नोड्स) पर लोड को राहत देने के लिए टाइपा प्रॉक्सी के साथ डेटा स्टोर के रूप में कुबेरनेट्स एपीआई में राज्य को संग्रहीत करना।

केलिको ने समर्थन की घोषणा की आवेदन स्तर की नीतियां एप्लिकेशन-स्तरीय सुरक्षा के लिए इस्तियो के शीर्ष पर।

सिलियम अब एन्क्रिप्शन का समर्थन करता है! सिलियम आईपीएसईसी सुरंगों के साथ एन्क्रिप्शन प्रदान करता है और एन्क्रिप्टेड वीवनेट नेटवर्क का विकल्प प्रदान करता है। लेकिन एन्क्रिप्शन सक्षम होने पर वीवनेट सिलियम से तेज़ है।

अंतर्निहित ईटीसीडी ऑपरेटर की बदौलत अब सिलियम को तैनात करना आसान हो गया है।

सिलियम टीम ने मेमोरी खपत और सीपीयू लागत को कम करके अपने सीएनआई से कुछ वजन कम करने की कोशिश की है, लेकिन इसके प्रतिस्पर्धी अभी भी हल्के हैं।

बेंचमार्क प्रसंग

बेंचमार्क 10 जीबी सुपरमाइक्रो स्विच के साथ तीन गैर-वर्चुअलाइज्ड सुपरमाइक्रो सर्वर पर चलाया जाता है। सर्वर निष्क्रिय DAC SFP+ केबल के माध्यम से सीधे स्विच से जुड़े होते हैं और जंबो फ्रेम (MTU 9000) के साथ एक ही VLAN पर कॉन्फ़िगर किए जाते हैं।

Kubernetes 1.14.0 को Ubuntu 18.04 LTS पर Docker 18.09.2 (इस रिलीज़ में डिफ़ॉल्ट Docker संस्करण) के साथ स्थापित किया गया है।

प्रतिलिपि प्रस्तुत करने योग्यता में सुधार करने के लिए, हमने हमेशा पहले नोड पर मास्टर को कॉन्फ़िगर करने, बेंचमार्क के सर्वर भाग को दूसरे सर्वर पर और क्लाइंट भाग को तीसरे पर रखने का निर्णय लिया। ऐसा करने के लिए, हम Kubernetes परिनियोजन में NodeSelector का उपयोग करते हैं।

हम निम्नलिखित पैमाने पर बेंचमार्क परिणामों का वर्णन करेंगे:

बेंचमार्क के लिए सीएनआई का चयन करना

यह अनुभाग में सूची से केवल सीएनआई के लिए एक बेंचमार्क है Kubeadm के साथ एक मास्टर क्लस्टर बनाने के बारे में आधिकारिक कुबेरनेट्स दस्तावेज़ देखें। 9 सीएनआई में से, हम केवल 6 लेंगे: हम उन्हें बाहर कर देंगे जिन्हें स्थापित करना मुश्किल है और/या दस्तावेज़ीकरण (रोमाना, कॉन्टिव-वीपीपी और जूनिपरकंट्रेल/टंगस्टनफैब्रिक) के अनुसार कॉन्फ़िगरेशन के बिना काम नहीं करते हैं।

हम निम्नलिखित सीएनआई की तुलना करेंगे:

• केलिको v3.6
• नहर v3.6 (अनिवार्य रूप से नेटवर्किंग के लिए फलालैन + फ़ायरवॉल के रूप में केलिको)
• सिलियम 1.4.2
• फलालैन 0.11.0
• क्यूब-राउटर 0.2.5
• वीवनेट 2.5.1

स्थापना

सीएनआई को स्थापित करना जितना आसान होगा, हमारी पहली छाप उतनी ही बेहतर होगी। बेंचमार्क से सभी सीएनआई को स्थापित करना बहुत आसान है (एक या दो कमांड के साथ)।

जैसा कि हमने कहा, सर्वर और स्विच जंबो फ्रेम सक्षम के साथ कॉन्फ़िगर किए गए हैं (हम एमटीयू को 9000 पर सेट करते हैं)। हमें खुशी होगी अगर सीएनआई एडेप्टर के कॉन्फ़िगरेशन के आधार पर स्वचालित रूप से एमटीयू निर्धारित करेगा। हालाँकि, केवल सिलियम और फ़्लानेल ही इसमें सफल रहे। बाकी सीएनआई के पास स्वचालित एमटीयू खोज को जोड़ने के लिए गिटहब पर अनुरोध हैं, लेकिन हम इसे केलिको, कैनाल और क्यूब-राउटर के लिए कॉन्फिग मैप को बदलकर या वीवनेट के लिए एक पर्यावरण चर पास करके मैन्युअल रूप से कॉन्फ़िगर करेंगे।

गलत एमटीयू से क्या समस्या है? यह आरेख डिफ़ॉल्ट एमटीयू और सक्षम जंबो फ़्रेम वाले वीवनेट के बीच अंतर दिखाता है:

एमटीयू थ्रूपुट को कैसे प्रभावित करता है?

हमने देखा है कि प्रदर्शन के लिए एमटीयू कितना महत्वपूर्ण है, अब देखते हैं कि हमारे सीएनआई स्वचालित रूप से इसे कैसे निर्धारित करते हैं:

सीएनआई स्वचालित रूप से एमटीयू का पता लगाता है

ग्राफ़ दिखाता है कि इष्टतम प्रदर्शन के लिए आपको केलिको, कैनाल, क्यूब-राउटर और वीवनेट के लिए एमटीयू को कॉन्फ़िगर करने की आवश्यकता है। सिलियम और फलालैन बिना किसी सेटिंग के स्वयं एमटीयू को सही ढंग से निर्धारित करने में सक्षम थे।

सुरक्षा

हम सीएनआई सुरक्षा की तुलना दो पहलुओं में करेंगे: प्रेषित डेटा को एन्क्रिप्ट करने की क्षमता और कुबेरनेट्स नेटवर्क नीतियों का कार्यान्वयन (वास्तविक परीक्षणों के आधार पर, दस्तावेज़ीकरण पर नहीं)।

केवल दो सीएनआई डेटा एन्क्रिप्ट करते हैं: सिलियम और वीवनेट। कूटलेखन वीवनेट एन्क्रिप्शन पासवर्ड को CNI पर्यावरण चर के रूप में सेट करके सक्षम किया गया। में प्रलेखन वीवनेट इसका जटिल तरीके से वर्णन करता है, लेकिन सब कुछ सरलता से किया जाता है। कूटलेखन पपनी कमांड द्वारा कॉन्फ़िगर किया गया, कुबेरनेट्स रहस्य बनाकर, और डेमॉनसेट के संशोधन के माध्यम से (वेवनेट की तुलना में थोड़ा अधिक जटिल, लेकिन सिलियम ने चरण-दर-चरण किया है) निर्देश).

जहां तक ​​नेटवर्क नीति के कार्यान्वयन का सवाल है, वे सफल हुए हैं केलिको, कैनाल, सिलियम और वीवनेट, जिसमें आप प्रवेश और निकास नियमों को कॉन्फ़िगर कर सकते हैं। के लिए क्यूब-राउटर केवल प्रवेश के लिए नियम हैं, और फ़लालैन का यहां कोई नेटवर्क नीतियां ही नहीं हैं.

यहाँ समग्र परिणाम हैं:

सुरक्षा प्रदर्शन बेंचमार्क परिणाम

निष्पादन

यह बेंचमार्क प्रत्येक परीक्षण के कम से कम तीन रनों में औसत थ्रूपुट दिखाता है। हम टीसीपी और यूडीपी (iperf3 का उपयोग करके), HTTP जैसे वास्तविक एप्लिकेशन (Nginx और कर्ल के साथ) या FTP (vsftpd और कर्ल के साथ) और अंत में SCP-आधारित एन्क्रिप्शन (क्लाइंट और सर्वर ओपनएसएसएच का उपयोग करके) का उपयोग करके एप्लिकेशन प्रदर्शन का परीक्षण करते हैं।

सभी परीक्षणों के लिए, हमने मूल नेटवर्क प्रदर्शन के साथ सीएनआई प्रदर्शन की तुलना करने के लिए एक बेअर मेटल बेंचमार्क (हरी रेखा) का प्रदर्शन किया। यहां हम समान पैमाने का उपयोग करते हैं, लेकिन रंग में:

• पीला = बहुत अच्छा
• नारंगी = अच्छा
• नीला = ऐसा-वैसा
• लाल = ख़राब

हम गलत तरीके से कॉन्फ़िगर किए गए सीएनआई नहीं लेंगे और केवल सही एमटीयू वाले सीएनआई के परिणाम दिखाएंगे। (नोट: यदि आप एन्क्रिप्शन सक्षम करते हैं तो सिलियम एमटीयू की सही गणना नहीं करता है, इसलिए आपको संस्करण 8900 में एमटीयू को मैन्युअल रूप से 1.4 तक कम करना होगा। अगला संस्करण, 1.5, यह स्वचालित रूप से करता है।)

यहाँ परिणाम हैं:

टीसीपी प्रदर्शन

सभी सीएनआई ने टीसीपी बेंचमार्क में अच्छा प्रदर्शन किया। एन्क्रिप्शन के साथ CNI बहुत पीछे है क्योंकि एन्क्रिप्शन महंगा है।

यूडीपी प्रदर्शन

यहां भी, सभी सीएनआई अच्छा प्रदर्शन कर रहे हैं। एन्क्रिप्शन के साथ CNI ने लगभग समान परिणाम दिखाया। सिलियम प्रतिस्पर्धा में थोड़ा पीछे है, लेकिन यह केवल 2,3% नंगे धातु है, इसलिए यह कोई बुरा परिणाम नहीं है। यह मत भूलिए कि केवल सिलियम और फलालैन ने एमटीयू को स्वयं सही ढंग से निर्धारित किया है, और ये बिना किसी अतिरिक्त कॉन्फ़िगरेशन के उनके परिणाम हैं।

वास्तविक एप्लिकेशन के बारे में क्या? जैसा कि आप देख सकते हैं, HTTP का समग्र प्रदर्शन TCP की तुलना में थोड़ा कम है। भले ही आप टीसीपी के साथ HTTP का उपयोग करते हैं, हमने धीमी शुरुआत से बचने के लिए टीसीपी बेंचमार्क में iperf3 को कॉन्फ़िगर किया है जो HTTP बेंचमार्क को प्रभावित करेगा। यहां सभी ने अच्छा काम किया. क्यूब-राउटर का स्पष्ट लाभ है, लेकिन वीवनेट ने अच्छा प्रदर्शन नहीं किया: नंगे धातु से लगभग 20% खराब। एन्क्रिप्शन के साथ सिलियम और वीवनेट वास्तव में दुखद लगते हैं।

एफ़टीपी के साथ, एक अन्य टीसीपी-आधारित प्रोटोकॉल, परिणाम भिन्न होते हैं। फलालैन और क्यूब-राउटर काम करते हैं, लेकिन केलिको, कैनाल और सिलियम थोड़ा पीछे हैं और नंगे धातु की तुलना में लगभग 10% धीमे हैं। WeaveNet 17% तक पीछे है, लेकिन एन्क्रिप्टेड WeaveNet एन्क्रिप्टेड Cilium से 40% आगे है।

एससीपी के साथ हम तुरंत देख सकते हैं कि एसएसएच एन्क्रिप्शन की हमें कितनी लागत आती है। लगभग सभी सीएनआई अच्छा प्रदर्शन कर रहे हैं, लेकिन वीवनेट फिर से पिछड़ रहा है। दोहरे एन्क्रिप्शन (एसएसएच + सीएनआई) के कारण एन्क्रिप्शन के साथ सिलियम और वीवनेट अपेक्षित रूप से सबसे खराब हैं।

यहां परिणामों के साथ एक सारांश तालिका दी गई है:

संसाधन उपभोग

अब आइए तुलना करें कि सीएनआई भारी भार (टीसीपी ट्रांसफर के दौरान, 10 जीबीपीएस) के तहत संसाधनों का उपभोग कैसे करता है। प्रदर्शन परीक्षणों में हम सीएनआई की तुलना नंगे धातु (हरी रेखा) से करते हैं। संसाधन खपत के लिए, आइए सीएनआई के बिना शुद्ध कुबेरनेट्स (बैंगनी रेखा) दिखाएं और देखें कि सीएनआई कितने अतिरिक्त संसाधनों का उपभोग करता है।

आइए स्मृति से शुरू करें। स्थानांतरण के दौरान एमबी में नोड्स की रैम (बफ़र्स और कैश को छोड़कर) का औसत मूल्य यहां दिया गया है।

मेमोरी खपत

फलालैन और क्यूब-राउटर ने उत्कृष्ट परिणाम दिखाए - केवल 50 एमबी। केलिको और कैनाल प्रत्येक में 70 हैं। वीवनेट स्पष्ट रूप से दूसरों की तुलना में अधिक खपत करता है - 130 एमबी, और सिलियम 400 तक का उपयोग करता है।
आइए अब सीपीयू समय की खपत की जांच करें। ध्यान देने योग्य: आरेख प्रतिशत नहीं दिखाता है, लेकिन पीपीएम, यानी, "नंगे लोहे" के लिए 38 पीपीएम 3,8% है। यहाँ परिणाम हैं:

सीपीयू की खपत

केलिको, कैनाल, फलालैन और क्यूब-राउटर बहुत सीपीयू कुशल हैं - सीएनआई के बिना कुबेरनेट्स से केवल 2% अधिक। वीवनेट 5% अतिरिक्त के साथ बहुत पीछे है, उसके बाद सिलियम 7% के साथ है।

यहां संसाधन खपत का सारांश दिया गया है:

परिणाम

सभी परिणामों के साथ तालिका:

सामान्य बेंचमार्क परिणाम

निष्कर्ष

अंतिम भाग में मैं परिणामों पर अपनी व्यक्तिपरक राय व्यक्त करूंगा। याद रखें कि यह बेंचमार्क केवल बहुत छोटे क्लस्टर (3 नोड्स) पर एकल कनेक्शन के थ्रूपुट का परीक्षण करता है। यह बड़े समूहों (<50 नोड्स) या समानांतर कनेक्शन पर लागू नहीं होता है।

मैं परिदृश्य के आधार पर निम्नलिखित सीएनआई का उपयोग करने की अनुशंसा करता हूं:

• क्या आपके क्लस्टर में है कुछ संसाधनों के साथ नोड्स (कई जीबी रैम, कई कोर) और आपको सुरक्षा सुविधाओं की आवश्यकता नहीं है - चुनें फ़लालैन का. यह सबसे अधिक लागत प्रभावी सीएनआई में से एक है। और यह विभिन्न प्रकार के आर्किटेक्चर (amd64, Arm, Arm64, आदि) के साथ संगत है। इसके अलावा, यह दो में से एक है (दूसरा सिलियम है) सीएनआई जो स्वचालित रूप से एमटीयू निर्धारित कर सकता है, इसलिए आपको कुछ भी कॉन्फ़िगर करने की आवश्यकता नहीं है। क्यूब-राउटर भी उपयुक्त है, लेकिन यह उतना मानक नहीं है और आपको एमटीयू को मैन्युअल रूप से कॉन्फ़िगर करने की आवश्यकता होगी।
• यदि आवश्यक हो नेटवर्क एन्क्रिप्ट करें सुरक्षा के लिए, ले लो वीवनेट. यदि आप जंबो फ्रेम का उपयोग कर रहे हैं तो एमटीयू आकार निर्दिष्ट करना न भूलें, और पर्यावरण चर के माध्यम से पासवर्ड निर्दिष्ट करके एन्क्रिप्शन सक्षम करें। लेकिन प्रदर्शन के बारे में भूल जाना बेहतर है - यह एन्क्रिप्शन की लागत है।
• के लिए सामान्य उपयोग советую कैलिकौ. इस सीएनआई का व्यापक रूप से विभिन्न कुबेरनेट्स परिनियोजन टूल (कोप्स, क्यूबस्प्रे, रैंचर, आदि) में उपयोग किया जाता है। वीवनेट की तरह, जंबो फ्रेम का उपयोग करते समय कॉन्फिग मैप में एमटीयू को कॉन्फ़िगर करना सुनिश्चित करें। यह एक बहु-कार्यात्मक उपकरण है जो संसाधन खपत, प्रदर्शन और सुरक्षा के मामले में कुशल है।

और अंत में, मैं आपको विकास का अनुसरण करने की सलाह देता हूं पपनी. इस सीएनआई की एक बहुत सक्रिय टीम है जो अपने उत्पाद (विशेषताएं, संसाधन बचत, प्रदर्शन, सुरक्षा, क्लस्टरिंग...) पर बहुत काम करती है और उनके पास बहुत दिलचस्प योजनाएं हैं।

सीएनआई चयन के लिए दृश्य आरेख

स्रोत: www.habr.com