10G नेटवर्क (अगस्ट 2020) मा Kubernetes को लागि CNI कार्यसम्पादन मूल्याङ्कन

TL; ड: कुबे-राउटर र कुबे-ओभीएन, क्यालिको, स्वचालित MTU पत्ता लगाउने अपवाद बाहेक, सबै सीएनआईहरूले उनीहरूले गर्नुपर्ने रूपमा काम गर्छन्।

मेरो विगतका जाँचहरूको लेख-अद्यावधिक (2018 и 2019), परीक्षणको समयमा म Ubuntu 1.19 मा Kubernetes 18.04 को अगस्ट 2020 सम्म अद्यावधिक गरिएको CNI हरू प्रयोग गर्दैछु।

हामीले मेट्रिक्समा डुब्नु अघि...

अप्रिल २०१९ देखि नयाँ के छ?

• तपाईंको आफ्नै क्लस्टरमा परीक्षण गर्न सक्नुहुन्छ: तपाईंले हाम्रो उपकरण प्रयोग गरेर आफ्नै क्लस्टरमा परीक्षणहरू चलाउन सक्नुहुन्छ Kubernetes नेटवर्क बेन्चमार्क: knb
• नयाँ सदस्यहरू देखा परेका छन्
  • एन्ट्रिया VMware Tanzu बाट
  • कुबे-ओवीएन alauda.io बाट
• नयाँ परिदृश्यहरू: हालको जाँचहरूले "Pod-to-Pod" नेटवर्क कार्यसम्पादन परीक्षणहरू चलाउँछन्, र नयाँ "Pod-to-Service" स्क्रिप्ट थपिएको छ जसले वास्तविक-विश्व अवस्थाहरूको नजिक परीक्षणहरू चलाउँछ। अभ्यासमा, API को साथ तपाईंको Pod ले सेवाको रूपमा आधारसँग काम गर्दछ, र Pod ip ठेगाना मार्फत होइन (अवश्य पनि हामी दुबै परिदृश्यहरूको लागि TCP र UDP जाँच गर्छौं)।
• संसाधन खपत: प्रत्येक परीक्षणको अब आफ्नै स्रोत तुलना छ
• अनुप्रयोग परीक्षणहरू हटाउँदै: हामी अब HTTP, FTP र SCP परीक्षणहरू गर्दैनौं किनभने समुदाय र CNI प्रबन्धकहरूसँगको हाम्रो फलदायी सहकार्यले CNI स्टार्टअपमा ढिलाइको कारणले Iperf नतिजाहरू र कर्ल परिणामहरू बीचको अन्तर फेला पारेको छ (Pod को पहिलो केही सेकेन्डहरू। स्टार्टअप, जुन वास्तविक अवस्थामा सामान्य छैन)।
• खुला स्रोत: सबै परीक्षण स्रोतहरू (लिपिहरू, yml सेटिङहरू र मूल "कच्चा" डाटा) उपलब्ध छन् यहाँ

सन्दर्भ परीक्षण प्रोटोकल

प्रोटोकल विस्तृत रूपमा वर्णन गरिएको छ यहाँकृपया ध्यान दिनुहोस् कि यो लेख पूर्वनिर्धारित कर्नेलको साथ Ubuntu 18.04 को बारेमा हो।

मूल्याङ्कनका लागि CNI चयन गर्दै

यो परीक्षणको उद्देश्य एउटा yaml फाइलसँग कन्फिगर गरिएका CNI हरू तुलना गर्ने हो (यसैकारण, VPP र अन्य जस्ता स्क्रिप्टहरूद्वारा स्थापना गरिएका सबैलाई बहिष्कृत गरिएको छ)।

तुलनाका लागि हाम्रा चयन गरिएका CNIs:

• Antrea v.0.9.1
• क्यालिको v3.16
• नहर v3.16 (फ्लानेल नेटवर्क + क्यालिको नेटवर्क नीतिहरू)
• सिलियम १.८.२
• फ्ल्यानेल ०.१२.०
• कुबे-राउटर नवीनतम (२०२०-०८-२५)
• WeaveNet 2.7.0

CNI का लागि MTU कन्फिगर गर्दै

सबैभन्दा पहिले, हामी TCP प्रदर्शनमा स्वचालित MTU पत्ता लगाउने प्रभाव जाँच गर्छौं:

TCP प्रदर्शन मा MTU को प्रभाव

UDP प्रयोग गर्दा अझ ठूलो अन्तर पाइन्छ:

UDP प्रदर्शनमा MTU को प्रभाव

परीक्षणहरूमा प्रकट भएको ठूलो कार्यसम्पादन प्रभावलाई ध्यानमा राख्दै, हामी सबै CNI प्रबन्धकहरूलाई आशाको पत्र पठाउन चाहन्छौं: कृपया CNI मा स्वचालित MTU पहिचान थप्नुहोस्। तपाईंले बिरालाको बच्चाहरू, युनिकर्नहरू र सबैभन्दा प्यारा पनि बचाउनुहुनेछ: सानो Devop।

यद्यपि, यदि तपाइँ स्वचालित MTU पत्ता लगाउनको लागि समर्थन बिना CNI प्रयोग गर्न आवश्यक छ भने, तपाइँ प्रदर्शन प्राप्त गर्न यसलाई म्यानुअल रूपमा कन्फिगर गर्न सक्नुहुन्छ। कृपया ध्यान दिनुहोस् कि यो क्यालिको, नहर र WeaveNet मा लागू हुन्छ।

साथमा रहेका CNI लाई मेरो सानो अनुरोध...

CNI परीक्षण: कच्चा डाटा

यस खण्डमा, हामी सही MTU (स्वचालित रूपमा वा म्यानुअल रूपमा सेट गरिएको) सँग CNI तुलना गर्नेछौं। यहाँको मुख्य लक्ष्य ग्राफमा कच्चा डाटा देखाउनु हो।

रंग कथा:

• खैरो - नमूना (अर्थात् नग्न फलाम)
• हरियो - ब्यान्डविथ 9500 Mbps माथि
• पहेंलो - 9000 Mbps माथि ब्यान्डविथ
• सुन्तला - ब्यान्डविथ 8000 Mbps माथि
• रातो - 8000 Mbps तल ब्यान्डविथ
• नीलो - तटस्थ (ब्यान्डविथसँग सम्बन्धित छैन)

नो-लोड स्रोत खपत

सबै भन्दा पहिले, क्लस्टर "सुतिरहेको" हुँदा संसाधन खपत जाँच गर्नुहोस्।

नो-लोड स्रोत खपत

पोड-टू-पोड

यस परिदृश्यले ग्राहक पोडले यसको IP ठेगाना प्रयोग गरेर सर्भर पोडमा सिधै जडान गर्छ भनी मान्दछ।

Pod-to-Pod परिदृश्य

टीसीपी

Pod-to-Pod TCP परिणामहरू र सम्बन्धित स्रोत खपत:

UDP

Pod-to-Pod UDP परिणामहरू र सम्बन्धित स्रोत खपत:

पोड-देखि-सेवा

यो खण्ड वास्तविक प्रयोग केसहरूको लागि सान्दर्भिक छ, क्लाइन्ट पोड क्लस्टरआईपी सेवा मार्फत सर्भर पोडमा जडान हुन्छ।

पोड-देखि-सेवा लिपि

टीसीपी

Pod-to-Service TCP परिणामहरू र सम्बन्धित स्रोत खपत:

UDP

Pod-to-Service UDP नतिजा र सम्बन्धित स्रोत खपत:

नेटवर्क नीति समर्थन

माथिका सबै मध्ये, राजनीतिलाई समर्थन नगर्ने एक मात्र फ्ल्यानल हो। अन्य सबैले इनबाउन्ड र आउटबाउन्ड सहित नेटवर्क नीतिहरू सही रूपमा लागू गर्छन्। राम्रो काम!

CNI एन्क्रिप्शन

जाँच गरिएका सीएनआईहरू मध्ये त्यहाँ ती छन् जसले पोडहरू बीचको नेटवर्क एक्सचेन्ज इन्क्रिप्ट गर्न सक्छन्:

• एन्ट्रिया IPsec प्रयोग गर्दै
• क्यालिको वायरगार्ड प्रयोग गर्दै
• सिलियम IPsec प्रयोग गर्दै
• IPsec प्रयोग गरेर WeaveNet

ब्यान्डविड्थ

त्यहाँ कम CNI हरू बाँकी रहेकाले, सबै परिदृश्यहरूलाई एउटा ग्राफमा राखौं:

स्रोत उपभोग

यस खण्डमा, हामी TCP र UDP मा Pod-to-Pod संचार प्रशोधन गर्दा प्रयोग गरिएका स्रोतहरूको मूल्याङ्कन गर्नेछौं। त्यहाँ Pod-to-Service ग्राफ कोर्ने कुनै अर्थ छैन किनभने यसले थप जानकारी प्रदान गर्दैन।

यो सबै एक साथ राख्दै

सबै ग्राफहरू दोहोर्याउने प्रयास गरौं, हामीले यहाँ अलिकति आत्मीयता प्रस्तुत गरेका छौं, वास्तविक मानहरूलाई "vwry fast", "low", आदि शब्दहरूसँग बदल्दै।

निष्कर्ष र मेरो निष्कर्ष

यो थोरै व्यक्तिपरक हो, किनकि म नतिजाहरूको आफ्नै व्याख्या गर्दैछु।

म खुसी छु कि नयाँ CNIs देखा पर्यो, Antrea ले राम्रो प्रदर्शन गर्यो, धेरै प्रकार्यहरू प्रारम्भिक संस्करणहरूमा पनि लागू गरियो: स्वचालित MTU पत्ता लगाउने, इन्क्रिप्शन र सजिलो स्थापना।

यदि हामीले कार्यसम्पादनलाई तुलना गर्छौं भने, Kube-OVN र Kube-Router बाहेक सबै CNI ले राम्रोसँग काम गर्छ। कुबे-राउटर पनि MTU पत्ता लगाउन असमर्थ थियो, मैले यसलाई कागजातमा कहीं पनि कन्फिगर गर्ने तरिका फेला पारेन (यहाँ यस विषयमा एउटा अनुरोध खुला छ)।

स्रोत उपभोगको सन्दर्भमा, Cilium अझै अन्य भन्दा बढी RAM प्रयोग गर्दछ, तर निर्माताले स्पष्ट रूपमा ठूला क्लस्टरहरूलाई लक्षित गर्दैछ, जुन स्पष्ट रूपमा तीन-नोड क्लस्टरमा परीक्षणको रूपमा होइन। Kube-OVN ले धेरै CPU र RAM स्रोतहरू पनि खपत गर्छ, तर यो Open vSwitch मा आधारित युवा CNI हो (जस्तै Antrea, यसले राम्रो प्रदर्शन गर्छ र कम खपत गर्छ)।

Flannel बाहेक सबैसँग नेटवर्क नीतिहरू छन्। यो धेरै सम्भव छ कि उसले तिनीहरूलाई कहिल्यै समर्थन गर्दैन, किनकि लक्ष्य एक भाप शलजम भन्दा सरल छ: हल्का, राम्रो।

साथै, अन्य चीजहरू बीच, एन्क्रिप्शन प्रदर्शन अद्भुत छ। क्यालिको सबैभन्दा पुरानो CNI हरू मध्ये एक हो, तर एन्क्रिप्शन केही हप्ता अघि मात्र थपिएको थियो। तिनीहरूले IPsec को सट्टा वायरगार्ड रोजे, र सरल रूपमा भन्नुपर्दा, यसले उत्कृष्ट र अचम्मको काम गर्दछ, परीक्षणको यस भागमा अन्य CNI लाई पूर्ण रूपमा ग्रहण गर्दछ। निस्सन्देह, इन्क्रिप्शनको कारणले संसाधन खपत बढ्छ, तर प्राप्त गरेको थ्रुपुट यसको लायक छ (क्यालिकोले Cilium को तुलनामा इन्क्रिप्सन परीक्षणमा छ गुणा सुधार देखायो, जुन दोस्रो स्थानमा छ)। यसबाहेक, तपाईंले क्यालिकोलाई क्लस्टरमा डिप्लोय गरेपछि तपाईंले कुनै पनि समयमा वायरगार्ड सक्षम गर्न सक्नुहुन्छ, र तपाईंले चाहनुहुन्छ भने छोटो समय वा स्थायी रूपमा यसलाई असक्षम गर्न सक्नुहुन्छ। यो अविश्वसनीय सुविधाजनक छ, यद्यपि! हामी तपाईंलाई सम्झाउँछौं कि क्यालिकोले हाल MTU स्वतः पत्ता लगाउन सक्दैन (यो सुविधा भविष्यका संस्करणहरूको लागि योजना गरिएको छ), त्यसैले यदि तपाईंको नेटवर्कले जम्बो फ्रेमहरू (MTU 9000) समर्थन गर्दछ भने MTU कन्फिगर गर्न निश्चित हुनुहोस्।

अन्य चीजहरू मध्ये, ध्यान दिनुहोस् कि Cilium क्लस्टर नोडहरू (र पोडहरू बीच मात्र होइन) बीच ट्राफिक इन्क्रिप्ट गर्न सक्छ, जुन सार्वजनिक क्लस्टर नोडहरूको लागि धेरै महत्त्वपूर्ण हुन सक्छ।

निष्कर्षको रूपमा, म निम्न प्रयोग केसहरू सुझाव दिन्छु:

• धेरै सानो क्लस्टरको लागि CNI चाहिन्छ वा मलाई सुरक्षा चाहिँदैन: संग काम गर्नुहोस् फ्ल्यानल, सबैभन्दा हल्का र सबैभन्दा स्थिर CNI (उहाँ पनि सबैभन्दा पुरानो मध्ये एक हुनुहुन्छ, पौराणिक कथा अनुसार उहाँ होमो कुबरनाटस वा होमो कन्टेटोरस द्वारा आविष्कार गरिएको थियो।)। तपाईलाई सबैभन्दा सरल परियोजनामा ​​पनि रुचि हुन सक्छ k3s, जाँच गर्नुहोस्!
• नियमित क्लस्टरको लागि CNI चाहिन्छ: Calico - तपाईको रोजाइ, तर आवश्यक भएमा MTU कन्फिगर गर्न नबिर्सनुहोस्। तपाईं सजिलै र स्वाभाविक रूपमा नेटवर्क नीतिहरूसँग खेल्न सक्नुहुन्छ, इन्क्रिप्सन खोल्नुहोस् र बन्द गर्नुहोस्, आदि।
• (धेरै) ठूलो स्केल क्लस्टरको लागि CNI चाहिन्छ: ठीक छ, परीक्षणले ठूला क्लस्टरहरूको व्यवहार देखाउँदैन, म परीक्षणहरू सञ्चालन गर्न पाउँदा खुसी हुनेछु, तर हामीसँग 10Gbps जडान भएका सयौं सर्भरहरू छैनन्। त्यसोभए उत्तम विकल्प भनेको तपाईको नोडहरूमा परिमार्जित परीक्षण चलाउनु हो, कम्तिमा क्यालिको र सिलियमसँग।

स्रोत: www.habr.com