কুবারনেটস নেটওয়ার্ক প্লাগইন (সিএনআই) 10 জিবিপিএস নেটওয়ার্কের বেশি বেঞ্চমার্ক ফলাফল (আপডেট করা হয়েছে: এপ্রিল 2019)

এই আমার আপডেট আগের বেঞ্চমার্ক, যা এখন এপ্রিল 1.14 পর্যন্ত সর্বশেষ CNI সংস্করণ সহ Kubernetes 2019 এ চলে।

প্রথমত, আমি Cilium টিমকে ধন্যবাদ জানাতে চাই: ছেলেরা আমাকে মেট্রিক্স মনিটরিং স্ক্রিপ্টগুলি পরীক্ষা এবং সংশোধন করতে সাহায্য করেছে।

নভেম্বর 2018 থেকে কি পরিবর্তন হয়েছে

তারপর থেকে কী পরিবর্তন হয়েছে তা এখানে (যদি আপনি আগ্রহী হন):

Flannel সবচেয়ে দ্রুত এবং সহজ CNI ইন্টারফেস থেকে যায়, কিন্তু এখনও নেটওয়ার্ক নীতি এবং এনক্রিপশন সমর্থন করে না।

Romana আর সমর্থিত নয়, তাই আমরা এটিকে বেঞ্চমার্ক থেকে সরিয়ে দিয়েছি।

WeaveNet এখন ইনগ্রেস এবং ইগ্রেসের জন্য নেটওয়ার্ক নীতি সমর্থন করে! কিন্তু উৎপাদনশীলতা কমেছে।

ক্যালিকোতে, সেরা পারফরম্যান্সের জন্য আপনাকে এখনও ম্যানুয়ালভাবে সর্বাধিক প্যাকেট আকার (MTU) কনফিগার করতে হবে। CNI ইনস্টল করার জন্য ক্যালিকো দুটি বিকল্প অফার করে, যাতে আপনি একটি পৃথক ETCD সংগ্রহস্থল ছাড়া করতে পারেন:

• কুবারনেটস এপিআই-এ ডেটা স্টোর হিসাবে সংরক্ষণ করার অবস্থা (ক্লাস্টারের আকার <50 নোড);
• K8S API (ক্লাস্টার সাইজ > 50 নোড) এর লোড কমানোর জন্য একটি টাইফা প্রক্সি সহ একটি ডেটা স্টোর হিসাবে Kubernetes API-এ সঞ্চয় করার অবস্থা।

ক্যালিকো সমর্থন ঘোষণা করেছে অ্যাপ্লিকেশন স্তর নীতি অ্যাপ্লিকেশন-স্তরের নিরাপত্তার জন্য Istio-এর উপরে।

Cilium এখন এনক্রিপশন সমর্থন করে! Cilium IPSec টানেলের সাথে এনক্রিপশন প্রদান করে এবং এনক্রিপ্ট করা WeaveNet নেটওয়ার্কের বিকল্প অফার করে। কিন্তু উইভনেট এনক্রিপশন সক্ষম সহ সিলিয়ামের চেয়ে দ্রুত।

বিল্ট-ইন ইটিসিডি অপারেটরের জন্য সিলিয়াম এখন স্থাপন করা সহজ।

Cilium টিম মেমরি খরচ এবং CPU খরচ কমিয়ে তার CNI থেকে কিছু ওজন কমানোর চেষ্টা করেছে, কিন্তু এর প্রতিযোগীরা এখনও হালকা।

বেঞ্চমার্ক প্রসঙ্গ

বেঞ্চমার্কটি 10 ​​জিবি সুপারমাইক্রো সুইচ সহ তিনটি অ-ভার্চুয়ালাইজড সুপারমাইক্রো সার্ভারে চালিত হয়। সার্ভারগুলি প্যাসিভ DAC SFP+ তারের মাধ্যমে সরাসরি সুইচের সাথে সংযুক্ত থাকে এবং জাম্বো ফ্রেম (MTU 9000) সহ একই VLAN-এ কনফিগার করা হয়।

কুবারনেটস 1.14.0 উবুন্টু 18.04 এলটিএস-এ ডকার 18.09.2 সহ ইনস্টল করা হয়েছে (এই রিলিজে ডিফল্ট ডকার সংস্করণ)।

প্রজননযোগ্যতা উন্নত করতে, আমরা সর্বদা প্রথম নোডে মাস্টার কনফিগার করার সিদ্ধান্ত নিয়েছি, বেঞ্চমার্কের সার্ভার অংশটি দ্বিতীয় সার্ভারে এবং ক্লায়েন্ট অংশটি তৃতীয়টিতে স্থাপন করব। এটি করার জন্য, আমরা Kubernetes স্থাপনায় NodeSelector ব্যবহার করি।

আমরা নিম্নলিখিত স্কেলে বেঞ্চমার্ক ফলাফল বর্ণনা করব:

একটি বেঞ্চমার্কের জন্য একটি CNI নির্বাচন করা

বিভাগে তালিকা থেকে এটি শুধুমাত্র CNI-এর জন্য একটি বেঞ্চমার্ক kubeadm এর সাথে একটি মাস্টার ক্লাস্টার তৈরি করা সম্পর্কে কুবারনেটসের অফিসিয়াল ডকুমেন্টেশন দেখুন। 9টি সিএনআই-এর মধ্যে, আমরা মাত্র 6টি নেব: যেগুলি ইনস্টল করা কঠিন এবং/অথবা ডকুমেন্টেশন (রোমানা, কন্টিভ-ভিপিপি এবং জুনিপারকনট্রাইল/টাংস্টেনফ্যাব্রিক) অনুযায়ী কনফিগারেশন ছাড়া কাজ করে না সেগুলিকে আমরা বাদ দেব।

আমরা নিম্নলিখিত CNI গুলি তুলনা করব:

• ক্যালিকো v3.6
• খাল v3.6 (নেটওয়ার্কিংয়ের জন্য মূলত ফ্ল্যানেল + ফায়ারওয়াল হিসাবে ক্যালিকো)
• সিলিয়াম 1.4.2
• ফ্ল্যানেল 0.11.0
• কুবে-রাউটার 0.2.5
• উইভনেট 2.5.1

বিন্যাস

CNI ইনস্টল করা যত সহজ হবে, আমাদের প্রথম ছাপ তত ভাল হবে। বেঞ্চমার্ক থেকে সমস্ত সিএনআই ইনস্টল করা খুব সহজ (এক বা দুটি কমান্ড সহ)।

আমরা যেমন বলেছি, সার্ভার এবং সুইচগুলি জাম্বো ফ্রেমগুলি সক্ষম করে কনফিগার করা হয়েছে (আমরা MTU 9000 এ সেট করেছি)। আমরা খুশি হব যদি CNI স্বয়ংক্রিয়ভাবে অ্যাডাপ্টারের কনফিগারেশনের উপর ভিত্তি করে MTU নির্ধারণ করে। যাইহোক, শুধুমাত্র Cilium এবং Flannel এটি পরিচালনা করেছিল। বাকি CNI-এর কাছে GitHub-এ স্বয়ংক্রিয় MTU আবিষ্কার যোগ করার অনুরোধ রয়েছে, কিন্তু আমরা ক্যালিকো, ক্যানাল এবং কুবে-রাউটারের জন্য কনফিগম্যাপ পরিবর্তন করে, অথবা WeaveNet-এর জন্য একটি পরিবেশ পরিবর্তনশীল পাস করে ম্যানুয়ালি কনফিগার করব।

ভুল MTU এর সমস্যা কি? এই চিত্রটি ডিফল্ট এমটিইউ এবং জাম্বো ফ্রেম সক্ষম সহ WeaveNet এর মধ্যে পার্থক্য দেখায়:

কিভাবে MTU থ্রুপুট প্রভাবিত করে?

আমরা দেখেছি যে MTU কার্য সম্পাদনের জন্য কতটা গুরুত্বপূর্ণ, এখন দেখা যাক কীভাবে আমাদের CNI স্বয়ংক্রিয়ভাবে এটি নির্ধারণ করে:

CNI স্বয়ংক্রিয়ভাবে MTU সনাক্ত করে

গ্রাফটি দেখায় যে আপনাকে সর্বোত্তম কর্মক্ষমতার জন্য ক্যালিকো, ক্যানাল, কুবে-রাউটার এবং ওয়েভনেটের জন্য এমটিইউ কনফিগার করতে হবে। Cilium এবং Flannel কোনো সেটিংস ছাড়াই MTU নিজেরাই সঠিকভাবে নির্ধারণ করতে সক্ষম হয়েছিল।

নিরাপত্তা

আমরা দুটি দিক দিয়ে CNI নিরাপত্তার তুলনা করব: ট্রান্সমিটেড ডেটা এনক্রিপ্ট করার ক্ষমতা এবং কুবারনেটস নেটওয়ার্ক নীতির বাস্তবায়ন (বাস্তব পরীক্ষার উপর ভিত্তি করে, ডকুমেন্টেশন নয়)।

শুধুমাত্র দুটি CNI ডেটা এনক্রিপ্ট করে: Cilium এবং WeaveNet। জোড়া লাগানো উইভনেট একটি CNI পরিবেশ পরিবর্তনশীল হিসাবে এনক্রিপশন পাসওয়ার্ড সেট করে সক্রিয় করা হয়েছে। ভিতরে ডকুমেন্টেশন WeaveNet এটি একটি জটিল উপায়ে বর্ণনা করে, কিন্তু সবকিছু সহজভাবে করা হয়। জোড়া লাগানো সিলিয়াম কমান্ড দ্বারা কনফিগার করা হয়েছে, কুবারনেটস সিক্রেটস তৈরি করে এবং ডেমনসেটের পরিবর্তনের মাধ্যমে (ওয়েভনেটের তুলনায় একটু বেশি জটিল, কিন্তু সিলিয়ামের ধাপে ধাপে রয়েছে নির্দেশাবলী).

নেটওয়ার্ক নীতি বাস্তবায়নের ক্ষেত্রে তারা সফল হয়েছে ক্যালিকো, খাল, সিলিয়াম এবং ওয়েভনেট, যেখানে আপনি প্রবেশ এবং বহির্গমন নিয়মগুলি কনফিগার করতে পারেন। জন্য কুবে-রাউটার শুধুমাত্র প্রবেশের জন্য নিয়ম আছে, এবং পশমী কাপড় কোন নেটওয়ার্ক নীতি সব আছে.

এখানে সামগ্রিক ফলাফল আছে:

নিরাপত্তা কর্মক্ষমতা বেঞ্চমার্ক ফলাফল

উৎপাদনশীলতা

এই বেঞ্চমার্ক প্রতিটি টেস্টের কমপক্ষে তিন রানের উপর গড় থ্রুপুট দেখায়। আমরা TCP এবং UDP (iperf3 ব্যবহার করে), বাস্তব অ্যাপ্লিকেশন যেমন HTTP (Nginx এবং curl সহ) বা FTP (vsftpd এবং curl সহ) এবং অবশেষে SCP-ভিত্তিক এনক্রিপশন (ক্লায়েন্ট এবং সার্ভার OpenSSH ব্যবহার করে) ব্যবহার করে অ্যাপ্লিকেশন কার্যকারিতা পরীক্ষা করি।

সমস্ত পরীক্ষার জন্য, আমরা নেটিভ নেটওয়ার্ক পারফরম্যান্সের সাথে CNI পারফরম্যান্সের তুলনা করার জন্য একটি বেয়ার মেটাল বেঞ্চমার্ক (সবুজ লাইন) সম্পাদন করেছি। এখানে আমরা একই স্কেল ব্যবহার করি, কিন্তু রঙে:

• হলুদ = খুব ভালো
• কমলা = ভাল
• নীল = so-so
• লাল = খারাপ

আমরা ভুলভাবে কনফিগার করা CNI গুলো নেব না এবং শুধুমাত্র সঠিক MTU সহ CNI-এর ফলাফল দেখাব। (দ্রষ্টব্য: আপনি এনক্রিপশন সক্ষম করলে Cilium সঠিকভাবে MTU গণনা করে না, তাই আপনাকে ম্যানুয়ালি 8900 সংস্করণে MTU কমিয়ে 1.4 করতে হবে। পরবর্তী সংস্করণ, 1.5, এটি স্বয়ংক্রিয়ভাবে করে।)

এখানে ফলাফল আছে:

TCP পারফরম্যান্স

সমস্ত সিএনআই টিসিপি বেঞ্চমার্কে ভাল পারফর্ম করেছে। এনক্রিপশন সহ CNI অনেক পিছিয়ে কারণ এনক্রিপশন ব্যয়বহুল।

UDP কর্মক্ষমতা

এখানেও সব সিএনআই ভালো করছে। এনক্রিপশন সহ CNI প্রায় একই ফলাফল দেখিয়েছে। Cilium প্রতিযোগিতায় একটু পিছিয়ে আছে, কিন্তু এটি খালি ধাতুর মাত্র 2,3%, তাই এটি একটি খারাপ ফলাফল নয়। ভুলে যাবেন না যে শুধুমাত্র Cilium এবং Flannel সঠিকভাবে MTU নির্ধারণ করেছে, এবং এগুলো কোনো অতিরিক্ত কনফিগারেশন ছাড়াই তাদের ফলাফল।

একটি বাস্তব আবেদন সম্পর্কে কি? আপনি দেখতে পাচ্ছেন, HTTP-এর সামগ্রিক কর্মক্ষমতা TCP-এর তুলনায় সামান্য কম। আপনি TCP-এর সাথে HTTP ব্যবহার করলেও, HTTP বেঞ্চমার্ককে প্রভাবিত করবে এমন একটি ধীর শুরু এড়াতে আমরা TCP বেঞ্চমার্কে iperf3 কনফিগার করেছি। এখানে সবাই ভালো কাজ করেছে। কুবে-রাউটারের একটি সুস্পষ্ট সুবিধা রয়েছে, তবে ওয়েভনেট ভাল পারফর্ম করেনি: বেয়ার মেটালের চেয়ে প্রায় 20% খারাপ। এনক্রিপশন সহ Cilium এবং WeaveNet সত্যিই দুঃখজনক দেখায়।

FTP-এর সাথে, আরেকটি TCP-ভিত্তিক প্রোটোকল, ফলাফল পরিবর্তিত হয়। ফ্ল্যানেল এবং কুবে-রাউটার কাজ করে, তবে ক্যালিকো, ক্যানাল এবং সিলিয়াম একটু পিছনে এবং বেয়ার মেটালের তুলনায় প্রায় 10% ধীর। ওয়েভনেট 17% পিছিয়ে আছে, কিন্তু এনক্রিপ্ট করা ওয়েভনেট এনক্রিপ্ট করা সিলিয়ামের থেকে 40% এগিয়ে।

SCP এর মাধ্যমে আমরা অবিলম্বে দেখতে পারি যে SSH এনক্রিপশন আমাদের কত খরচ করে। প্রায় সব সিএনআই ভালো করছে, কিন্তু ওয়েভনেট আবার পিছিয়ে আছে। ডাবল এনক্রিপশন (SSH + CNI) এর কারণে এনক্রিপশন সহ সিলিয়াম এবং ওয়েভনেট প্রত্যাশিতভাবে সবচেয়ে খারাপ।

এখানে ফলাফল সহ একটি সংক্ষিপ্ত সারণী রয়েছে:

সম্পদ খরচ

এখন তুলনা করা যাক কিভাবে সিএনআই ভারী লোডের (TCP স্থানান্তরের সময়, 10 Gbps) সম্পদ ব্যবহার করে। কর্মক্ষমতা পরীক্ষায় আমরা সিএনআইকে বেয়ার মেটালের (সবুজ লাইন) সাথে তুলনা করি। সম্পদ খরচের জন্য, আসুন সিএনআই ছাড়াই বিশুদ্ধ কুবারনেটস (বেগুনি লাইন) দেখাই এবং সিএনআই কতগুলি অতিরিক্ত সংস্থান ব্যবহার করে তা দেখুন।

স্মৃতি দিয়ে শুরু করা যাক। এখানে স্থানান্তরের সময় এমবি-তে নোডের RAM (বাফার এবং ক্যাশে ব্যতীত) গড় মান রয়েছে৷

মেমরি খরচ

ফ্ল্যানেল এবং কুবে-রাউটার চমৎকার ফলাফল দেখিয়েছে - মাত্র 50 এমবি। ক্যালিকো এবং ক্যানাল প্রতিটিতে 70টি রয়েছে। ওয়েভনেট স্পষ্টতই অন্যদের থেকে বেশি ব্যবহার করে - 130 এমবি, এবং সিলিয়াম 400 এর মতো ব্যবহার করে।
এখন CPU সময় খরচ পরীক্ষা করা যাক. উল্লেখযোগ্য: চিত্রটি শতাংশ দেখায় না, কিন্তু পিপিএম, অর্থাৎ, "বেয়ার আয়রন" এর জন্য 38 পিপিএম হল 3,8%। এখানে ফলাফল আছে:

CPU খরচ

ক্যালিকো, ক্যানাল, ফ্ল্যানেল এবং কুবে-রাউটার খুবই CPU দক্ষ - CNI ছাড়া কুবারনেটের চেয়ে মাত্র 2% বেশি। WeaveNet অতিরিক্ত 5% এর সাথে অনেক পিছিয়ে আছে, Cilium এর পরে 7%।

এখানে সম্পদ খরচ একটি সারসংক্ষেপ:

ফলাফল

সমস্ত ফলাফল সহ টেবিল:

সাধারণ বেঞ্চমার্ক ফলাফল

উপসংহার

শেষ অংশে আমি ফলাফল সম্পর্কে আমার বিষয়গত মতামত প্রকাশ করব। মনে রাখবেন যে এই বেঞ্চমার্ক শুধুমাত্র একটি খুব ছোট ক্লাস্টারে (3 নোড) একটি একক সংযোগের থ্রুপুট পরীক্ষা করে। এটি বড় ক্লাস্টার (<50 নোড) বা সমান্তরাল সংযোগগুলিতে প্রযোজ্য নয়।

আমি দৃশ্যের উপর নির্ভর করে নিম্নলিখিত CNI ব্যবহার করার পরামর্শ দিই:

• আপনি আপনার ক্লাস্টার মধ্যে আছে কিছু সম্পদ সহ নোড (কয়েক জিবি র‍্যাম, বেশ কয়েকটি কোর) এবং আপনার নিরাপত্তা বৈশিষ্ট্যের প্রয়োজন নেই - বেছে নিন পশমী কাপড়. এটি সবচেয়ে সাশ্রয়ী সিএনআইগুলির মধ্যে একটি। এবং এটি বিভিন্ন ধরণের আর্কিটেকচারের সাথে সামঞ্জস্যপূর্ণ (amd64, arm, arm64, ইত্যাদি)। উপরন্তু, এটি দুটির মধ্যে একটি (অন্যটি হল Cilium) CNI যা স্বয়ংক্রিয়ভাবে MTU নির্ধারণ করতে পারে, তাই আপনাকে কিছু কনফিগার করতে হবে না। কুবে-রাউটারও উপযুক্ত, তবে এটি মানসম্মত নয় এবং আপনাকে ম্যানুয়ালি MTU কনফিগার করতে হবে।
• প্রয়োজন হলে নেটওয়ার্ক এনক্রিপ্ট করুন নিরাপত্তার জন্য, নিন উইভনেট. আপনি যদি জাম্বো ফ্রেম ব্যবহার করেন তবে MTU আকার নির্দিষ্ট করতে ভুলবেন না এবং একটি পরিবেশ পরিবর্তনশীলের মাধ্যমে একটি পাসওয়ার্ড নির্দিষ্ট করে এনক্রিপশন সক্ষম করুন। কিন্তু কর্মক্ষমতা সম্পর্কে ভুলে যাওয়া ভাল - এটি এনক্রিপশনের খরচ।
• থেকে স্বাভাবিক ব্যবহার আমি পরামর্শ করি বস্ত্রবিশেষ. এই CNI ব্যাপকভাবে বিভিন্ন Kubernetes স্থাপনার সরঞ্জামগুলিতে (Kops, Kubespray, Rancher, ইত্যাদি) ব্যবহৃত হয়। WeaveNet এর মতো, জাম্বো ফ্রেম ব্যবহার করলে ConfigMap-এ MTU কনফিগার করতে ভুলবেন না। এটি একটি মাল্টি-ফাংশনাল টুল যা সম্পদ খরচ, কর্মক্ষমতা এবং নিরাপত্তার ক্ষেত্রে দক্ষ।

এবং পরিশেষে, আমি আপনাকে উন্নয়ন অনুসরণ করার পরামর্শ দিই সিলিয়াম. এই CNI-এর একটি খুব সক্রিয় দল রয়েছে যারা তাদের পণ্যের উপর অনেক কাজ করে (বৈশিষ্ট্য, সম্পদ সঞ্চয়, কর্মক্ষমতা, নিরাপত্তা, ক্লাস্টারিং...) এবং তাদের খুব আকর্ষণীয় পরিকল্পনা রয়েছে।

সিএনআই নির্বাচনের জন্য ভিজ্যুয়াল ডায়াগ্রাম

উত্স: www.habr.com