Kubernetes નેટવર્ક પ્લગઇન (CNI) બેન્ચમાર્ક પરિણામો 10 Gbps નેટવર્ક પર (અપડેટેડ: એપ્રિલ 2019)

આ મારું અપડેટ છે અગાઉના બેન્ચમાર્ક, જે હવે એપ્રિલ 1.14 સુધીમાં નવીનતમ CNI સંસ્કરણ સાથે Kubernetes 2019 પર ચાલે છે.

સૌ પ્રથમ, હું Cilium ટીમનો આભાર માનું છું: લોકોએ મને મેટ્રિક્સ મોનિટરિંગ સ્ક્રિપ્ટ્સ તપાસવામાં અને સુધારવામાં મદદ કરી.

નવેમ્બર 2018 થી શું બદલાયું છે

ત્યારથી શું બદલાયું છે તે અહીં છે (જો તમને રસ હોય તો):

ફ્લેનેલ સૌથી ઝડપી અને સરળ CNI ઇન્ટરફેસ છે, પરંતુ તેમ છતાં નેટવર્ક નીતિઓ અને એન્ક્રિપ્શનને સપોર્ટ કરતું નથી.

રોમાના હવે સમર્થિત નથી, તેથી અમે તેને બેન્ચમાર્કમાંથી કાઢી નાખ્યું છે.

WeaveNet હવે પ્રવેશ અને બહાર નીકળવા માટે નેટવર્ક નીતિઓને સમર્થન આપે છે! પરંતુ ઉત્પાદકતા ઘટી છે.

કેલિકોમાં, તમારે હજુ પણ શ્રેષ્ઠ પ્રદર્શન માટે મહત્તમ પેકેટ કદ (MTU) મેન્યુઅલી ગોઠવવાની જરૂર છે. CNI ઇન્સ્ટોલ કરવા માટે કેલિકો બે વિકલ્પો પ્રદાન કરે છે, જેથી તમે અલગ ETCD રિપોઝીટરી વિના કરી શકો:

• ડેટા સ્ટોર (ક્લસ્ટર સાઇઝ < 50 નોડ્સ) તરીકે કુબરનેટ્સ API માં સ્ટોરિંગ સ્ટેટ;
• K8S API (ક્લસ્ટર સાઇઝ > 50 નોડ્સ) પરના ભારને દૂર કરવા માટે Typha પ્રોક્સી સાથે ડેટા સ્ટોર તરીકે કુબરનેટ્સ API માં સ્ટોર કરવાની સ્થિતિ.

કેલિકોએ ટેકો જાહેર કર્યો એપ્લિકેશન સ્તરની નીતિઓ એપ્લિકેશન-સ્તરની સુરક્ષા માટે Istio ની ટોચ પર.

Cilium હવે એન્ક્રિપ્શનને સપોર્ટ કરે છે! Cilium IPSec ટનલ સાથે એન્ક્રિપ્શન પૂરું પાડે છે અને એનક્રિપ્ટેડ WeaveNet નેટવર્કનો વિકલ્પ આપે છે. પરંતુ વીવનેટ એન્ક્રિપ્શન સક્ષમ સાથે Cilium કરતાં ઝડપી છે.

બિલ્ટ-ઇન ETCD ઓપરેટરને આભારી Cilium હવે જમાવવું સરળ છે.

Cilium ટીમે મેમરી વપરાશ અને CPU ખર્ચ ઘટાડીને તેના CNI માંથી કેટલાક વજનને ટ્રિમ કરવાનો પ્રયાસ કર્યો છે, પરંતુ તેના સ્પર્ધકો હજુ પણ હળવા છે.

બેન્ચમાર્ક સંદર્ભ

બેન્ચમાર્ક ત્રણ નોન-વર્ચ્યુઅલાઈઝ્ડ સુપરમાઈક્રો સર્વર્સ પર 10 Gb સુપરમાઈક્રો સ્વીચ સાથે ચાલે છે. સર્વરો નિષ્ક્રિય DAC SFP+ કેબલ્સ દ્વારા સીધા સ્વિચ સાથે જોડાયેલા છે અને જમ્બો ફ્રેમ્સ (MTU 9000) સાથે સમાન VLAN પર ગોઠવેલા છે.

Docker 1.14.0 સાથે Ubuntu 18.04 LTS પર Kubernetes 18.09.2 ઇન્સ્ટોલ કરેલ છે (આ પ્રકાશનમાં ડિફોલ્ટ ડોકર વર્ઝન).

પુનઃઉત્પાદનક્ષમતા સુધારવા માટે, અમે હંમેશા પ્રથમ નોડ પર માસ્ટરને ગોઠવવાનું નક્કી કર્યું છે, બેન્ચમાર્કનો સર્વર ભાગ બીજા સર્વર પર અને ક્લાયંટનો ભાગ ત્રીજા પર મૂકો. આ કરવા માટે, અમે કુબરનેટ્સ જમાવટમાં નોડસેલેક્ટરનો ઉપયોગ કરીએ છીએ.

અમે નીચેના સ્કેલ પર બેન્ચમાર્ક પરિણામોનું વર્ણન કરીશું:

બેન્ચમાર્ક માટે CNI પસંદ કરી રહ્યા છીએ

આ વિભાગમાંની સૂચિમાંથી ફક્ત CNI માટેનો બેન્ચમાર્ક છે kubeadm સાથે એક માસ્ટર ક્લસ્ટર બનાવવા વિશે અધિકૃત કુબરનેટ્સ દસ્તાવેજીકરણ જુઓ. 9 CNIsમાંથી, અમે ફક્ત 6 જ લઈશું: અમે તેને બાકાત રાખીશું કે જેને ઇન્સ્ટોલ કરવું મુશ્કેલ છે અને/અથવા દસ્તાવેજીકરણ (Romana, Contiv-VPP અને JuniperContrail/TungstenFabric) અનુસાર ગોઠવણી વિના કામ કરતું નથી.

અમે નીચેના CNI ની સરખામણી કરીશું:

• કેલિકો v3.6
• કેનાલ v3.6 (નેટવર્કિંગ માટે આવશ્યકપણે ફ્લાનલ + ફાયરવોલ તરીકે કેલિકો)
• સિલિયમ 1.4.2
• ફલેનલ 0.11.0
• કુબે-રાઉટર 0.2.5
• વીવનેટ 2.5.1

સ્થાપન

CNI ઇન્સ્ટોલ કરવામાં જેટલું સરળ હશે, અમારી પ્રથમ છાપ એટલી સારી હશે. બેન્ચમાર્કમાંથી તમામ CNIs ઇન્સ્ટોલ કરવા માટે ખૂબ જ સરળ છે (એક અથવા બે આદેશો સાથે).

અમે કહ્યું તેમ, સર્વર અને સ્વીચ જમ્બો ફ્રેમ્સ સક્ષમ સાથે ગોઠવેલ છે (અમે MTU ને 9000 પર સેટ કર્યું છે). અમે ખુશ થઈશું જો CNI એ એડેપ્ટરના રૂપરેખાંકનના આધારે MTU ને આપમેળે નિર્ધારિત કરે. જો કે, ફક્ત સીલીયમ અને ફ્લેનલે આનું સંચાલન કર્યું. બાકીના CNIs પાસે GitHub પર સ્વચાલિત MTU શોધ ઉમેરવાની વિનંતીઓ છે, પરંતુ અમે તેને કેલિકો, કેનાલ અને કુબે-રાઉટર માટેના કોન્ફિગમેપને બદલીને અથવા WeaveNet માટે પર્યાવરણ ચલ પસાર કરીને તેને મેન્યુઅલી ગોઠવીશું.

ખોટા MTU સાથે સમસ્યા શું છે? આ રેખાકૃતિ ડિફોલ્ટ MTU અને જમ્બો ફ્રેમ્સ સક્ષમ સાથે WeaveNet વચ્ચેનો તફાવત દર્શાવે છે:

MTU થ્રુપુટને કેવી રીતે અસર કરે છે?

અમે જોયું છે કે MTU પ્રદર્શન માટે કેટલું મહત્વનું છે, હવે ચાલો જોઈએ કે અમારા CNIs તેને આપમેળે કેવી રીતે નિર્ધારિત કરે છે:

CNI આપમેળે MTU શોધે છે

આલેખ બતાવે છે કે શ્રેષ્ઠ કામગીરી માટે તમારે કેલિકો, કેનાલ, કુબે-રાઉટર અને વેવનેટ માટે MTU ને ગોઠવવાની જરૂર છે. Cilium અને Flannel કોઈપણ સેટિંગ્સ વિના MTU ને યોગ્ય રીતે નક્કી કરવામાં સક્ષમ હતા.

સુરક્ષા

અમે બે પાસાઓમાં CNI સુરક્ષાની તુલના કરીશું: ટ્રાન્સમિટેડ ડેટાને એન્ક્રિપ્ટ કરવાની ક્ષમતા અને કુબરનેટ્સ નેટવર્ક નીતિઓનું અમલીકરણ (વાસ્તવિક પરીક્ષણો પર આધારિત, દસ્તાવેજીકરણ પર નહીં).

માત્ર બે CNI ડેટાને એન્ક્રિપ્ટ કરે છે: Cilium અને WeaveNet. એન્ક્રિપ્શન વીવનેટ CNI પર્યાવરણ ચલ તરીકે એન્ક્રિપ્શન પાસવર્ડ સેટ કરીને સક્ષમ. IN દસ્તાવેજીકરણ WeaveNet તેને જટિલ રીતે વર્ણવે છે, પરંતુ બધું સરળ રીતે કરવામાં આવે છે. એન્ક્રિપ્શન સીલિયમ કમાન્ડ્સ દ્વારા રૂપરેખાંકિત, કુબરનેટ્સ સિક્રેટ બનાવીને, અને ડિમનસેટમાં ફેરફાર દ્વારા (વેવનેટ કરતાં થોડું વધારે જટિલ છે, પરંતુ સીલિયમમાં સ્ટેપ-બાય-સ્ટેપ છે સૂચનો).

નેટવર્ક નીતિના અમલીકરણ માટે, તેઓ સફળ થયા છે કેલિકો, કેનાલ, સીલીયમ અને વેવનેટ, જેમાં તમે પ્રવેશ અને બહાર નીકળવાના નિયમોને ગોઠવી શકો છો. માટે કુબે-રાઉટર ત્યાં માત્ર પ્રવેશ માટે નિયમો છે, અને ફલાનીલ ત્યાં કોઈ નેટવર્ક નીતિઓ બિલકુલ નથી.

અહીં એકંદર પરિણામો છે:

સલામતી પ્રદર્શન બેન્ચમાર્ક પરિણામો

ઉત્પાદકતા

આ બેન્ચમાર્ક દરેક ટેસ્ટના ઓછામાં ઓછા ત્રણ રન પર સરેરાશ થ્રુપુટ દર્શાવે છે. અમે TCP અને UDP (iperf3 નો ઉપયોગ કરીને), વાસ્તવિક એપ્લિકેશન જેમ કે HTTP (Nginx અને curl સાથે) અથવા FTP (vsftpd અને curl સાથે) અને છેલ્લે SCP- આધારિત એન્ક્રિપ્શન (ક્લાયન્ટ અને સર્વર OpenSSH નો ઉપયોગ કરીને) નો ઉપયોગ કરીને એપ્લિકેશન પ્રદર્શનનું પરીક્ષણ કરીએ છીએ.

તમામ પરીક્ષણો માટે, અમે મૂળ નેટવર્ક પ્રદર્શન સાથે CNI પ્રદર્શનની સરખામણી કરવા માટે એકદમ મેટલ બેન્ચમાર્ક (ગ્રીન લાઇન) કર્યું. અહીં આપણે સમાન સ્કેલનો ઉપયોગ કરીએ છીએ, પરંતુ રંગમાં:

• પીળો = ખૂબ સારું
• નારંગી = સારું
• વાદળી = so-so
• લાલ = ખરાબ

અમે ખોટી રીતે રૂપરેખાંકિત CNIs લઈશું નહીં અને માત્ર યોગ્ય MTU સાથે CNIs માટે પરિણામો બતાવીશું. (નોંધ: જો તમે એન્ક્રિપ્શન સક્ષમ કરો છો તો Cilium યોગ્ય રીતે MTU ની ગણતરી કરતું નથી, તેથી તમારે આવૃત્તિ 8900 માં MTU ને મેન્યુઅલી ઘટાડીને 1.4 કરવું પડશે. આગલું સંસ્કરણ, 1.5, આ આપોઆપ કરે છે.)

અહીં પરિણામો છે:

TCP પ્રદર્શન

તમામ CNI એ TCP બેન્ચમાર્કમાં સારું પ્રદર્શન કર્યું. એન્ક્રિપ્શન સાથે CNI ઘણું પાછળ છે કારણ કે એન્ક્રિપ્શન ખર્ચાળ છે.

UDP કામગીરી

અહીં પણ તમામ CNI સારી કામગીરી કરી રહ્યા છે. એન્ક્રિપ્શન સાથે CNI એ લગભગ સમાન પરિણામ દર્શાવ્યું. સીલિયમ સ્પર્ધામાં થોડું પાછળ છે, પરંતુ તે એકદમ ધાતુના માત્ર 2,3% છે, તેથી તે ખરાબ પરિણામ નથી. ભૂલશો નહીં કે માત્ર Cilium અને Flannel એ MTU ને યોગ્ય રીતે નક્કી કર્યું છે, અને આ કોઈપણ વધારાના રૂપરેખાંકન વિના તેમના પરિણામો છે.

વાસ્તવિક એપ્લિકેશન વિશે શું? જેમ તમે જોઈ શકો છો, HTTP માટેનું એકંદર પ્રદર્શન TCP કરતાં થોડું ઓછું છે. જો તમે TCP સાથે HTTP નો ઉપયોગ કરો છો, તો પણ HTTP બેન્ચમાર્કને અસર કરતી ધીમી શરૂઆતને ટાળવા માટે અમે TCP બેન્ચમાર્કમાં iperf3 ગોઠવ્યું છે. બધાએ અહીં સારું કામ કર્યું. કુબે-રાઉટરનો સ્પષ્ટ ફાયદો છે, પરંતુ વેવનેટ સારું પ્રદર્શન કરી શક્યું નથી: એકદમ મેટલ કરતાં લગભગ 20% ખરાબ. એન્ક્રિપ્શન સાથે Cilium અને WeaveNet ખરેખર ઉદાસી લાગે છે.

FTP સાથે, અન્ય TCP-આધારિત પ્રોટોકોલ, પરિણામો બદલાય છે. ફ્લેનેલ અને કુબે-રાઉટર કામ કરે છે, પરંતુ કેલિકો, કેનાલ અને સીલિયમ થોડા પાછળ છે અને બેર મેટલ કરતાં લગભગ 10% ધીમા છે. વીવનેટ 17% જેટલું પાછળ છે, પરંતુ એન્ક્રિપ્ટેડ વેવનેટ એનક્રિપ્ટેડ સીલિયમ કરતાં 40% આગળ છે.

SCP સાથે અમે તરત જ જોઈ શકીએ છીએ કે SSH એન્ક્રિપ્શનનો અમને કેટલો ખર્ચ થાય છે. લગભગ તમામ CNI સારી કામગીરી કરી રહ્યા છે, પરંતુ WeaveNet ફરીથી પાછળ રહી ગઈ છે. એન્ક્રિપ્શન સાથે સીલિયમ અને વેવનેટ ડબલ એન્ક્રિપ્શન (SSH + CNI) ને કારણે અપેક્ષિત રીતે સૌથી ખરાબ છે.

અહીં પરિણામો સાથેનું સારાંશ કોષ્ટક છે:

સંસાધન વપરાશ

હવે ચાલો સરખામણી કરીએ કે CNI કેવી રીતે ભારે ભાર હેઠળ સંસાધનોનો ઉપયોગ કરે છે (TCP ટ્રાન્સફર દરમિયાન, 10 Gbps). પ્રદર્શન પરીક્ષણોમાં અમે CNI ની તુલના એકદમ મેટલ (ગ્રીન લાઇન) સાથે કરીએ છીએ. સંસાધન વપરાશ માટે, ચાલો CNI વગર શુદ્ધ કુબરનેટ્સ (જાંબલી રેખા) બતાવીએ અને જોઈએ કે CNI કેટલા વધારાના સંસાધનો વાપરે છે.

ચાલો મેમરી સાથે શરૂ કરીએ. ટ્રાન્સફર દરમિયાન MB માં નોડ્સની RAM (બફર્સ અને કેશ સિવાય) માટે અહીં સરેરાશ મૂલ્ય છે.

મેમરી વપરાશ

ફલેનલ અને કુબે-રાઉટરએ ઉત્તમ પરિણામો દર્શાવ્યા - માત્ર 50 એમબી. કેલિકો અને કેનાલ દરેક પાસે 70 છે. વેવનેટ સ્પષ્ટપણે અન્ય કરતાં વધુ વપરાશ કરે છે - 130 MB, અને Cilium 400 જેટલું વાપરે છે.
હવે ચાલો CPU સમય વપરાશ તપાસીએ. નોંધનીય: આકૃતિ ટકાવારી બતાવે છે નહીં, પરંતુ ppm, એટલે કે, "બેર આયર્ન" માટે 38 ppm 3,8% છે. અહીં પરિણામો છે:

CPU વપરાશ

કેલિકો, કેનાલ, ફ્લેનેલ અને કુબે-રાઉટર ખૂબ જ CPU કાર્યક્ષમ છે - CNI વિના કુબરનેટ્સ કરતાં માત્ર 2% વધુ. WeaveNet વધારાના 5% સાથે ખૂબ પાછળ છે, ત્યારબાદ Cilium 7% પર છે.

અહીં સંસાધન વપરાશનો સારાંશ છે:

પરિણામો

બધા પરિણામો સાથે કોષ્ટક:

સામાન્ય બેન્ચમાર્ક પરિણામો

નિષ્કર્ષ

છેલ્લા ભાગમાં હું પરિણામો પર મારો વ્યક્તિલક્ષી અભિપ્રાય વ્યક્ત કરીશ. યાદ રાખો કે આ બેન્ચમાર્ક માત્ર એક જ કનેક્શનના થ્રુપુટને ખૂબ જ નાના ક્લસ્ટર (3 નોડ્સ) પર ચકાસે છે. તે મોટા ક્લસ્ટરો (<50 નોડ્સ) અથવા સમાંતર જોડાણો પર લાગુ પડતું નથી.

હું દૃશ્યના આધારે નીચેના CNI નો ઉપયોગ કરવાની ભલામણ કરું છું:

• શું તમારી પાસે તમારા ક્લસ્ટરમાં છે થોડા સંસાધનો સાથે નોડ્સ (કેટલાક જીબી રેમ, ઘણા કોરો) અને તમારે સુરક્ષા સુવિધાઓની જરૂર નથી - પસંદ કરો ફલાનીલ. આ સૌથી વધુ ખર્ચ-અસરકારક CNIs પૈકી એક છે. અને તે વિવિધ પ્રકારના આર્કિટેક્ચર (amd64, arm, arm64, વગેરે) સાથે સુસંગત છે. વધુમાં, આ બેમાંથી એક છે (બીજી Cilium છે) CNI જે આપમેળે MTU નક્કી કરી શકે છે, તેથી તમારે કંઈપણ ગોઠવવાની જરૂર નથી. કુબે-રાઉટર પણ યોગ્ય છે, પરંતુ તે પ્રમાણભૂત નથી અને તમારે MTU ને મેન્યુઅલી ગોઠવવાની જરૂર પડશે.
• જો જરૂરી હોય તો નેટવર્કને એન્ક્રિપ્ટ કરો સલામતી માટે, લો વીવનેટ. જો તમે જમ્બો ફ્રેમ્સનો ઉપયોગ કરી રહ્યાં હોવ તો MTU માપ સ્પષ્ટ કરવાનું ભૂલશો નહીં, અને પર્યાવરણ વેરીએબલ દ્વારા પાસવર્ડનો ઉલ્લેખ કરીને એન્ક્રિપ્શનને સક્ષમ કરો. પરંતુ પ્રદર્શન વિશે ભૂલી જવું વધુ સારું છે - તે એન્ક્રિપ્શનની કિંમત છે.
• માટે સામાન્ય ઉપયોગ советую કાલિકો. આ CNI નો ઉપયોગ વિવિધ કુબરનેટ્સ ડિપ્લોયમેન્ટ ટૂલ્સ (કોપ્સ, કુબેસ્પ્રે, રેન્ચર, વગેરે) માં વ્યાપકપણે થાય છે. WeaveNet ની જેમ, જો જમ્બો ફ્રેમ્સનો ઉપયોગ કરી રહ્યાં હોવ તો ConfigMap માં MTU ને ગોઠવવાની ખાતરી કરો. તે એક મલ્ટિ-ફંક્શનલ ટૂલ છે જે સંસાધન વપરાશ, પ્રદર્શન અને સુરક્ષાના સંદર્ભમાં કાર્યક્ષમ છે.

અને અંતે, હું તમને વિકાસને અનુસરવાની સલાહ આપું છું સીલિયમ. આ CNI પાસે ખૂબ જ સક્રિય ટીમ છે જે તેમના ઉત્પાદન (સુવિધાઓ, સંસાધન બચત, પ્રદર્શન, સુરક્ષા, ક્લસ્ટરિંગ...) પર ઘણું કામ કરે છે અને તેમની પાસે ખૂબ જ રસપ્રદ યોજનાઓ છે.

CNI પસંદગી માટે વિઝ્યુઅલ ડાયાગ્રામ

સોર્સ: www.habr.com