Aktar minn biljun indirizz IP uniku jgħaddu min-Netwerk Cloudflare kuljum; iservi aktar minn 11-il miljun talba HTTP kull sekonda; hi fi ħdan 100ms ta '95% tal-popolazzjoni tal-internet. In-netwerk tagħna jifrex 200 belt f'aktar minn 90 pajjiż, u t-tim tagħna ta 'inġiniera bena infrastruttura estremament veloċi u affidabbli.
Aħna kburin ħafna bix-xogħol tagħna u aħna impenjati li ngħinu biex l-Internet isir post aħjar u aktar sigur. L-inġiniera tal-hardware ta' Cloudflare għandhom fehim profond tas-servers u l-komponenti tagħhom biex jifhmu u jagħżlu l-aħjar hardware biex jimmassimizzaw il-prestazzjoni tiegħu.
Il-munzell tas-softwer tagħna jimmaniġġja l-kompjuters b'tagħbija għolja u huwa dipendenti ħafna mis-CPU, u jeħtieġ li l-inġiniera tagħna jottimizzaw kontinwament l-effiċjenza u l-affidabbiltà ta 'Cloudflare f'kull livell tal-munzell. Min-naħa tas-server, l-eħfef mod biex tiżdied il-qawwa tal-ipproċessar huwa billi żżid CPU cores. Iktar ma server jista' joqgħod, aktar jista' jipproċessa data. Dan huwa importanti għalina għaliex il-varjetà tal-prodotti u l-klijenti tagħna qed tikber maż-żmien, u t-tkabbir tat-talbiet jeħtieġ prestazzjoni akbar mis-servers. Biex inżidu l-prestazzjoni tagħhom, kellna nżidu d-densità tal-qlub - u dan huwa eżattament dak li wettaqna. Hawn taħt nipprovdu dejta dettaljata dwar il-proċessuri għal servers li ilna skjerati mill-2015, inkluż in-numru ta' cores:
-
Ġen 6
Ġen 7
Ġen 8
Ġen 9
Getting Started
2015
2016
2017
2018
CPU
Intel Xeon E5-2630 v3
Intel Xeon E5-2630 v4
Intel Xeon Silver 4116
Intel Xeon Platinum 6162
Qlub fiżiċi
2 x 8
2 x 10
2 x 12
2 x 24
TDP
2 x 85W
2 x 85W
2 x 85W
2 x 150W
TDP għal kull qalba
10.65W
8.50W
7.08W
6.25W
Fl-2018, għamilna qabża kbira fin-numru totali ta 'cores għal kull server b'Gen 9. L-impatt ambjentali tnaqqas bi 33% meta mqabbel mat-8 ġenerazzjoni, u b'hekk tana l-opportunità li nżidu l-volum u l-qawwa tal-kompjuter għal kull rack. Rekwiżiti tad-disinn għad-dissipazzjoni tas-sħana (, TDP) huma msemmija biex jenfasizzaw li l-effiċjenza enerġetika tagħna żdiedet ukoll maż-żmien. Dan l-indikatur huwa importanti għalina: l-ewwelnett, irridu li jarmu inqas karbonju fl-atmosfera; it-tieni, irridu nagħmlu l-aħjar użu mill-enerġija miċ-ċentri tad-dejta. Imma nafu li għandna xi ħaġa li nistinkaw għaliha.
Il-metrika ta' definizzjoni ewlenija tagħna hija n-numru ta' talbiet għal kull watt. Nistgħu nżidu n-numru ta 'talbiet kull sekonda billi nżidu l-qlub, iżda jeħtieġ li nibqgħu fil-baġit tal-enerġija tagħna. Aħna limitati mill-infrastruttura tal-enerġija taċ-ċentru tad-dejta, li, flimkien mal-moduli tad-distribuzzjoni tal-enerġija magħżula tagħna, tagħtina ċertu limitu massimu għal kull rack tas-server. Iż-żieda ta 'servers ma' rack iżid il-konsum tal-enerġija. L-ispejjeż operattivi se jiżdiedu b'mod sinifikanti jekk jaqbżu l-limitu tal-enerġija għal kull rack u jkollna nżidu xtillieri ġodda. Irridu nżidu l-qawwa tal-ipproċessar filwaqt li nibqgħu fl-istess firxa tal-konsum tal-enerġija, li se żżid it-talbiet għal kull watt, il-metrika ewlenija tagħna.
Kif forsi inti guessted, aħna studjati bir-reqqa l-konsum tal-enerġija fl-istadju tad-disinn. It-tabella ta 'hawn fuq turi li m'għandniex naħlu l-ħin billi niskjeraw CPUs aktar ġuħ għall-enerġija jekk it-TDP għal kull qalba huwa ogħla mill-ġenerazzjoni attwali - dan se jkollu impatt negattiv fuq il-metrika tagħna, it-talbiet għal kull watt. Studjajna bir-reqqa s-sistemi lesti biex jitħaddmu għall-ġenerazzjoni X tagħna fis-suq u ħadna deċiżjoni. Qegħdin nimxu mid-disinn ta' socket doppju Intel Xeon Platinum 48 tagħna ta' 6162 qalba għal disinn ta' socket wieħed AMD EPYC 48 ta' 7642 qalba.
-
Intel
AMD
CPU
Xeon Platinum 6162
EPYC 7642
Mikroarkitettura
"Skylake"
"Zen 2"
Isem il-kodiċi
“Skylake SP”
“Ruma”
Proċess tekniku
14nm
7nm
Qlub
2 x 24
48
Frekwenza
1.9 GHz
2.4 GHz
L3 Cache/socket
24 x 1.375MiB
16 x 16MiB
Memorja/sokit
6 kanali, sa DDR4-2400
8 kanali, sa DDR4-3200
TDP
2 x 150W
225W
PCIe/socket
48 korsiji
128 korsiji
ISA
x86-64
x86-64
Mill-ispeċifikazzjonijiet jidher ċar li ċ-ċippa minn AMD se tippermettilna nżommu l-istess numru ta 'qlub filwaqt li nnaqqsu t-TDP. Id-9 ġenerazzjoni kellha TDP għal kull qalba ta '6,25 W, u l-ġenerazzjoni X se tkun 4,69 W. Mnaqqsa b'25%. Grazzi għall-frekwenza miżjuda, u forsi disinn aktar sempliċi b'socket wieħed, wieħed jista 'jassumi li ċ-ċippa AMD se taħdem aħjar fil-prattika. Bħalissa qed inwettqu diversi testijiet u simulazzjonijiet biex naraw kemm se twettaq l-AMD aħjar.
Għalissa, ejja ninnutaw li TDP hija metrika simplifikata mill-ispeċifikazzjonijiet tal-manifattur, li użajna fl-istadji bikrija tad-disinn tas-server u l-għażla tas-CPU. Tfittxija mgħaġġla fuq Google tiżvela li AMD u Intel għandhom approċċi differenti biex jiddefinixxu TDP, u b'hekk l-ispeċifikazzjoni ma tkunx affidabbli. Il-konsum reali tal-enerġija tas-CPU, u aktar importanti l-konsum tal-enerġija tas-server, huwa dak li verament nużaw meta nieħdu d-deċiżjoni finali tagħna.
Prontezza tal-ekosistema
Biex nibdew il-vjaġġ tagħna biex nagħżlu l-proċessur li jmiss tagħna, ħarsu lejn firxa wiesgħa ta 'CPUs minn manifatturi differenti li kienu tajbin għall-munzell tas-softwer u s-servizzi tagħna (miktuba f'C, LuaJIT u Go). Aħna diġà ddeskrivejna fid-dettall sett ta 'għodod għall-kejl tal-veloċità . F'dan il-każ, użajna l-istess sett - jippermettilna nevalwaw l-effiċjenza tas-CPU fi żmien raġonevoli, u wara l-inġiniera tagħna jistgħu jibdew jadattaw il-programmi tagħna għal proċessur speċifiku.
Aħna ttestjajna varjetà ta 'proċessuri b'varjetà ta' għadd ta 'qalba, għadd ta' sockets, u frekwenzi. Peress li dan l-artikolu huwa dwar għaliex aħna stabbilixxejna fuq l-AMD EPYC 7642, iċ-ċarts kollha f'dan il-blog jiffokaw fuq kif jaħdmu l-proċessuri AMD meta mqabbla mal-Intel Xeon Platinum 6162 minn .
Ir-riżultati jikkorrispondu għal kejl ta 'server wieħed ma' kull varjant ta 'proċessur - jiġifieri, b'żewġ proċessuri 24-core minn Intel, jew ma' proċessur wieħed 48-core minn AMD (server għal Intel b'żewġ sockets u server għal AMD EPYC b'wieħed) . Fil-BIOS nissettjaw il-parametri li jikkorrispondu għas-servers li qed jaħdmu. Dan huwa 3,03 GHz għal AMD u 2,5 GHz għal Intel. Nissimplifikaw ħafna, nistennew li bl-istess numru ta 'cores, AMD se twettaq 21% aħjar minn Intel.
Kriptografija
Jidher promettenti għal AMD. Iwettaq 18% aħjar fuq il-kriptografija taċ-ċavetta pubblika. B'ċavetta simmetrika, titlef għall-għażliet ta 'encryption AES-128-GCM, iżda b'mod ġenerali twettaq komparabbli.
Kompressjoni
Fuq servers edge, aħna nikkompressaw ħafna dejta biex niffrankaw il-bandwidth u nżidu l-veloċità tal-kunsinna tal-kontenut. Aħna ngħaddu d-dejta permezz tal-libreriji C zlib u brotli. It-testijiet kollha twettqu fuq il-fajl HTML blog.cloudflare.com fil-memorja.
AMD rebaħ b'medja ta' 29% meta uża gzip. Fil-każ tal-brotli, ir-riżultati huma saħansitra aħjar fuq testijiet bi kwalità 7, li nużaw għall-kompressjoni dinamika. Fuq it-test brotli-9 hemm tnaqqis qawwi - nispjegaw dan bil-fatt li Brotli jikkonsma ħafna memorja u jfur il-cache. Madankollu, AMD jirbaħ b'marġni kbir.
Ħafna mis-servizzi tagħna huma miktuba f'Go. Fil-graffs li ġejjin, niċċekkjaw darbtejn il-veloċità tal-kriptografija u l-kompressjoni f'Go with RegExp fuq linji ta '32 KB billi tuża l-librerija tal-kordi.
Mur kriptografija
Mur Kompressjoni
Mur Regexp
Mur Strings
AMD jaħdem aħjar fit-testijiet kollha b'Go ħlief ECDSA P256 Sign, fejn kien 38% lura - li hija stramba, meta wieħed iqis li wettaq 24% aħjar f'C. Ta’ min nifhmu x’qed jiġri hemmhekk. B'mod ġenerali, AMD ma tirbaħx ħafna, iżda xorta turi l-aħjar riżultati.
LuaJIT
Ħafna drabi nużaw LuaJIT fuq il-munzell. Din hija l-kolla li żżomm il-partijiet kollha ta 'Cloudflare flimkien. U aħna ferħanin li AMD rebaħ hawn ukoll.
B'mod ġenerali, it-testijiet juru li l-EPYC 7642 jaħdem aħjar minn żewġ Xeon Platinum 6162. AMD jitlef fuq ftit testijiet - pereżempju, AES-128-GCM u Go OpenSSL ECDSA-P256 Sign - iżda jirbaħ fuq l-oħrajn kollha, b'medja ta’ 25 %.
Simulazzjoni tal-piż tax-xogħol
Wara t-testijiet ta 'malajr tagħna, għamilna s-servers permezz ta' sett ieħor ta 'simulazzjonijiet li fihom tiġi applikata tagħbija sintetika fuq il-munzell tat-tarf tas-softwer. Hawnhekk nissimulaw ammont ta' xogħol ta' xenarju b'tipi differenti ta' talbiet li jistgħu jiltaqgħu magħhom f'xogħol reali. It-talbiet ivarjaw fil-volum tad-dejta, protokolli HTTP jew HTTPS, sorsi WAF, Ħaddiema, u ħafna varjabbli oħra. Hawn taħt hemm paragun tat-trażmissjoni taż-żewġ CPUs għat-tipi ta 'talbiet li niltaqgħu magħhom l-aktar spiss.
Ir-riżultati fit-tabella huma mkejla mal-linja bażi ta 'magni bbażati fuq Intel tad-9 ġenerazzjoni, normalizzati għal valur ta' 1,0 fuq l-assi x. Pereżempju, meta tieħu talbiet sempliċi ta '10 KiB fuq HTTPS, nistgħu naraw li AMD tagħmel 1,5 darbiet aħjar minn Intel f'termini ta' talbiet kull sekonda. Bħala medja, AMD wettaq 34% aħjar minn Intel għal dawn it-testijiet. Meta wieħed iqis li t-TDP għal AMD EPYC 7642 wieħed huwa 225 W, u għal żewġ proċessuri Intel huwa 300 W, jirriżulta li f'termini ta '"talbiet għal kull watt" AMD juri riżultati 2 darbiet aħjar minn Intel!
F'dan il-punt, konna diġà nxaqilbu b'mod ċar lejn l-għażla ta' socket wieħed għall-AMD EPYC 7642 bħala CPUs futuri tagħna Ġen X. Konna interessati ħafna li naraw kif is-servers AMD EPYC se jwettqu f'xogħol fid-dinja reali, u immedjatament bgħatna diversi servers lil xi wħud minn ċentri tad-dejta.
Xogħol reali
L-ewwel pass, naturalment, kien li tipprepara s-servers għax-xogħol f'kundizzjonijiet reali. Il-magni kollha fil-flotta tagħna jaħdmu bl-istess proċessi u servizzi, li jipprovdu opportunità eċċellenti biex tqabbel il-prestazzjoni b'mod korrett. Bħal ħafna ċentri tad-dejta, għandna diversi ġenerazzjonijiet ta 'servers skjerati, u niġbru s-servers tagħna fi gruppi sabiex kull klassi jkun fiha servers ta' bejn wieħed u ieħor l-istess ġenerazzjonijiet. F'xi każijiet, dan jista 'jirriżulta f'kurvi ta' riċiklaġġ li jvarjaw bejn clusters. Imma mhux magħna. L-inġiniera tagħna ottimizzaw l-utilizzazzjoni tas-CPU għall-ġenerazzjonijiet kollha sabiex irrispettivament minn jekk is-CPU ta 'magna partikolari għandhiex 8 cores jew 24, l-utilizzazzjoni tas-CPU hija ġeneralment l-istess bħall-bqija.
Il-graff turi l-kumment tagħna dwar ix-xebh tal-utilizzazzjoni - m'hemm l-ebda differenza sinifikanti bejn l-użu ta 'CPUs AMD f'servers tal-ġenerazzjoni Gen X u l-użu ta' proċessuri Intel fis-servers tal-ġenerazzjoni Gen 9. Dan ifisser li kemm is-servers tat-test kif ukoll il-linja bażi huma mgħobbija b'mod ugwali. . Kbir. Dan huwa eżattament dak li naħdmu għalih fis-servers tagħna, u dan neħtieġu għal paragun ġust. Iż-żewġ graffs hawn taħt juru n-numru ta 'talbiet ipproċessati minn qalba waħda tas-CPU u l-qlub kollha fil-livell tas-server.
Talbiet għal kull qalba
Talbiet lis-server
Wieħed jista 'jara li bħala medja AMD tipproċessa 23% aktar talbiet. Mhux ħażin xejn! Spiss ktibna fuq il-blog tagħna dwar modi kif inżidu l-prestazzjoni ta 'Gen 9. U issa għandna l-istess numru ta' qlub, iżda AMD jagħmel aktar xogħol b'inqas qawwa. Huwa immedjatament ċar mill-ispeċifikazzjonijiet għan-numru ta 'qlub u TDP li AMD jipprovdi veloċità akbar b'effiċjenza akbar fl-enerġija.
Imma kif diġà semmejna, TDP mhix speċifikazzjoni standard u mhix l-istess għall-manifatturi kollha, għalhekk ejja nħarsu lejn l-użu attwali tal-enerġija. Billi tkejjel il-konsum tal-enerġija tas-server b'mod parallel man-numru ta' talbiet kull sekonda, ksibna l-graff li ġej:
Ibbażat fuq talbiet kull sekonda għal kull watt minfuq, is-servers Gen X li jaħdmu fuq proċessuri AMD huma 28% aktar effiċjenti. Wieħed jista 'jistenna aktar, minħabba li t-TDP ta' AMD huwa 25% inqas, iżda għandu jiġi mfakkar li TDP hija karatteristika ambigwa. Rajna li l-konsum attwali ta 'enerġija ta' AMD huwa kważi identiku għat-TDP iddikjarat fi frekwenzi ferm ogħla mill-bażi; Intel m'għandux dan. Din hija raġuni oħra għaliex TDP mhijiex stima affidabbli tal-konsum tal-enerġija. CPUs minn Intel fis-servers Gen 9 tagħna huma integrati f'sistema b'ħafna nodi, filwaqt li CPUs minn AMD joperaw f'servers standard ta 'fattur ta' forma 1U. Dan mhuwiex favur AMD, peress li s-servers multinode għandhom jipprovdu densità akbar b'inqas konsum ta 'enerġija għal kull node, iżda AMD xorta qabeż lil Intel f'termini ta' konsum ta 'enerġija għal kull node.
Fil-biċċa l-kbira tat-tqabbil bejn l-ispeċifikazzjonijiet, is-simulazzjonijiet tat-test, u l-prestazzjoni fid-dinja reali, il-konfigurazzjoni 1P AMD EPYC 7642 wettqet b'mod sinifikanti aħjar mill-2P Intel Xeon 6162. F'xi kundizzjonijiet, AMD jista 'jwettaq sa 36% aħjar, u nemmnu li billi jottimizzaw ħardwer u software, nistgħu niksbu dan it-titjib fuq bażi kontinwa.
Jirriżulta AMD rebaħ.
Graffs addizzjonali juru latency medja u p99 latency li jaħdem NGINX fuq perjodu ta '24 siegħa. Bħala medja, il-proċessi fuq AMD damu 25% aktar malajr. Fuq p99 jimxi 20-50% aktar mgħaġġel skont il-ħin tal-ġurnata.
Konklużjoni
L-inġiniera tal-Hardware u l-Prestazzjoni ta' Cloudflare jagħmlu ammont sinifikanti ta' ttestjar u riċerka biex jiddeterminaw l-aħjar konfigurazzjoni tas-server għall-klijenti tagħna. Aħna nħobbu naħdmu hawn għaliex nistgħu nsolvu problemi kbar bħal dawn, u nistgħu ngħinuk issolvi l-problemi tiegħek b'servizzi bħal serverless edge computing u firxa ta 'soluzzjonijiet ta' sigurtà bħal Magic Transit, Argo Tunnel, u protezzjoni DDoS. . Is-servers kollha fin-netwerk Cloudflare huma kkonfigurati biex iwettqu b'mod affidabbli, u aħna dejjem nippruvaw nagħmlu kull ġenerazzjoni ta 'servers li jmiss aħjar minn dik ta' qabel. Aħna nemmnu li l-AMD EPYC 7642 hija t-tweġiba meta niġu għall-proċessuri Gen X.
Bl-użu ta' Cloudflare Workers, l-iżviluppaturi jużaw l-applikazzjonijiet tagħhom fuq in-netwerk li qed jespandi tagħna madwar id-dinja. Aħna kburin li nħallu lill-klijenti tagħna jiffokaw fuq il-kitba tal-kodiċi filwaqt li aħna niffukaw fuq is-sigurtà u l-affidabbiltà fil-cloud. U llum aħna saħansitra aktar kuntenti li nħabbru li x-xogħol tagħhom se jiġi skjerat fuq is-servers tagħna tal-ġenerazzjoni Gen X li jħaddmu proċessuri AMD EPYC tat-tieni ġenerazzjoni.
Proċessuri EPYC 7642, isem kodiċi "Ruma" [Ruma]
Billi nużaw l-EPYC 7642 ta 'AMD, stajna nżidu l-prestazzjoni tagħna u nagħmluha aktar faċli li nespandu n-netwerk tagħna għal bliet ġodda. Ruma ma nbnietx f’ġurnata, imma dalwaqt tkun eqreb ta’ ħafna minnkom.
Fl-aħħar ftit snin konna nesperimentaw b'ħafna ċipep x86 minn Intel u AMD, kif ukoll proċessuri minn ARM. Nistennew li dawn il-produtturi tas-CPU jkomplu jaħdmu magħna fil-futur sabiex ilkoll nistgħu nibnu Internet aħjar flimkien.
Sors: www.habr.com