Méi wéi eng Milliard eenzegaarteg IP Adressen passéieren all Dag duerch de Cloudflare Network; et déngt méi wéi 11 Milliounen HTTP-Ufroen pro Sekonn; si ass bannent 100ms vun 95% vun der Internet Populatioun. Eist Netzwierk spant 200 Stied an iwwer 90 Länner, an eist Team vun Ingenieuren huet eng extrem séier an zouverlässeg Infrastruktur gebaut.
Mir si ganz stolz op eis Aarbecht a si verpflichte fir den Internet eng besser a méi sécher Plaz ze maachen. Cloudflare's Hardware Ingenieuren hunn en déiwe Verständnis vu Serveren an hire Komponenten fir déi bescht Hardware ze verstoen an ze wielen fir seng Leeschtung ze maximéieren.
Eise Software Stack handhabt High-load Computing an ass héich CPU-ofhängeg, wat eis Ingenieuren erfuerdert d'Effizienz an Zouverlässegkeet vun Cloudflare op all Niveau vum Stack kontinuéierlech ze optimiséieren. Op der Server Säit ass deen einfachste Wee fir d'Veraarbechtungskraaft ze erhéijen andeems Dir CPU Cores bäidréit. Wat méi Cores e Server ka passen, wat méi Daten kann et veraarbecht ginn. Dëst ass wichteg fir eis well d'Varietéit vun eise Produkter a Cliente mat der Zäit wiisst, an de Wuesstum vun Ufroe erfuerdert eng verstäerkte Leeschtung vu Serveren. Fir hir Leeschtung ze erhéijen, musse mir d'Dicht vun de Kären erhéijen - an dat ass genau wat mir erreecht hunn. Drënner liwwere mir detailléiert Donnéeën iwwer Prozessoren fir Serveren déi mir zënter 2015 ofgesat hunn, dorënner d'Zuel vun de Kären:
-
Gen 6
Gen 7
Gen 8
Gen 9
Schrëtt;
2015
2016
2017
2018
cpu
Intel Xeon E5-2630 v3
Intel Xeon E5-2630 v4
Intel Xeon Silver 4116
Intel Xeon Platinum 6162
Kierperlech Kären
2 x 8
2 x 10
2 x 12
2 x 24
TDP
2 x 85W
2 x 85W
2 x 85W
2 x 150W
TDP pro Kär
10.65W
8.50W
7.08W
6.25W
Am Joer 2018 hu mir e grousse Sprong an der Gesamtzuel vun de Cores pro Server mat Gen 9 gemaach. Den Ëmweltimpakt gouf mat 33% reduzéiert am Verglach mat der 8. Design Ufuerderunge fir Hëtzt dissipation (, TDP) ginn ernimmt fir ze ënnersträichen datt eis Energieeffizienz och mat der Zäit eropgaang ass. Dësen Indikator ass wichteg fir eis: Éischtens wëlle mir manner Kuelestoff an d'Atmosphär ausstoen; zweetens wëlle mir d'Energie aus den Datenzenteren am beschten notzen. Mä mir wëssen, datt mir eppes hunn ze ustriewen.
Eis Haaptdefinéierend Metrik ass d'Zuel vun Ufroe pro Watt. Mir kënnen d'Zuel vun den Ufroen pro Sekonn erhéijen andeems mir Kären derbäi ginn, awer mir musse bannent eisem Kraaftbudget bleiwen. Mir sinn limitéiert duerch d'Datenzentrum Power Infrastruktur, déi, zesumme mat eise gewielte Kraaftverdeelungsmoduler, eis eng gewëssen Uewergrenz fir all Serverrack gëtt. Dobäi Serveren zu engem Zännstaang vergréissert Muecht Konsum. D'Operatiounskäschte wäerte wesentlech eropgoen wa mir d'Per-Rack Energielimit iwwerschreiden an nei Racken derbäi mussen. Mir mussen d'Veraarbechtungskraaft erhéijen wärend mir am selwechte Stroumverbrauchsberäich bleiwen, wat d'Ufroe pro Watt erhéicht, eis Schlësselmetrik.
Wéi Dir scho scho scho scho scho scho scho scho gesot hutt, hu mir d'Energieverbrauch an der Designstadium suergfälteg studéiert. D'Tabell hei uewen weist datt mir d'Zäit net verschwenden fir méi energiehongereg CPUs z'installéieren wann den TDP pro Kär méi héich ass wéi déi aktuell Generatioun - dëst wäert negativ Auswierkungen op eis Metrik, Ufroe pro Watt. Mir studéiert virsiichteg déi fäerdeg Systemer fir eis Generatioun X um Maart an hunn eng Entscheedung getraff. Mir plënneren vun eisem 48-Kär Intel Xeon Platinum 6162 Dual-Socket Design op en 48-Kär AMD EPYC 7642 Single-Socket Design.
-
Intel
AMD
cpu
Xeon Platin 6162
EPYC 7642
Mikroarchitektur
"Skylake"
"Zen 2"
Codenumm
"Skylake SP"
"Roum"
Prozess Technologie
14nm
7nm
Kären
2 x 24
48
Heefegkeet
1.9 GHz
2.4 GHz
L3 Cache/Socket
24 x 1.375 MB
16 x 16 MB
Erënnerung / Socket
6 Kanäl, bis zu DDR4-2400
8 Kanäl, bis zu DDR4-3200
TDP
2 x 150W
225W
PCIe/Socket
48 Spuren
128 Spuren
ISA
x86-64
x86-64
Vun de Spezifikatioune ass et kloer datt den Chip vun AMD eis erlaabt déi selwecht Unzuel vu Cores ze halen wärend den TDP erof geet. Déi 9. Generatioun hat en TDP pro Kär vu 6,25 W, an déi Xth Generatioun wäert et 4,69 W sinn. Ëm 25% reduzéiert. Dank der verstäerkter Frequenz, a vläicht e méi einfachen Design mat engem Socket, kann et ugeholl ginn datt den AMD Chip an der Praxis besser funktionnéiert. Mir lafen am Moment verschidden Tester a Simulatioune fir ze kucken wéi vill besser AMD wäert Leeschtunge.
Fir de Moment, loosst eis notéieren datt TDP eng vereinfacht Metrik aus de Spezifikatioune vum Hiersteller ass, déi mir an de fréie Stadien vum Serverdesign an der CPU Auswiel benotzt hunn. Eng séier Google Sich weist datt AMD an Intel verschidde Approche fir TDP ze definéieren hunn, wat d'Spezifikatioun onzouverlässeg mécht. Real CPU Energieverbrauch, a méi wichteg Server Stroumverbrauch, ass wat mir wierklech benotze wann mir eis definitiv Entscheedung treffen.
Ökosystem Bereetschaft
Fir eis Rees unzefänken fir eisen nächste Prozessor ze wielen, hu mir eng breet Palette vun CPUs vu verschiddene Hiersteller gekuckt, déi e gudde Fit fir eise Softwarestack a Servicer waren (geschriwwe an C, LuaJIT a Go). Mir hu schonn am Detail eng Rei vun Tools beschriwwen fir d'Geschwindegkeet ze moossen . An dësem Fall hu mir dee selwechte Set benotzt - et erlaabt eis d'Effizienz vun der CPU an enger raisonnabeler Zäit ze evaluéieren, duerno kënnen eis Ingenieuren ufänken eis Programmer un e spezifesche Prozessor unzepassen.
Mir hunn eng Vielfalt vu Prozessoren getest mat enger Vielfalt vu Kärzuelen, Socketzuelen a Frequenzen. Zënter dësem Artikel ass iwwer firwat mir eis op den AMD EPYC 7642 niddergelooss hunn, fokusséiere all Charts an dësem Blog op wéi AMD Prozessoren am Verglach mam Intel Xeon Platinum 6162 vun .
D'Resultater entspriechen Miessunge vun engem eenzege Server mat all Prozessorvariant - dat heescht mat zwee 24-Käre Prozessoren vun Intel, oder mat engem 48-Kär Prozessor vun AMD (Server fir Intel mat zwee Sockets a Server fir AMD EPYC mat engem) . Am BIOS setzen mir d'Parameteren entspriechend de lafen Serveren. Dëst ass 3,03 GHz fir AMD an 2,5 GHz fir Intel. Vill vereinfacht, mir erwaarden datt mat der selwechter Unzuel vu Kären AMD 21% besser wäert Leeschtunge wéi Intel.
Kryptografie
Gesäit verspriechend fir AMD aus. Et leeft 18% besser op der ëffentlecher Schlëssel Kryptografie. Mat engem symmetresche Schlëssel verléiert et fir d'AES-128-GCM Verschlësselungsoptiounen, awer allgemeng funktionnéiert vergläichbar.
Kompressioun
Op Randserver kompriméiere mir vill Daten fir op Bandbreedung ze spueren an d'Geschwindegkeet vun der Inhaltsliwwerung ze erhéijen. Mir passéieren d'Donnéeën duerch d'C Bibliothéiken zlib a brotli. All Tester goufen op der blog.cloudflare.com HTML Datei an der Erënnerung gelaf.
AMD gewënnt duerchschnëttlech 29% wann Dir gzip benotzt. Am Fall vu Brotli sinn d'Resultater nach besser op Tester mat Qualitéit 7, déi mir fir dynamesch Kompressioun benotzen. Am Brotli-9 Test gëtt et e schaarfe Réckgang - mir erklären dëst duerch d'Tatsaach datt Brotli vill Erënnerung verbraucht an de Cache iwwerflësseg ass. Wéi och ëmmer, AMD gewënnt mat engem grousse Spillraum.
Vill vun eise Servicer sinn am Go geschriwwen. An de folgende Grafike verduebele mir d'Geschwindegkeet vun der Kryptografie a Kompressioun am Go mat RegExp op 32 KB Linnen mat der Stringsbibliothéik.
Gitt Kryptografie
Gitt Kompressioun
Gitt Regexp
Gitt Strings
AMD leeft besser an all Tester mat Go ausser ECDSA P256 Sign, wou et 38% hannendrun war - wat komesch ass, well et 24% besser am C. Et lount sech erauszefannen, wat do lass ass. Am Allgemengen gewënnt AMD net vill, awer weist nach ëmmer déi bescht Resultater.
LuaJIT
Mir benotzen dacks LuaJIT um Stack. Dëst ass de Klebstoff deen all Deeler vun Cloudflare zesummen hält. A mir si frou, datt AMD och hei gewonnen huet.
Am Allgemengen weisen d'Tester datt den EPYC 7642 besser funktionnéiert wéi zwee Xeon Platinum 6162. AMD verléiert op e puer Tester - zum Beispill AES-128-GCM a Go OpenSSL ECDSA-P256 Sign - awer gewënnt op all aner, duerch eng Moyenne vun 25%.
Aarbechtslaascht Simulatioun
No eise schnelle Tester hu mir d'Server duerch eng aner Rei vu Simulatioune lafen, an deenen eng synthetesch Belaaschtung op de Software Rand Stack applizéiert gëtt. Hei simuléiere mir e Szenario Aarbechtslaascht mat verschidden Aarte vun Ufroen, déi an der realer Aarbecht begéint kënne ginn. Ufroe variéieren am Datevolumen, HTTP oder HTTPS Protokoller, WAF Quellen, Aarbechter, an aner vill Variablen. Drënner ass e Verglach vum Duerchsatz vun den zwee CPUs fir d'Zorte vun Ufroen déi mir am meeschten begéinen.
D'Resultater am Diagramm gi gemooss géint d'Basislinn vun 9. Generatioun Intel-baséiert Maschinnen, normaliséiert op e Wäert vun 1,0 op der x-Achs. Zum Beispill, einfach 10 KiB Ufroen iwwer HTTPS huelen, kënne mir gesinn datt AMD 1,5 Mol besser mécht wéi Intel wat Ufroen pro Sekonn ugeet. Am Duerchschnëtt huet AMD 34% besser gemaach wéi Intel fir dës Tester. Bedenkt datt den TDP fir eng eenzeg AMD EPYC 7642 225 W ass, a fir zwee Intel Prozessoren 300 W ass, stellt sech eraus datt a punkto "Ufroen pro Watt" AMD 2 Mol besser Resultater weist wéi Intel!
Zu dësem Zäitpunkt hu mir scho kloer op d'Single Socket-Optioun fir den AMD EPYC 7642 als eis zukünfteg Gen X CPUs hänke gelooss. Mir ware ganz interesséiert ze gesinn wéi d'AMD EPYC Serveren an der realer Welt schaffen, a mir hunn direkt e puer geschéckt Serveren zu e puer vun Daten Zentren.
Wierklech Aarbecht
Den éischte Schrëtt, natierlech, war d'Servere virzebereeden op Aarbecht an real Konditiounen. All Maschinnen an eiser Flott funktionnéieren mat deene selwechte Prozesser a Servicer, wat eng exzellent Geleeënheet gëtt fir d'Performance korrekt ze vergläichen. Wéi déi meescht Datenzenteren hu mir e puer Generatioune vu Serveren ofgesat, a mir sammelen eis Serveren a Cluster, sou datt all Klass Servere vun ongeféier déiselwecht Generatiounen enthält. A verschiddene Fäll kann dëst zu Recyclingkurven féieren, déi tëscht Cluster ënnerscheeden. Awer net bei eis. Eis Ingenieuren hunn d'CPU-Notzung fir all Generatiounen optimiséiert, sou datt egal ob d'CPU vun enger bestëmmter Maschinn 8 Cores oder 24 huet, d'CPU-Notzung ass allgemeng d'selwecht wéi de Rescht.
D'Grafik illustréiert eise Kommentar iwwer d'Ähnlechkeet vun der Notzung - et gëtt kee wesentlechen Ënnerscheed tëscht der Notzung vun AMD CPUs an Gen X Generatioun Serveren an der Notzung vun Intel Prozessoren an Gen 9 Generatioun Serveren. . Super. Dat ass genee wat mir an eise Serveren ustriewen, a mir brauchen dëst fir e faire Verglach. Déi zwee Grafiken hei drënner weisen d'Zuel vun den Ufroen, déi vun engem CPU Kär an all Käre um Serverniveau veraarbecht ginn.
Ufroen pro Kär
Ufro un de Server
Et kann gesi ginn datt am Duerchschnëtt AMD 23% méi Ufroe veraarbecht. guer net schlecht! Mir hunn dacks op eisem Blog geschriwwen iwwer Weeër fir d'Performance vum Gen 9 ze erhéijen. An elo hu mir déiselwecht Unzuel vu Kären, awer AMD mécht méi Aarbecht mat manner Kraaft. Et ass direkt kloer aus de Spezifikatioune fir d'Zuel vun de Cores an TDP datt AMD méi grouss Geschwindegkeet mat méi Energieeffizienz ubitt.
Awer wéi mir scho gesot hunn, ass TDP keng Standardspezifikatioun an et ass net d'selwecht fir all Hiersteller, also loosst eis déi aktuell Energieverbrauch kucken. Andeems mir den Energieverbrauch vum Server parallel mat der Unzuel vun Ufroen pro Sekonn moossen, hu mir déi folgend Grafik kritt:
Baséierend op Ufroe pro Sekonn pro Watt ausginn, sinn Gen X Serveren déi op AMD Prozessoren lafen 28% méi effizient. Et kéint ee méi erwaarden, well dem AMD säin TDP 25% méi niddereg ass, awer et sollt een drun erënneren datt TDP eng zweedeiteg Charakteristik ass. Mir hu gesinn datt den aktuellen Energieverbrauch vun AMD bal identesch ass mat dem uginnen TDP bei Frequenzen vill méi héich wéi d'Basis; Intel huet dat net. Dëst ass en anere Grond firwat TDP keng zouverlässeg Schätzung vum Energieverbrauch ass. CPUs vun Intel an eise Gen 9 Serveren sinn an e Multi-Node System integréiert, während CPUs vun AMD an Standard 1U Form Faktor Serveren operéieren. Dëst ass net zugonschte vun AMD, well Multinode Server solle méi grouss Dicht mat manner Stroumverbrauch pro Node ubidden, awer AMD huet Intel ëmmer nach iwwerholl wat de Stroumverbrauch pro Node ugeet.
Am meeschte Vergläicher iwwer Spezifikatioune, Test Simulatiounen, an real-Welt Leeschtung, der 1P AMD EPYC 7642 Konfiguratioun Leeschtung wesentlech besser wéi den 2P Intel Xeon 6162. An e puer Konditiounen kann AMD Leeschtunge bis zu 36% besser, a mir gleewen, datt duerch Optimisatioun Hardware a Software, mir kënnen dës Verbesserung op eng kontinuéierlech Basis erreechen.
Et stellt sech eraus datt AMD gewonnen huet.
Zousätzlech Grafike weisen duerchschnëttlech Latenz a p99 Latenz Lafen NGINX iwwer eng 24-Stonne Period. Am Duerchschnëtt lafe Prozesser op AMD 25% méi séier. Op p99 leeft et 20-50% méi séier ofhängeg vun der Zäit vum Dag.
Konklusioun
Cloudflare's Hardware a Performance Ingenieuren maachen eng bedeitend Quantitéit un Testen a Fuerschung fir déi bescht Serverkonfiguratioun fir eis Clienten ze bestëmmen. Mir schaffen gär hei well mir grouss Probleemer wéi dës kënne léisen, a mir kënnen Iech hëllefen Är Probleemer mat Servicer wéi Serverless Edge Computing an eng ganz Rëtsch Sécherheetsléisungen wéi Magic Transit, Argo Tunnel, an DDoS Schutz ze léisen. . All Server am Cloudflare Netz sinn konfiguréiert fir zouverlässeg ze maachen, a mir probéieren ëmmer all nächst Generatioun vu Serveren besser ze maachen wéi déi virdrun. Mir gleewen datt den AMD EPYC 7642 d'Äntwert ass wann et ëm Gen X Prozessoren kënnt.
Mat Cloudflare Workers benotzen d'Entwéckler hir Uwendungen op eisem erweiderten Netzwierk ronderëm d'Welt. Mir sinn houfreg eise Clienten op Code ze schreiwen konzentréieren ze loossen, während mir eis op Sécherheet an Zouverlässegkeet an der Wollek konzentréieren. An haut si mir nach méi frou matzedeelen datt hir Aarbecht op eise Gen X Generatioun Serveren ofgesat gëtt déi zweet Generatioun AMD EPYC Prozessoren lafen.
EPYC 7642 Prozessoren, Codenumm "Rom" [Rom]
Andeems Dir den EPYC 7642 vun AMD benotzt, konnte mir eis Leeschtung erhéijen an et méi einfach maachen eist Netzwierk an nei Stied auszebauen. Roum gouf net an engem Dag gebaut, awer et wäert geschwënn méi no bei villen vun iech sinn.
An de leschte Joren hu mir experimentéiert mat ville x86 Chips vun Intel an AMD, souwéi Prozessoren vun ARM. Mir erwaarden datt dës CPU Hiersteller weider an Zukunft mat eis schaffen, fir datt mir all zesummen e bessert Internet kënne bauen.
Source: will.com