Più di un miliardo di indirizzi IP unichi passanu per a Rete Cloudflare ogni ghjornu; serve più di 11 milioni di richieste HTTP per seconda; ella hè in 100ms di u 95% di a pupulazione di Internet. A nostra reta si estende in 200 cità in più di 90 paesi, è a nostra squadra di ingegneri hà custruitu una infrastruttura estremamente rapida è affidabile.
Avemu assai fieru di u nostru travagliu è simu impegnati à aiutà à fà Internet un locu megliu è più sicuru. L'ingegneri hardware di Cloudflare anu una cunniscenza prufonda di i servitori è i so cumpunenti per capiscenu è selezziunate u megliu hardware per maximizà u so rendiment.
A nostra pila di software gestisce l'informatica ad alta carica è hè altamente dipendente da CPU, esigendu chì i nostri ingegneri ottimisanu continuamente l'efficienza è l'affidabilità di Cloudflare à ogni livellu di a pila. Da u latu di u servitore, u modu più faciule per aumentà a putenza di trasfurmazioni hè aghjunghjendu core di CPU. Quantu più nuclei un servitore pò adattà, più dati pò processà. Questu hè impurtante per noi perchè a varietà di i nostri prudutti è di i nostri clienti cresce cù u tempu, è a crescita di e dumande richiede un rendimentu aumentatu da i servitori. Per aumentà a so prestazione, avemu bisognu di aumentà a densità di i core - è questu hè esattamente ciò chì avemu fattu. Quì sottu furnitemu dati detallati nantu à i processori per i servitori chì avemu implementatu da u 2015, cumpresu u numeru di core:
-
Gen 6
Gen 7
Gen 8
Gen 9
Getting passé
2015
2016
2017
2018
CPU
Intel Xeon E5-2630 v3
Intel Xeon E5-2630 v4
Intel Xeon Silver 4116
Intel Xeon Platinum 6162
Nuclei fisichi
2 X 8
2 X 10
2 X 12
2 X 24
TDP
2 x 85W
2 x 85W
2 x 85W
2 x 150W
TDP per core
10.65W
8.50W
7.08W
6.25W
In 2018, avemu fattu un grande saltu in u numeru tutale di core per servitore cù Gen 9. L'impattu ambientale hè stata ridutta di 33% in paragunà à a 8a generazione, dendu l'uppurtunità di aumentà u voluminu è a putenza di computing per rack. Requisiti di cuncepimentu per a dissipazione di u calore (, TDP) sò citati per mette in risaltu chì a nostra efficienza energetica hè ancu aumentata cù u tempu. Stu indicatore hè impurtante per noi: prima, vulemu emette menu carbone in l'atmosfera; in segundu, vulemu fà u megliu usu di l'energia da i centri di dati. Ma sapemu chì avemu qualcosa per strincà.
A nostra metrica di definizione principale hè u numeru di richieste per watt. Pudemu aumentà u nùmeru di richieste per seconda aghjunghjendu core, ma avemu bisognu di stà in u nostru budgetu di putere. Semu limitati da l'infrastruttura di energia di u centru di dati, chì, inseme cù i nostri moduli di distribuzione di energia selezziunati, ci dà un certu limite superiore per ogni rack di u servitore. L'aggiunta di servitori à un rack aumenta u cunsumu di energia. I costi di operazione aumenteranu significativamente se superemu u limitu di energia per rack è avemu da aghjunghje novi rack. Avemu bisognu di aumentà a putenza di trasfurmazioni mentre stà in u stessu intervallu di cunsumu di energia, chì aumenterà e richieste per watt, a nostra metrica chjave.
Cum'è avete capitu, avemu studiatu currettamente u cunsumu d'energia in a fase di cuncepimentu. A tavula sopra mostra chì ùn duvemu micca perde u tempu à implementà CPU più affamati d'energia se u TDP per core hè più altu ch'è a generazione attuale - questu avarà un impattu negativu nantu à a nostra metrica, richieste per watt. Avemu studiatu currettamente i sistemi pronti per a nostra generazione X nantu à u mercatu è hà fattu una decisione. Passemu da u nostru 48-core Intel Xeon Platinum 6162 dual-socket design à un 48-core AMD EPYC 7642 design single-socket.
-
intel
AMD
CPU
Xeon Platinum 6162
EPYC 7642
microarchitettura
"Skylake"
"Zen 2"
Codename
"Skylake SP"
"Roma"
Tecnulugia di prucessu
14nm
7nm
core
2 X 24
48
Frequency
1.9 GHz
2.4 GHz
L3 Cache/socket
24 x 1.375 MiB
16 x 16 MiB
Memoria / socket
6 canali, finu à DDR4-2400
8 canali, finu à DDR4-3200
TDP
2 x 150W
225W
PCIe/socket
48 carri
128 carri
ISA
x86-64
x86-64
Da e specificazioni hè chjaru chì u chip da AMD ci permetterà di mantene a stessa quantità di core mentre abbassanu u TDP. A 9a generazione hà avutu un TDP per core di 6,25 W, è a Xth generazione serà 4,69 W. Riduzzione di 25%. Grazie à a frequenza aumentata, è forsi un disignu più simplice cù un socket, pò esse presumitu chì u chip AMD farà megliu in pratica. Attualmente eseguimu diverse teste è simulazioni per vede quantu megliu AMD farà.
Per avà, nutate chì TDP hè una metrica simplificata da e specificazioni di u fabricatore, chì avemu usatu in i primi stadi di u disignu di u servitore è a selezzione di CPU. Una ricerca rapida di Google revela chì AMD è Intel anu approcci diffirenti per definisce TDP, facendu a specificazione inaffidabile. U veru cunsumu di putenza di CPU, è più impurtante u cunsumu di energia di u servitore, hè ciò chì usemu veramente quandu facemu a nostra decisione finale.
Preparazione di l'ecosistema
Per principià u nostru viaghju per sceglie u nostru prossimu processore, avemu vistu una larga gamma di CPU di diversi fabricatori chì eranu un bonu fitu per a nostra pila di software è servizii (scritti in C, LuaJIT è Go). Avemu digià descrittu in detail un inseme di arnesi per a misurazione di a velocità . In questu casu, avemu usatu u stessu set - ci permette di valutà l'efficienza di u CPU in un tempu raghjone, dopu chì i nostri ingegneri ponu cumincià à adattà i nostri prugrammi à un prucessore specificu.
Avemu pruvatu una varietà di processori cù una varietà di cunti core, cunti di socket, è frequenze. Siccomu questu articulu hè per quessa chì avemu stallatu annantu à l'AMD EPYC 7642, tutti i charts in stu blog si focalizeghjanu nantu à cume i prucessori AMD facenu paragunatu à l'Intel Xeon Platinum 6162 da .
I risultati currispondenu à e misurazioni di un servitore unicu cù ogni variante di processore - vale à dì cù dui processori 24-core da Intel, o cun un processore 48-core da AMD (servitore per Intel cù dui sockets è servitore per AMD EPYC cun unu) . In u BIOS avemu stabilitu i paràmetri chì currispondenu à i servitori in esecuzione. Questu hè 3,03 GHz per AMD è 2,5 GHz per Intel. Simplificendu assai, aspittemu chì cù u listessu numeru di core, AMD farà 21% megliu cà Intel.
Criptografia
Sembra promettente per AMD. Eseguisce 18% megliu nantu à a criptografia di chjave publica. Cù una chjave simmetrica, perde per l'opzioni di criptografia AES-128-GCM, ma in generale rende paragunabili.
Cumpressione
Nant'à i servitori di punta, comprimemu assai dati per salvà a larghezza di banda è aumentà a velocità di spedizione di cuntenutu. Passemu i dati per e librerie C zlib è brotli. Tutte e teste sò state eseguite nantu à u schedariu HTML blog.cloudflare.com in memoria.
AMD hà vintu da una media di 29% quandu usa gzip. In u casu di brotli, i risultati sò ancu megliu nantu à e teste cù qualità 7, chì avemu usatu per a compressione dinamica. Nantu à a prova di brotli-9, ci hè una forte goccia - spieghemu questu per u fattu chì Brotli cunsuma assai memoria è sopra à u cache. Tuttavia, AMD vince per un grande margine.
Parechji di i nostri servizii sò scritti in Go. In i grafici seguenti, cuntrollemu a velocità di a criptografia è a compressione in Go with RegExp nantu à e linee 32 KB utilizendu a biblioteca di stringhe.
Andate a criptografia
Vai Cumpressione
Vai Regexp
Andate à Strings
AMD rende megliu in tutti i testi cù Go eccettu ECDSA P256 Sign, induve era 38% in daretu - chì hè stranu, datu chì hà fattu 24% megliu in C. Vale a pena capisce ciò chì succede quì. In generale, AMD ùn vince micca assai, ma mostra sempre i migliori risultati.
LuaJIT
Avemu spessu aduprà LuaJIT nantu à a pila. Questa hè a cola chì mantene tutte e parte di Cloudflare inseme. È simu felici chì AMD hà ancu vintu quì.
In generale, i testi mostranu chì l'EPYC 7642 rende megliu cà dui Xeon Platinum 6162. AMD perde in un paru di teste - per esempiu, AES-128-GCM è Go OpenSSL ECDSA-P256 Sign - ma vince in tutti l'altri, da una media. di 25%.
Simulazione di carichi di travagliu
Dopu i nostri testi rapidi, eseguimu i servitori attraversu un altru settore di simulazioni in quale una carica sintetica hè appiicata à a pila di punta di u software. Quì simulemu una carica di travagliu di scenariu cù diversi tipi di richieste chì ponu esse scontru in u travagliu veru. E dumande varienu in u voluminu di dati, protokolli HTTP o HTTPS, fonti WAF, travagliadori è altre assai variàbili. Quì sottu hè un paragone di u throughput di i dui CPU per i tipi di richieste chì avemu scontru più spessu.
I risultati in u graficu sò misurati contru à a basa di a 9a generazione di macchine basate in Intel, normalizate à un valore di 1,0 nantu à l'assi x. Per esempiu, pigliendu richieste simplici 10 KiB nantu à HTTPS, pudemu vede chì AMD faci 1,5 volte megliu cà Intel in quantu à richieste per seconda. In media, AMD hà realizatu 34% megliu cà Intel per questi testi. Cunsiderendu chì u TDP per una sola AMD EPYC 7642 hè 225 W, è per dui processori Intel hè 300 W, risulta chì in termini di "richieste per watt" AMD mostra 2 volte megliu risultati cà Intel!
À questu puntu, eramu digià chjaramente inclinati versu l'opzione di socket unicu per l'AMD EPYC 7642 cum'è i nostri futuri CPU di Gen X. Eramu assai interessati à vede cumu i servitori AMD EPYC avarianu in u travagliu di u mondu reale, è avemu immediatamente mandatu parechji. servitori à alcuni da i centri di dati.
U travagliu veru
U primu passu, naturalmente, era di preparà i servitori per u travagliu in cundizioni reali. Tutte e macchine in a nostra flotta travaglianu cù i stessi prucessi è servizii, chì furnisce una excelente opportunità per paragunà currettamente u rendiment. Cum'è a maiò parte di i centri di dati, avemu parechje generazioni di servitori implementati, è cullemu i nostri servitori in clusters in modu chì ogni classa cuntene servitori di circa i stessi generazioni. In certi casi, questu pò esse risultatu in curve di riciclamentu chì sò diffirenti trà clusters. Ma micca cun noi. I nostri ingegneri anu ottimisatu l'utilizazione di CPU per tutte e generazioni in modu chì, indipendentemente da u CPU di una macchina particulare hà 8 core o 24, l'utilizazione di CPU hè generalmente uguale à u restu.
U graficu illustra u nostru cummentariu nantu à a similarità di l'utilizazione - ùn ci hè micca una diferenza significativa trà l'usu di CPU AMD in i servitori di generazione Gen X è l'usu di processori Intel in i servitori di generazione Gen 9. Questu significa chì i servitori di prova è di basa sò caricati ugualmente. . Perfettu. Questu hè esattamente ciò chì strivemu in i nostri servitori, è avemu bisognu di questu per un paragone ghjustu. I dui grafici sottu mostranu u numeru di dumande processate da un core CPU è tutti i core à u livellu di u servitore.
Richieste per core
E dumande à u servitore
Pò esse vistu chì in media AMD processa 23% più richieste. Ùn hè micca male! Avemu spessu scrittu annantu à u nostru blog nantu à modi per aumentà u rendiment di Gen 9. È avà avemu u listessu numaru di core, ma AMD faci più travagliu cù menu putere. Hè subitu chjaru da e specificazioni per u numeru di core è TDP chì AMD furnisce una velocità più grande cù una efficienza energetica più grande.
Ma cum'è avemu digià citatu, TDP ùn hè micca una specificazione standard è ùn hè micca listessa per tutti i fabricatori, allora fighjemu l'usu di l'energia attuale. Misurendu u cunsumu energeticu di u servitore in parallelu cù u numeru di richieste per seconda, avemu ottenutu u graficu seguente:
Basatu nantu à e dumande per secondu per watt spentu, i servitori Gen X in esecuzione nantu à i processori AMD sò 28% più efficaci. Puderia aspittà di più, datu chì u TDP di AMD hè 25% più bassu, ma deve esse ricurdatu chì TDP hè una caratteristica ambigua. Avemu vistu chì u cunsumu di energia attuale di AMD hè quasi identica à u TDP dichjaratu à frequenze assai più altu ch'è a basa; Intel ùn hà micca questu. Questu hè un altru mutivu perchè TDP ùn hè micca una stima affidativa di u cunsumu d'energia. I CPU da Intel in i nostri servitori Gen 9 sò integrati in un sistema multi-node, mentre chì i CPU da AMD operanu in servitori standard di fattore di forma 1U. Questu ùn hè micca in favore di AMD, postu chì i servitori multinode duveranu furnisce una densità più grande cù menu cunsumu di energia per node, ma AMD hà ancu superatu Intel in quantu à u cunsumu di energia per node.
In a maiò parte di i paraguni trà specs, simulazioni di teste è prestazioni in u mondu reale, a cunfigurazione 1P AMD EPYC 7642 hà realizatu significativamente megliu cà u 2P Intel Xeon 6162. In certi cundizioni, AMD pò esse realizatu finu à 36% megliu, è credemu chì ottimisendu. hardware è software, pudemu ottene sta migliione nantu à una basa cuntinua.
Risulta chì AMD hà vintu.
Grafici addiziunali mostranu a latenza media è a latenza p99 chì esegue NGINX per un periodu di 24 ore. In media, i prucessi nantu à AMD currenu 25% più veloce. In p99 corre 20-50% più veloce secondu l'ora di u ghjornu.
cunchiusioni
L'ingegneri di Hardware è Performance di Cloudflare facenu una quantità significativa di teste è ricerche per determinà a megliu cunfigurazione di u servitore per i nostri clienti. Ci piace travaglià quì perchè pudemu risolve grandi prublemi cum'è questi, è pudemu aiutà vi risolve i vostri prublemi cù servizii cum'è l'edge computing senza servitore è una serie di soluzioni di sicurezza cum'è Magic Transit, Argo Tunnel, è prutezzione DDoS. . Tutti i servitori in a reta di Cloudflare sò cunfigurati per fà in modu affidabile, è avemu sempre pruvatu à fà ogni generazione di servitori megliu cà a precedente. Cridemu chì l'AMD EPYC 7642 hè a risposta quandu si tratta di processori Gen X.
Utilizendu Cloudflare Workers, i sviluppatori implementanu e so applicazioni nantu à a nostra rete in espansione in u mondu. Semu fieri di lascià i nostri clienti fucalizza nantu à a scrittura di codice mentre ci focalizemu in a sicurità è l'affidabilità in u nuvulu. È oghje simu ancu più piacè di annunzià chì u so travagliu serà implementatu nantu à i nostri servitori di generazione Gen X chì eseguenu processori AMD EPYC di seconda generazione.
Processori EPYC 7642, nome in codice "Roma" [Roma]
Utilizendu l'EPYC 7642 di AMD, pudemu aumentà a nostra prestazione è rende più faciule l'espansione di a nostra rete à e cità novi. Roma ùn hè micca stata custruita in un ghjornu, ma sarà prestu più vicinu à parechji di voi.
In l'ultimi dui anni avemu sperimentatu assai chips x86 da Intel è AMD, è ancu cù processori da ARM. Aspittemu chì questi produttori di CPU cuntinueghjanu à travaglià cun noi in u futuru per chì tutti pudemu custruisce un Internet megliu inseme.
Source: www.habr.com