Plis pase yon milya adrès IP inik pase nan Cloudflare Network la chak jou; li sèvi plis pase 11 milyon demann HTTP pou chak segonn; li se nan 100ms nan 95% nan popilasyon an entènèt. Rezo nou an kouvri 200 vil nan plis pase 90 peyi, ak ekip enjenyè nou an te konstwi yon enfrastrikti trè rapid ak serye.
Nou pran anpil fyète nan travay nou epi nou pran angajman pou ede fè entènèt la yon kote ki pi bon ak pi an sekirite. Enjenyè pyès ki nan konpitè Cloudflare yo gen yon konpreyansyon pwofon sou sèvè ak konpozan yo pou konprann epi chwazi pi bon pyès ki nan konpitè pou maksimize pèfòmans li.
Pile lojisyèl nou an okipe enfòmatik gwo chaj epi li depann anpil de CPU, sa ki egzije enjenyè nou yo pou yo toujou optimize efikasite ak fyab Cloudflare nan chak nivo pil la. Sou bò sèvè, fason ki pi fasil pou ogmante pouvwa pwosesis la se lè w ajoute nwayo CPU. Plis nwayo yon sèvè ka anfòm, plis done li ka trete. Sa a enpòtan pou nou paske varyete nan pwodwi nou yo ak kliyan ap grandi sou tan, ak kwasans lan nan demann mande pou ogmante pèfòmans nan serveurs. Pou ogmante pèfòmans yo, nou te bezwen ogmante dansite nwayo yo - e se egzakteman sa nou te akonpli. Anba a nou bay done detaye sou processeurs pou sèvè ke nou te deplwaye depi 2015, ki gen ladan kantite nwayo:
-
Gen 6
Gen 7
Gen 8
Gen 9
Pou kòmanse
2015
2016
2017
2018
CPU
Intel Xeon E5-2630 v3
Intel Xeon E5-2630 v4
Intel Xeon Silver 4116
Intel Xeon Platinum 6162
Nwayo fizik
2 x 8
2 x 10
2 x 12
2 x 24
TDP
2 x 85W
2 x 85W
2 x 85W
2 x 150W
TDP pou chak nwayo
10.65W
8.50W
7.08W
6.25W
Nan 2018, nou te fè yon gwo kwasans nan kantite total nwayo pou chak sèvè ak Gen 9. Enpak anviwònman an te redwi pa 33% konpare ak 8yèm jenerasyon an, sa ki ban nou opòtinite pou ogmante volim ak pouvwa informatique pou chak etajè. Kondisyon konsepsyon pou dissipation chalè (, TDP) yo mansyone pou mete aksan sou efikasite enèji nou an te ogmante tou sou tan. Endikatè sa a enpòtan pou nou: premyèman, nou vle emèt mwens kabòn nan atmosfè a; Dezyèmman, nou vle fè pi bon itilizasyon enèji ki soti nan sant done yo. Men, nou konnen ke nou gen yon bagay pou fè efò pou.
Metrik prensipal defini nou an se kantite demann pou chak watt. Nou ka ogmante kantite demann pou chak segonn lè nou ajoute nwayo, men nou bezwen rete nan bidjè pouvwa nou an. Nou limite pa enfrastrikti pouvwa sant done a, ki, ansanm ak modil distribisyon pouvwa nou chwazi yo, ban nou yon sèten limit siperyè pou chak etajè sèvè. Ajoute serveurs nan yon etajè ogmante konsomasyon pouvwa. Depans fonksyònman yo ap ogmante anpil si nou depase limit enèji pou chak etajè epi nou oblije ajoute nouvo etajè. Nou bezwen ogmante pouvwa pwosesis pandan y ap rete nan menm ranje konsomasyon pouvwa a, ki pral ogmante demann pou chak watt, metrik kle nou an.
Kòm ou ta ka devine, nou ak anpil atansyon etidye konsomasyon enèji nan etap nan konsepsyon. Tablo ki anwo a montre ke nou pa ta dwe gaspiye tan pou deplwaye plis CPU ki grangou enèji si TDP pou chak nwayo pi wo pase jenerasyon aktyèl la - sa ap gen yon enpak negatif sou mezi nou an, demann pou chak watt. Nou te etidye ak anpil atansyon sistèm yo pare pou kouri pou jenerasyon X nou an sou mache a epi nou te pran yon desizyon. Nou ap deplase soti nan konsepsyon 48-nwayo Intel Xeon Platinum 6162 doub-priz nou an nan yon konsepsyon 48-nwayo AMD EPYC 7642 yon sèl-priz.
-
Intel
Am
CPU
Xeon Platinum NAN
EPYC NAN
Mikrochitekti
"Skylake"
"Zen 2"
Non kod
"Skylake SP"
"Wòm"
Pwosesis teknoloji
14nm
7nm
nwayo
2 x 24
48
Frekans
1.9 GHz
2.4 GHz
L3 Cache/priz
24 x 1.375 MiB
16 x 16 MiB
Memwa/priz
6 chanèl, jiska DDR4-2400
8 chanèl, jiska DDR4-3200
TDP
2 x 150W
225W
PCIe/priz
48 liy
128 liy
SE YON
x86-64
x86-64
Soti nan espesifikasyon yo li klè ke chip la soti nan AMD pral pèmèt nou kenbe menm kantite nwayo a pandan y ap bese TDP la. 9yèm jenerasyon an te gen yon TDP pou chak nwayo 6,25 W, ak Xyèm jenerasyon an li pral 4,69 W. Redwi pa 25%. Mèsi a frekans nan ogmante, e petèt yon konsepsyon ki pi senp ak yon sèl priz, li ka sipoze ke chip AMD la pral fè pi byen nan pratik. Kounye a nou ap fè plizyè tès ak simulation pou wè ki jan pi bon AMD ap fè.
Pou kounye a, se pou nou sonje ke TDP se yon metrik senplifye soti nan espesifikasyon manifakti a, ke nou te itilize nan premye etap yo nan konsepsyon sèvè ak seleksyon CPU. Yon rechèch rapid Google revele ke AMD ak Intel gen diferan apwòch pou defini TDP, sa ki fè spesifikasyon an pa fyab. Konsomasyon pouvwa CPU reyèl, ak pi enpòtan konsomasyon pouvwa sèvè, se sa nou reyèlman itilize lè nou pran desizyon final nou an.
Preparasyon pou ekosistèm
Pou kòmanse vwayaj nou an nan chwazi pwochen processeur nou an, nou te gade nan yon pakèt CPU soti nan diferan manifaktirè ki te yon bon anfòm pou pil lojisyèl nou an ak sèvis (ekri nan C, LuaJIT ak Go). Nou te deja dekri an detay yon seri zouti pou mezire vitès . Nan ka sa a, nou itilize menm seri a - li pèmèt nou evalye efikasite CPU a nan yon tan rezonab, apre sa enjenyè nou yo ka kòmanse adapte pwogram nou yo nan yon processeur espesifik.
Nou teste yon varyete de processeurs ak yon varyete de konte nwayo, konte priz, ak frekans. Piske atik sa a se sou rezon ki fè nou rete sou AMD EPYC 7642 a, tout tablo nan blog sa a konsantre sou ki jan processeurs AMD fè konpare ak Intel Xeon Platinum 6162 soti nan. .
Rezilta yo koresponn ak mezi yon sèl sèvè ak chak varyant processeur - se sa ki, ak de processeur 24-debaz soti nan Intel, oswa ak yon sèl processeur 48-debaz soti nan AMD (sèvè pou Intel ak de sipò ak sèvè pou AMD EPYC ak yon sèl) . Nan BIOS la nou mete paramèt ki koresponn ak sèvè yo kouri. Sa a se 3,03 GHz pou AMD ak 2,5 GHz pou Intel. Senplifye anpil, nou espere ke ak menm kantite nwayo, AMD pral fè 21% pi bon pase Intel.
Kriptografi
Sanble pwomèt pou AMD. Li fè 18% pi bon sou kriptografi kle piblik. Avèk yon kle simetrik, li pèdi pou opsyon chifreman AES-128-GCM, men an jeneral fè konparab.
Konpresyon
Sou sèvè kwen, nou konprese yon anpil nan done pou ekonomize sou Pleasant ak ogmante vitès la nan livrezon kontni. Nou pase done yo nan bibliyotèk C zlib ak brotli. Tout tès yo te kouri sou dosye HTML blog.cloudflare.com nan memwa.
AMD te genyen yon mwayèn de 29% lè w ap itilize gzip. Nan ka brotli, rezilta yo menm pi bon sou tès ak kalite 7, ke nou itilize pou konpresyon dinamik. Sou tès la brotli-9 gen yon gout byen file - nou eksplike sa a pa lefèt ke Brotli konsome anpil memwa ak debòde kachèt la. Sepandan, AMD genyen yon gwo maj.
Anpil nan sèvis nou yo ekri nan Go. Nan graf sa yo, nou tcheke doub vitès kriptografik ak konpresyon nan Go with RegExp sou liy 32 KB lè l sèvi avèk bibliyotèk strings la.
Ale kriptografik
Ale konpresyon
Ale Regexp
Ale kòd
AMD fè pi byen nan tout tès ak Go eksepte ECDSA P256 Sign, kote li te 38% dèyè - ki se etranj, paske li te fè 24% pi bon nan C. Li vo kalkile sou sa k ap pase la. An jeneral, AMD pa genyen anpil, men li toujou montre pi bon rezilta yo.
LuaJIT
Nou souvan itilize LuaJIT sou pil la. Sa a se lakòl la ki kenbe tout pati yo nan Cloudflare ansanm. Epi nou kontan ke AMD te genyen isit la tou.
An jeneral, tès yo montre ke EPYC 7642 a fè pi bon pase de Xeon Platinum 6162. AMD pèdi sou yon koup nan tès - pou egzanp, AES-128-GCM ak Go OpenSSL ECDSA-P256 Sign - men ranport sou tout lòt moun, pa yon mwayèn. nan 25%.
Simulation chaj travay
Apre tès rapid nou yo, nou te kouri sèvè yo atravè yon lòt seri simulation kote yon chaj sentetik aplike nan pil kwen lojisyèl an. Isit la nou simule yon kantite travay senaryo ak diferan kalite demann ki ka rankontre nan travay reyèl. Demann yo varye nan volim done, HTTP oswa HTTPS pwotokòl, sous WAF, Travayè, ak lòt anpil varyab. Anba a se yon konparezon de debi CPU yo pou kalite demann ke nou rankontre pi souvan.
Rezilta yo nan tablo a mezire kont liy debaz 9yèm jenerasyon machin ki baze sou Intel, nòmalize a yon valè 1,0 sou aks x la. Pou egzanp, pran demann senp 10 KiB sou HTTPS, nou ka wè ke AMD fè 1,5 fwa pi bon pase Intel an tèm de demann pou chak segonn. An mwayèn, AMD fè 34% pi bon pase Intel pou tès sa yo. Lè nou konsidere ke TDP pou yon sèl AMD EPYC 7642 se 225 W, ak pou de processeur Intel se 300 W, li sanble ke an tèm de "demann pou chak Watt" AMD montre 2 fwa pi bon rezilta pase Intel!
Nan pwen sa a, nou te deja klèman apiye nan direksyon pou opsyon nan yon sèl priz pou AMD EPYC 7642 a kòm pwochen CPU Gen X nou an. Nou te trè enterese wè ki jan sèvè AMD EPYC yo ta fè nan travay reyèl, epi nou imedyatman voye plizyè serveurs bay. kèk nan sant done yo.
Travay reyèl
Premye etap la, natirèlman, se te prepare serveurs yo pou travay nan kondisyon reyèl. Tout machin nan flòt nou an travay ak menm pwosesis ak sèvis yo, ki bay yon opòtinite ekselan pou kòrèkteman konpare pèfòmans. Tankou pifò sant done, nou gen plizyè jenerasyon sèvè deplwaye, epi nou kolekte sèvè nou yo an grap pou chak klas gen sèvè apeprè menm jenerasyon yo. Nan kèk ka, sa ka lakòz koub resiklaj ki diferan ant grap yo. Men, pa avèk nou. Enjenyè nou yo te optimize itilizasyon CPU pou tout jenerasyon pou ke kèlkeswa si CPU yon machin patikilye gen 8 nwayo oswa 24, itilizasyon CPU se jeneralman menm jan ak rès la.
Grafik la montre kòmantè nou sou resanblans itilizasyon - pa gen okenn diferans enpòtan ant itilizasyon CPU AMD nan sèvè jenerasyon X Gen ak itilizasyon processeurs Intel nan sèvè jenerasyon Gen 9. Sa vle di tou de sèvè tès ak debaz yo chaje egalman. . Gwo. Sa a se egzakteman sa nou fè efò pou nan serveurs nou yo, epi nou bezwen sa a pou yon konparezon jis. De graf ki anba yo montre kantite demann ki trete pa yon nwayo CPU ak tout nwayo nan nivo sèvè a.
Demann pou chak nwayo
Demann nan sèvè a
Li ka wè ke an mwayèn AMD trete 23% plis demann. Pa mal ditou! Nou te souvan ekri sou blog nou an sou fason yo ogmante pèfòmans nan Gen 9. Epi kounye a nou gen menm kantite nwayo, men AMD fè plis travay ak mwens pouvwa. Li imedyatman klè nan espesifikasyon yo pou kantite nwayo ak TDP ke AMD bay pi gwo vitès ak pi gwo efikasite enèji.
Men, kòm nou deja mansyone, TDP se pa yon spesifikasyon estanda epi li se pa menm bagay la pou tout manifaktirè yo, kidonk an n gade nan itilizasyon aktyèl la enèji. Lè nou mezire konsomasyon enèji sèvè a an paralèl ak kantite demann pou chak segonn, nou jwenn graf sa a:
Dapre demann pou chak segonn pou chak watt depanse, sèvè Gen X ap kouri sou processeurs AMD yo 28% pi efikas. Youn ta ka atann plis, bay TDP AMD a se 25% pi ba, men li ta dwe sonje ke TDP se yon karakteristik Limit. Nou te wè ke aktyèl konsomasyon pouvwa AMD a se prèske ki idantik ak TDP a deklare nan frekans pi wo pase baz la; Intel pa genyen sa. Sa a se yon lòt rezon ki fè TDP se pa yon estimasyon serye nan konsomasyon enèji. CPU ki soti nan Intel nan sèvè Gen 9 nou yo entegre nan yon sistèm milti-nœud, pandan y ap CPU soti nan AMD opere nan estanda 1U sèvè fòm faktè. Sa a se pa an favè AMD, depi sèvè multinode yo ta dwe bay pi gwo dansite ak mwens konsomasyon pouvwa pou chak ne, men AMD toujou depase Intel an tèm de konsomasyon pouvwa pou chak ne.
Nan pifò konparezon atravè espesifikasyon, simulation tès, ak pèfòmans nan mond reyèl la, 1P AMD EPYC 7642 konfigirasyon an te fè siyifikativman pi bon pase 2P Intel Xeon 6162 la. Nan kèk kondisyon, AMD ka fè jiska 36% pi byen, epi nou kwè ke lè yo optimize. pyès ki nan konpitè ak lojisyèl, nou ka reyalize amelyorasyon sa a sou yon baz kontinyèl.
Li sanble AMD te genyen.
Grafik adisyonèl yo montre latansi mwayèn ak latansi p99 ap kouri NGINX sou yon peryòd 24 èdtan. An mwayèn, pwosesis sou AMD te kouri 25% pi vit. Sou p99 li kouri 20-50% pi vit depann sou lè a nan jounen an.
Konklizyon
Enjenyè Materyèl ak Pèfòmans Cloudflare yo fè yon kantite siyifikatif tès ak rechèch pou detèmine pi bon konfigirasyon sèvè pou kliyan nou yo. Nou renmen travay isit la paske nou ka rezoud gwo pwoblèm tankou sa yo, epi nou ka ede w rezoud pwoblèm ou yo ak sèvis tankou enfòmatik san sèvè ak yon seri solisyon sekirite tankou Magic Transit, Argo Tunnel, ak pwoteksyon DDoS. . Tout sèvè nan rezo Cloudflare yo konfigirasyon pou fè yon bòn, epi nou toujou ap eseye fè chak jenerasyon pwochen nan sèvè pi bon pase youn anvan an. Nou kwè AMD EPYC 7642 se repons lan lè li rive processeurs Gen X.
Sèvi ak Cloudflare Workers, devlopè yo deplwaye aplikasyon yo sou rezo agrandi nou atravè mond lan. Nou fyè pou nou kite kliyan nou yo konsantre sou ekri kòd pandan n ap konsantre sou sekirite ak fyab nan nwaj la. Epi jodi a nou kontan plis toujou anonse travay yo pral deplwaye sou sèvè jenerasyon X nou yo ki ap dirije dezyèm jenerasyon processeurs AMD EPYC.
EPYC 7642 processeurs, non kòd "Wòm" [Wòm]
Lè nou itilize EPYC 7642 AMD a, nou te kapab ogmante pèfòmans nou epi rann li pi fasil pou elaji rezo nou an nan nouvo vil yo. Wòm pa te bati nan yon jou, men li pral byento pi pre anpil nan nou.
Nan de dènye ane yo, nou te fè eksperyans ak anpil chips x86 soti nan Intel ak AMD, osi byen ke processeurs soti nan ARM. Nou atann nou aske mizisyen CPU sa yo kontinye travay avèk nou alavni pou nou tout ka konstwi yon pi bon Entènèt ansanm.
Sous: www.habr.com