Meira en milljarður einstakra IP tölur fara í gegnum Cloudflare netið á hverjum degi; það þjónar meira en 11 milljón HTTP beiðnum á sekúndu; hún er innan við 100 ms frá 95% af internetinu. Netið okkar spannar 200 borgir í yfir 90 löndum og teymi verkfræðinga okkar hefur byggt upp einstaklega hraðvirkan og áreiðanlegan innviði.
Við erum stolt af starfi okkar og erum staðráðin í að hjálpa til við að gera internetið að betri og öruggari stað. Vélbúnaðarverkfræðingar Cloudflare hafa djúpan skilning á netþjónum og íhlutum þeirra til að skilja og velja besta vélbúnaðinn til að hámarka afköst hans.
Hugbúnaðarstafla okkar ræður við mikið álagstölvun og er mjög háð örgjörva, sem krefst þess að verkfræðingar okkar hámarki stöðugt skilvirkni og áreiðanleika Cloudflare á öllum stigum staflasins. Á miðlarahliðinni er auðveldasta leiðin til að auka vinnslugetu með því að bæta við CPU kjarna. Því fleiri kjarna sem þjónn getur passað, því fleiri gögn getur hann unnið úr. Þetta er mikilvægt fyrir okkur vegna þess að fjölbreytni vara okkar og viðskiptavina eykst með tímanum og vöxtur beiðna krefst aukinnar frammistöðu frá netþjónum. Til að auka afköst þeirra þurftum við að auka þéttleika kjarna - og þetta er nákvæmlega það sem við náðum. Hér að neðan gefum við nákvæmar upplýsingar um örgjörva fyrir netþjóna sem við höfum sett á markað síðan 2015, þar á meðal fjölda kjarna:
-
Gen 6
Gen 7
Gen 8
Gen 9
getting Started
2015
2016
2017
2018
CPU
Intel Xeon E5-2630 v3
Intel Xeon E5-2630 v4
Intel Xeon Silver 4116
Intel Xeon Platinum 6162
Líkamlegir kjarna
2 x 8
2 x 10
2 x 12
2 x 24
TDP
2 x 85W
2 x 85W
2 x 85W
2 x 150W
TDP á kjarna
10.65W
8.50W
7.08W
6.25W
Árið 2018 tókum við stórt stökk í heildarfjölda kjarna á hvern netþjón með Gen 9. Umhverfisáhrifin hafa minnkað um 33% samanborið við 8. kynslóð, sem gefur okkur tækifæri til að auka rúmmál og tölvuafl á hvern rekki. Hönnunarkröfur fyrir hitaleiðni (, TDP) eru nefndir til að undirstrika að orkunýtni okkar hefur einnig aukist með tímanum. Þessi vísir er mikilvægur fyrir okkur: Í fyrsta lagi viljum við losa minna kolefni út í andrúmsloftið; í öðru lagi viljum við nýta sem best orkuna frá gagnaverunum. En við vitum að við höfum eitthvað til að stefna að.
Helsta skilgreiningarmælikvarðinn okkar er fjöldi beiðna á hvert watt. Við getum aukið fjölda beiðna á sekúndu með því að bæta við kjarna, en við þurfum að halda okkur innan orkuáætlunar okkar. Við erum takmörkuð af raforkuinnviðum gagnavera, sem ásamt völdum orkudreifingareiningum okkar gefur okkur ákveðin efri mörk fyrir hvern netþjónsrekki. Að bæta netþjónum við rekki eykur orkunotkun. Rekstrarkostnaður mun hækka umtalsvert ef við förum yfir orkumörk fyrir hverja rekka og þurfum að bæta við nýjum rekkum. Við þurfum að auka vinnsluorku á sama tíma og við höldum okkur innan sama orkunotkunarsviðs, sem mun auka beiðnir á watt, lykilmæligildi okkar.
Eins og þú gætir hafa giskað á, rannsökuðum við vandlega orkunotkun á hönnunarstigi. Taflan hér að ofan sýnir að við ættum ekki að eyða tíma í að beita fleiri orkuþyrnandi örgjörva ef TDP á kjarna er hærri en núverandi kynslóð - þetta mun hafa neikvæð áhrif á mælikvarða okkar, beiðnir á watt. Við rannsökuðum vandlega tilbúin kerfi fyrir X-kynslóð okkar á markaðnum og tókum ákvörðun. Við erum að færa okkur úr 48 kjarna Intel Xeon Platinum 6162 tvöfalda falsa hönnuninni okkar yfir í 48 kjarna AMD EPYC 7642 einnar fals hönnun.
-
Intel
AMD
CPU
Xeon Platinum 6162
EPYC 7642
Örarkitektúr
"Skylake"
„Zen 2“
Dulnefni
„Skylake SP“
"Róm"
Aðferðartækni
14nm
7nm
kjarna
2 x 24
48
Tíðni
1.9 GHz
2.4 GHz
L3 skyndiminni/innstunga
24 x 1.375 MiB
16 x 16 MiB
Minni/innstunga
6 rásir, allt að DDR4-2400
8 rásir, allt að DDR4-3200
TDP
2 x 150W
225W
PCIe/innstunga
48 brautir
128 brautir
ISA
x86-64
x86-64
Af forskriftunum er ljóst að flísinn frá AMD gerir okkur kleift að halda sama fjölda kjarna á meðan TDP lækkar. 9. kynslóðin var með TDP á kjarna upp á 6,25 W og X. kynslóðin mun vera 4,69 W. Lækkað um 25%. Þökk sé aukinni tíðni, og ef til vill einfaldari hönnun með einni fals, má gera ráð fyrir að AMD flísinn muni standa sig betur í reynd. Við erum núna að keyra ýmsar prófanir og uppgerð til að sjá hversu miklu betri AMD mun standa sig.
Í bili skulum við hafa í huga að TDP er einfölduð mælikvarði frá forskriftum framleiðandans, sem við notuðum á fyrstu stigum netþjónshönnunar og örgjörvavals. Fljótleg Google leit leiðir í ljós að AMD og Intel hafa mismunandi aðferðir við að skilgreina TDP, sem gerir forskriftina óáreiðanlega. Raunveruleg orkunotkun örgjörva, og meira um vert orkunotkun netþjóna, er það sem við notum í raun þegar við tökum lokaákvörðun okkar.
Viðbúnaður vistkerfis
Til að hefja ferð okkar að því að velja næsta örgjörva okkar skoðuðum við fjölbreytt úrval örgjörva frá mismunandi framleiðendum sem henta vel fyrir hugbúnaðarstafla okkar og þjónustu (skrifað í C, LuaJIT og Go). Við höfum þegar lýst í smáatriðum safn af tækjum til að mæla hraða . Í þessu tilfelli notuðum við sama sett - það gerir okkur kleift að meta skilvirkni örgjörvans á hæfilegum tíma, eftir það geta verkfræðingar okkar byrjað að laga forritin okkar að tilteknum örgjörva.
Við prófuðum margs konar örgjörva með margs konar kjarnafjölda, falsfjölda og tíðni. Þar sem þessi grein fjallar um hvers vegna við settumst á AMD EPYC 7642, einblína öll töflurnar á þessu bloggi á hvernig AMD örgjörvar standa sig miðað við Intel Xeon Platinum 6162 frá .
Niðurstöðurnar samsvara mælingum á einum netþjóni með hverju örgjörvaafbrigði - það er með tveimur 24 kjarna örgjörvum frá Intel, eða með einum 48 kjarna örgjörva frá AMD (miðlara fyrir Intel með tveimur innstungum og miðlara fyrir AMD EPYC með einum) . Í BIOS stillum við breytur sem samsvara netþjónum sem eru í gangi. Þetta er 3,03 GHz fyrir AMD og 2,5 GHz fyrir Intel. Til mikillar einföldunar gerum við ráð fyrir að með sama fjölda kjarna muni AMD skila 21% betri árangri en Intel.
Dulritun
Lítur efnilegur út fyrir AMD. Það skilar 18% betri árangri í dulritun opinberra lykla. Með samhverfum lykli tapar það fyrir AES-128-GCM dulkóðunarvalkostina, en í heildina virkar það sambærilegt.
Þjöppun
Á brún netþjónum þjöppum við mikið af gögnum til að spara bandbreidd og auka hraða efnisafhendingar. Við sendum gögnin í gegnum C bókasöfnin zlib og brotli. Öll próf voru keyrð á blog.cloudflare.com HTML skránni í minni.
AMD vann að meðaltali 29% þegar gzip var notað. Þegar um brotli er að ræða er árangurinn enn betri, á prófunum með gæði 7, sem við notum fyrir kraftmikla þjöppun. Á brotli-9 prófinu er mikil lækkun - við útskýrum þetta með því að Brotli eyðir miklu minni og flæðir yfir skyndiminni. Hins vegar vinnur AMD með miklum mun.
Margar þjónustur okkar eru skrifaðar í Go. Í eftirfarandi línuritum athugum við hraða dulritunar og þjöppunar í Go með RegExp á 32 KB línum með því að nota strengjasafnið.
Farðu í dulritun
Farðu í þjöppun
Farðu í Regexp
Go Strings
AMD stendur sig betur í öllum prófunum með Go nema ECDSA P256 Sign, þar sem það var 38% á eftir - sem er skrítið í ljósi þess að það stóð sig 24% betur í C. Það er þess virði að átta sig á því hvað er að gerast þar. Á heildina litið vinnur AMD ekki mikið, en sýnir samt besta árangur.
LuaJIT
Við notum oft LuaJIT á staflanum. Þetta er límið sem heldur öllum hlutum Cloudflare saman. Og við erum ánægð með að AMD vann hér líka.
Á heildina litið sýna prófin að EPYC 7642 skilar betri árangri en tvö Xeon Platinum 6162. AMD tapar á nokkrum prófum - til dæmis AES-128-GCM og Go OpenSSL ECDSA-P256 Sign - en vinnur á öllum öðrum, að meðaltali upp á 25%.
Eftirlíking vinnuálags
Eftir skyndiprófin okkar keyrðum við netþjónana í gegnum annað sett af uppgerðum þar sem gerviálagi er beitt á brún hugbúnaðarstafla. Hér líkjum við eftir atburðarásarálagi með mismunandi gerðum beiðna sem hægt er að lenda í í raunverulegri vinnu. Beiðnir eru mismunandi eftir gagnamagni, HTTP eða HTTPS samskiptareglum, WAF heimildum, starfsmönnum og mörgum öðrum breytum. Hér að neðan er samanburður á afköstum örgjörvana tveggja fyrir þær tegundir beiðna sem við lendum oftast í.
Niðurstöðurnar á myndinni eru mældar á móti grunnlínu 9. kynslóðar Intel-undirstaða véla, staðlað að gildinu 1,0 á x-ásnum. Til dæmis, með því að taka einfaldar 10 KiB beiðnir yfir HTTPS, getum við séð að AMD gengur 1,5 sinnum betur en Intel hvað varðar beiðnir á sekúndu. Að meðaltali stóð AMD sig 34% betur en Intel í þessum prófum. Miðað við að TDP fyrir einn AMD EPYC 7642 er 225 W og fyrir tvo Intel örgjörva er 300 W, þá kemur í ljós að hvað varðar „beiðnir á watt“ sýnir AMD 2 sinnum betri árangur en Intel!
Á þessum tímapunkti vorum við greinilega þegar að halla okkur að stakri innstungu fyrir AMD EPYC 7642 sem framtíðar Gen X örgjörva okkar. Við höfðum mikinn áhuga á að sjá hvernig AMD EPYC þjónarnir myndu standa sig í raunveruleikastarfi og sendum strax nokkra netþjóna til sumra frá gagnaverum.
Raunveruleg vinna
Fyrsta skrefið var náttúrulega að undirbúa netþjónana fyrir vinnu við raunverulegar aðstæður. Allar vélar í flota okkar vinna með sömu ferlum og þjónustu, sem gefur frábært tækifæri til að bera saman árangur rétt. Eins og flest gagnaver erum við með nokkrar kynslóðir netþjóna uppbyggðar og við söfnum netþjónum okkar í klasa þannig að hver flokkur inniheldur netþjóna af um það bil sömu kynslóðum. Í sumum tilfellum getur þetta leitt til endurvinnsluferla sem eru mismunandi milli klasa. En ekki hjá okkur. Verkfræðingar okkar hafa fínstillt CPU nýtingu fyrir allar kynslóðir þannig að burtséð frá því hvort örgjörvi tiltekinnar vélar hefur 8 kjarna eða 24, þá er CPU nýting almennt sú sama og restin.
Línuritið sýnir athugasemd okkar um líkt nýtingu - það er enginn marktækur munur á notkun AMD örgjörva í Gen X kynslóð netþjónum og notkun Intel örgjörva í Gen 9 kynslóð netþjónum. Þetta þýðir að bæði prófunar- og grunnnetþjónar eru hlaðnir jafnt. . Frábært. Þetta er nákvæmlega það sem við leitumst eftir á netþjónum okkar og við þurfum þetta til að fá sanngjarnan samanburð. Línuritin tvö hér að neðan sýna fjölda beiðna sem unnið er af einum CPU kjarna og öllum kjarna á miðlarastigi.
Beiðnir fyrir hvern kjarna
Beiðnir til netþjónsins
Það má sjá að að meðaltali afgreiðir AMD 23% fleiri beiðnir. Alls ekki slæmt! Við höfum oft skrifað á bloggið okkar um leiðir til að auka afköst Gen 9. Og nú erum við með sama fjölda kjarna, en AMD vinnur meira með minna afli. Það er strax ljóst af forskriftum fyrir fjölda kjarna og TDP að AMD veitir meiri hraða með meiri orkunýtni.
En eins og við höfum áður nefnt er TDP ekki staðlað forskrift og það er ekki það sama fyrir alla framleiðendur, svo við skulum skoða raunverulega orkunotkun. Með því að mæla orkunotkun netþjónsins samhliða fjölda beiðna á sekúndu fengum við eftirfarandi línurit:
Miðað við beiðnir á sekúndu á hvert eytt vatt eru Gen X netþjónar sem keyra á AMD örgjörvum 28% skilvirkari. Það mætti búast við meiru, í ljósi þess að TDP AMD er 25% lægra, en það ber að hafa í huga að TDP er óljós eiginleiki. Við höfum séð að raunveruleg orkunotkun AMD er nánast eins og uppgefinn TDP við tíðni sem er miklu hærri en grunninn; Intel hefur það ekki. Þetta er önnur ástæða fyrir því að TDP er ekki áreiðanlegt mat á orkunotkun. Örgjörvar frá Intel í Gen 9 netþjónum okkar eru samþættir í fjölhnútakerfi, en örgjörvar frá AMD starfa í venjulegum 1U formþáttaþjónum. Þetta er ekki í hag fyrir AMD, þar sem multinode netþjónar ættu að veita meiri þéttleika með minni orkunotkun á hvern hnút, en AMD náði samt Intel hvað varðar orkunotkun á hnút.
Í flestum samanburði á forskriftum, prófunarhermum og raunverulegum afköstum stóð 1P AMD EPYC 7642 uppsetningin verulega betur en 2P Intel Xeon 6162. Við sumar aðstæður getur AMD staðið sig allt að 36% betur og við teljum að með því að hagræða vélbúnaði og hugbúnaði, við getum náð þessum framförum stöðugt.
Það kemur í ljós að AMD vann.
Viðbótarrit sýna meðaltöf og p99 leynd sem keyrir NGINX yfir 24 klukkustunda tímabil. Að meðaltali keyrðu ferlar á AMD 25% hraðar. Á p99 keyrir hann 20-50% hraðar eftir tíma dags.
Ályktun
Vélbúnaðar- og árangursverkfræðingar Cloudflare gera umtalsvert magn af prófunum og rannsóknum til að ákvarða bestu netþjónauppsetninguna fyrir viðskiptavini okkar. Við elskum að vinna hér vegna þess að við getum leyst stór vandamál eins og þessi og við getum hjálpað þér að leysa vandamál þín með þjónustu eins og netþjónalausri brúntölvu og fjölda öryggislausna eins og Magic Transit, Argo Tunnel og DDoS vernd. . Allir netþjónar í Cloudflare netinu eru stilltir til að skila áreiðanlegum árangri og við erum alltaf að reyna að gera hverja næstu kynslóð netþjóna betri en sú fyrri. Við teljum að AMD EPYC 7642 sé svarið þegar kemur að Gen X örgjörvum.
Með því að nota Cloudflare Workers dreifa verktaki forritum sínum á stækkandi netkerfi okkar um allan heim. Við erum stolt af því að láta viðskiptavini okkar einbeita okkur að því að skrifa kóða á meðan við einbeitum okkur að öryggi og áreiðanleika í skýinu. Og í dag erum við enn ánægðari með að tilkynna að verk þeirra verða sett á Gen X kynslóð netþjóna okkar sem keyra aðra kynslóð AMD EPYC örgjörva.
EPYC 7642 örgjörvar, kóðaheiti "Róm" [Róm]
Með því að nota EPYC 7642 frá AMD gátum við aukið frammistöðu okkar og gert það auðveldara að stækka netið okkar til nýrra borga. Róm var ekki byggð á einum degi, en hún verður brátt nær mörgum ykkar.
Á síðustu tveimur árum höfum við verið að gera tilraunir með marga x86 flís frá Intel og AMD, auk örgjörva frá ARM. Við gerum ráð fyrir að þessir örgjörvaframleiðendur haldi áfram að vinna með okkur í framtíðinni svo að við getum öll byggt upp betra internet saman.
Heimild: www.habr.com