Cloudflare Network аркылуу күн сайын миллиарддан ашык уникалдуу IP даректери өтөт; ал секундасына 11 миллиондон ашык HTTP сурамдарын тейлейт; ал интернет калкынын 100% 95ms ичинде. Биздин тармагыбыз 200дон ашык өлкөнүн 90 шаарын камтыйт жана биздин инженерлер тобу абдан тез жана ишенимдүү инфраструктураны курушту.
Биз өз ишибиз менен сыймыктанабыз жана Интернетти жакшыраак жана коопсуз жайга айлантууга жардам берүүгө умтулабыз. Cloudflare'дин аппараттык инженерлери серверлерди жана алардын компоненттерин терең түшүнүп, анын натыйжалуулугун жогорулатуу үчүн эң жакшы жабдыктарды түшүнүшөт.
Биздин программалык стек жогорку жүктөмдүү эсептөөлөрдү башкарат жана процессордон өтө көз каранды, бул биздин инженерлерден стектин ар бир деңгээлинде Cloudflare эффективдүүлүгүн жана ишенимдүүлүгүн тынымсыз оптималдаштырууну талап кылат. Сервер тарапта, процессордун өзөктөрүн кошуу менен иштетүү кубаттуулугун жогорулатуунун эң оңой жолу. Сервер канчалык көп ядро бата алса, ошончолук көп маалымат иштете алат. Бул биз үчүн маанилүү, анткени биздин өнүмдөрдүн жана кардарларыбыздын ар түрдүүлүгү убакыттын өтүшү менен өсүп жатат, ал эми суроо-талаптардын өсүшү серверлердин өндүрүмдүүлүгүн жогорулатууну талап кылат. Алардын өндүрүмдүүлүгүн жогорулатуу үчүн, биз өзөктөрдүн тыгыздыгын жогорулатуу керек болчу - жана биз дал ушул нерсеге жетиштик. Төмөндө биз 2015-жылдан бери орноткон серверлер үчүн процессорлор, анын ичинде өзөктөрдүн саны боюнча кеңири маалыматтарды беребиз:
-
Башт 6
Башт 7
Башт 8
Башт 9
баштоо
2015
2016
2017
2018
CPU
Intel Xeon E5-2630 v3
Intel Xeon E5-2630 v4
Intel Xeon Silver 4116
Intel Xeon Platinum 6162
Физикалык өзөктөр
2 х 8
2 х 10
2 х 12
2 х 24
TDP
2 х 85W
2 х 85W
2 х 85W
2 х 150W
TDP ар бир ядро
10.65W
8.50W
7.08W
6.25W
2018-жылы биз Gen 9 менен сервердеги өзөктөрдүн жалпы санында чоң секирик жасадык. Айлана-чөйрөгө тийгизген таасири 33-муунга салыштырмалуу 8% га кыскарды, бул бизге бир стойкага көлөмүн жана эсептөө күчүн көбөйтүүгө мүмкүнчүлүк берди. жылуулук таркатууга долбоорлоо талаптары (, TDP) биздин энергетикалык натыйжалуулук да убакыттын өтүшү менен жогорулаганын баса белгилейт. Бул көрсөткүч биз үчүн маанилүү: биринчиден, биз атмосферага көмүртекти азыраак чыгаргыбыз келет; экинчиден, биз маалымат борборлорунун энергиясын эң жакшы пайдаланууну каалайбыз. Бирок биз умтула турган нерсе бар экенин билебиз.
Биздин негизги аныктоочу метрика бир ватт үчүн суроо-талаптардын саны болуп саналат. Биз өзөктөрдү кошуу менен секундасына суроо-талаптардын санын көбөйтө алабыз, бирок биз кубаттуулук бюджетибиздин чегинде болушубуз керек. Биз маалымат борборунун электр инфраструктурасы менен чектелдик, ал биздин тандалган электр бөлүштүрүүчү модулдарыбыз менен бирге ар бир сервер текчеси үчүн белгилүү бир жогорку чекти берет. Серверлерди стойкага кошуу энергия керектөөнү көбөйтөт. Эгерде биз ар бир стойкадагы энергиянын чегинен ашып, жаңы стеллаждарды кошууга туура келсе, эксплуатациялык чыгымдар бир топ жогорулайт. Биз ошол эле энергия керектөө диапазонунда туруп, кайра иштетүү кубаттуулугун жогорулатуубуз керек, бул биздин негизги көрсөткүчүбүз болгон ватт үчүн суроо-талаптарды көбөйтөт.
Сиз ойлогондой, биз долбоорлоо стадиясында энергия керектөөнү кылдат изилдеп чыктык. Жогорудагы таблицадан көрүнүп тургандай, эгер бир ядродогу TDP азыркы муунга караганда жогору болсо, энергияны көбүрөөк талап кылган CPUларды колдонууга убакытты текке кетирбешибиз керек - бул биздин метрикага, ватт үчүн суроо-талаптарга терс таасирин тийгизет. Биз рынокто биздин X мууну үчүн иштөөгө даяр системаларды кылдат изилдеп, чечим кабыл алдык. Биз 48 ядролуу Intel Xeon Platinum 6162 кош розетка дизайнынан 48 ядролуу AMD EPYC 7642 бир розеткалуу дизайнга өтүп жатабыз.
-
Intel
AMD
CPU
Xeon Platinum 6162
EPYC 7642
микроархитектура
"Скайлейк"
"Зен 2"
Код аты
"Skylake SP"
"Рим"
Техникалык процесс
14nm
7nm
өзөктөр
2 х 24
48
жыштыгы
1.9 GHz
2.4 GHz
L3 кэш/розетка
24 x 1.375МБ
16 x 16МБ
Эстутум/розетка
6 канал, DDR4-2400 чейин
8 канал, DDR4-3200 чейин
TDP
2 х 150W
225W
PCIe/сокет
48 тилке
128 тилке
ISA
x86-64
x86-64
Техникалык мүнөздөмөлөрдөн көрүнүп тургандай, AMD чиптери TDPти төмөндөтүү менен бирдей сандагы өзөктөрдү сактоого мүмкүндүк берет. 9-муундагы TDP бир өзөгүнө 6,25 Вт, ал эми X-муундагы ал 4,69 Вт болот. 25% га кыскарган. Көбөйгөн жыштыктын жана, балким, бир розетка менен жөнөкөй дизайндын аркасында, AMD чипинин иш жүзүндө жакшыраак иштеши мүмкүн деп божомолдоого болот. Учурда биз AMD канчалык жакшыраак иштей турганын көрүү үчүн ар кандай сыноолорду жана симуляцияларды жүргүзүп жатабыз.
Азырынча TDP бул өндүрүүчүнүн спецификацияларынан жөнөкөйлөштүрүлгөн метрика экенин белгилеп кетели, аны биз серверди долбоорлоонун жана CPU тандоонун алгачкы этаптарында колдонгон. Ыкчам Google издөөсү AMD менен Intelдин TDPди аныктоодо ар кандай ыкмаларга ээ экенин көрсөтүп, спецификацияны ишенимсиз кылат. Чыныгы CPU кубаттуулугун керектөө жана андан да маанилүүсү сервердин кубатын керектөө - бул акыркы чечимди кабыл алууда биз колдонгон нерсе.
Экосистеманын даярдыгы
Кийинки процессорубузду тандоого саякатыбызды баштоо үчүн биз программалык стекке жана кызматтарыбызга ылайыктуу болгон ар түрдүү өндүрүүчүлөрдүн процессорлорунун кеңири спектрин карадык (C, LuaJIT жана Go тилдеринде жазылган). Биз буга чейин майда-чүйдөсүнө чейин ылдамдыгын өлчөө үчүн каражаттардын жыйындысын сүрөттөгөн . Бул учурда, биз ошол эле комплектти колдондук - ал акылга сыярлык убакыттын ичинде CPU эффективдүүлүгүн баалоого мүмкүндүк берет, андан кийин биздин инженерлер биздин программаларды белгилүү бир процессорго ылайыкташа башташат.
Биз ар түрдүү процессорлорду сынап көрдүк, ар кандай өзөк сандары, розеткалардын саны жана жыштыгы. Бул макалада биз эмне үчүн AMD EPYC 7642ге орношконубуз жөнүндө болгондуктан, бул блогдогу бардык диаграммалар AMD процессорлорунун Intel Xeon Platinum 6162 менен салыштырганда кандай иштешине көңүл бурат. .
Натыйжалар ар бир процессордун варианты менен бир сервердин өлчөөлөрүнө туура келет - башкача айтканда, Intelден эки 24-ядролуу процессор менен же AMDден бир 48-ядролуу процессор менен (эки розеткага ээ Intel үчүн сервер жана бирөө менен AMD EPYC үчүн сервер) . BIOS'та биз иштеп жаткан серверлерге ылайыктуу параметрлерди койдук. Бул AMD үчүн 3,03 ГГц жана Intel үчүн 2,5 ГГц. Абдан жөнөкөйлөштүрүлгөндөй, биз ядролордун бирдей саны менен AMD Intelге караганда 21% жакшыраак иштейт деп күтөбүз.
Криптография
AMD үчүн келечектүү көрүнөт. Ал ачык ачкыч криптографиясында 18% жакшыраак иштейт. Симметриялык ачкыч менен ал AES-128-GCM шифрлөө параметрлерин жоготот, бирок жалпысынан салыштырууга болот.
Кысуу
Чектеги серверлерде өткөрүү жөндөмдүүлүгүн үнөмдөө жана мазмунду жеткирүү ылдамдыгын жогорулатуу үчүн биз көп маалыматтарды кысып жатабыз. Биз маалыматтарды C китепканалары zlib жана brotli аркылуу өткөрөбүз. Бардык тесттер эс тутумдагы blog.cloudflare.com HTML файлында аткарылды.
AMD gzip колдонууда орточо 29% утуп алды. Brotli учурда, биз динамикалык кысуу үчүн колдонгон 7 сапаттагы тесттерде жыйынтыктар дагы жакшыраак. Brotli-9 сынагында кескин төмөндөө бар - биз муну Brotli эстутумду көп керектеп, кэшти ашып-ташып жаткандыгы менен түшүндүрөбүз. Бирок, AMD чоң айырма менен утат.
Биздин кызматтардын көбү Go тилинде жазылган. Төмөнкү графиктерде 32 КБ саптардагы RegExp менен Go программасында криптографиянын жана кысуу ылдамдыгын саптар китепканасын колдонуп эки жолу текшеребиз.
Криптографияга өтүңүз
Go Compression
Regexp өтүңүз
Go Strings
AMD Go менен ECDSA P256 Signдан башка бардык сыноолорду жакшыраак аткарат, ал жерде 38% артта калган - бул C тилинде 24% жакшы аткарганын эске алганда, таң калыштуу. Ал жерде эмне болуп жатканын аныктоо арзырлык. Жалпысынан алганда, AMD көп утушка ээ эмес, бирок дагы эле эң жакшы натыйжаларды көрсөтөт.
LuaJIT
Биз көбүнчө LuaJITди стекте колдонобуз. Бул Cloudflare бардык бөлүктөрүн бириктирип турган клей. Жана биз бул жерде да AMD утуп алганына кубанычтабыз.
Жалпысынан, тесттер көрсөткөндөй, EPYC 7642 эки Xeon Platinum 6162ге караганда жакшыраак аткарат. AMD бир нече сыноолордо утулуп калды - мисалы, AES-128-GCM жана Go OpenSSL ECDSA-P256 Sign - бирок башкаларда орточо эсеп менен утат. 25%.
Иш жүктөө симуляциясы
Ыкчам сыноолорубуздан кийин биз серверлерди башка симуляциялар топтому аркылуу иштеттик, анда программанын четиндеги стекке синтетикалык жүк колдонулат. Бул жерде биз реалдуу жумушта кездешүүгө мүмкүн болгон суроо-талаптардын ар кандай түрлөрү менен сценарийдин иш жүгүн окшоштурабыз. Сурамдар маалымат көлөмү, HTTP же HTTPS протоколдору, WAF булактары, Жумушчулар жана башка көптөгөн өзгөрмөлөр менен айырмаланат. Төмөндө биз көп жолуккан суроо-талаптардын түрлөрү үчүн эки CPUнын өткөрүү жөндөмдүүлүгүн салыштыруу келтирилген.
Диаграммадагы жыйынтыктар x огу боюнча 9 маанисине нормалдаштырылган 1,0-муундагы Intel негизиндеги машиналардын базалык сызыгы менен өлчөнөт. Мисалы, HTTPS аркылуу жөнөкөй 10 киБ сурамдарды алып, биз AMD секундасына суроо-талаптар жагынан Intelге караганда 1,5 эсе жакшыраак экенин көрөбүз. Орточо алганда, AMD бул сыноолор үчүн Intelге караганда 34% жакшыраак аткарды. Бир AMD EPYC 7642 үчүн TDP 225 Вт, ал эми эки Intel процессору үчүн 300 Вт экенин эске алсак, AMD "ваттка суроо-талап" жагынан Intelге караганда 2 эсе жакшы натыйжаларды көрсөтөт!
Бул учурда, биз келечектеги Gen X процессорлору катары AMD EPYC 7642 үчүн бирдиктүү розеткага ыктап жатканбыз.Бизди AMD EPYC серверлери реалдуу дүйнөдө кандай аткарарын көрүүгө абдан кызыкканбыз жана дароо бир нече серверлерди жөнөттүк. серверлерден кээ бирлерине маалымат борборлорунан.
Чыныгы иш
Биринчи кадам, албетте, реалдуу шарттарда иштөө үчүн серверлерди даярдоо болду. Биздин парктагы бардык машиналар бирдей процесстер жана кызматтар менен иштешет, бул көрсөткүчтөрдү туура салыштырууга эң сонун мүмкүнчүлүк берет. Көпчүлүк маалымат борборлору сыяктуу бизде серверлердин бир нече муундары орнотулган жана биз серверлерибизди кластерлерге чогултабыз, ошентип ар бир класс болжол менен бирдей муундун серверлерин камтыйт. Кээ бир учурларда, бул кластерлердин ортосунда айырмаланган кайра иштетүү ийри сызыктарына алып келиши мүмкүн. Бирок биз менен эмес. Биздин инженерлер бардык муундар үчүн CPU колдонууну оптималдаштырышкан, андыктан белгилүү бир машинанын CPU 8 ядросу же 24 ядросу бар экендигине карабастан, CPU колдонуу жалпысынан калгандары менен бирдей.
График колдонуунун окшоштугу боюнча биздин комментарийибизди көрсөтөт - Gen X муундагы серверлерде AMD CPUларын колдонуу менен 9 муундагы серверлерде Intel процессорлорун колдонуунун ортосунда олуттуу айырма жок.Бул сыноо жана базалык серверлер бирдей жүктөлөт дегенди билдирет. . Абдан жакшы. Бул биздин серверлерибизде дал ушул нерсеге умтулабыз жана бул адилеттүү салыштыруу үчүн керек. Төмөнкү эки график бир CPU өзөгү жана сервер деңгээлиндеги бардык өзөктөр тарабынан иштетилген суроо-талаптардын санын көрсөтөт.
Ар бир ядро үчүн суроо-талаптар
Серверге кайрылуулар
Бул AMD орточо 23% көбүрөөк суроо-талаптарды иштеп жатканын көрүүгө болот. Жаман эмес! Биз өз блогубузда Gen 9дун иштешин жогорулатуу жолдору жөнүндө көп жазчубуз. Эми бизде ядролордун саны бирдей, бирок AMD азыраак күч менен көбүрөөк иштейт. Өзөктөрдүн жана TDP санынын спецификацияларынан AMD энергиянын натыйжалуулугу жогорураак ылдамдыкты камсыздай турганы дароо айкын көрүнүп турат.
Бирок, биз айтып өткөндөй, TDP стандарттык спецификация эмес жана ал бардык өндүрүүчүлөр үчүн бирдей эмес, андыктан иш жүзүндө энергияны колдонууну карап көрөлү. Сервердин энергия керектөөсүн секундасына сурамдардын санына параллелдүү өлчөө менен биз төмөнкү графикти алдык:
Ар бир ватт үчүн секундасына суроо-талаптардын негизинде, AMD процессорлорунда иштеген Gen X серверлери 28% натыйжалуураак. AMDдин TDP 25% төмөн экенин эске алганда, көбүрөөк күтсө болот, бирок TDP эки ача мүнөздүү экенин эстен чыгарбоо керек. Биз AMDдин иш жүзүндөгү энергия керектөөсү базадан бир топ жогору жыштыктарда айтылган TDP менен дээрлик бирдей экенин көрдүк; Intelде андай жок. Бул TDP энергия керектөөнүн ишенимдүү баа эмес экенин дагы бир себеби болуп саналат. Биздин Gen 9 серверлерибиздеги Intel процессорлору көп түйүндүү системага интеграцияланган, ал эми AMDден келген CPU стандарттык 1U форма фактор серверлеринде иштешет. Бул AMDдин пайдасына эмес, анткени көп түйүндүү серверлер бир түйүнгө азыраак энергия керектөө менен көбүрөөк тыгыздыкты камсыз кылышы керек, бирок AMD дагы эле бир түйүнгө энергия керектөө жагынан Intelден озуп кетти.
Көпчүлүк мүнөздөмөлөр, тесттик симуляциялар жана реалдуу дүйнөдөгү көрсөткүчтөр боюнча салыштырууларда 1P AMD EPYC 7642 конфигурациясы 2P Intel Xeon 6162ге караганда бир топ жакшыраак иштеди. Кээ бир шарттарда AMD 36% га чейин жакшыраак аткара алат жана оптималдаштыруу аркылуу биз ишенебиз. аппараттык жана программалык камсыздоо, биз бул жакшыртууга туруктуу негизде жетише алабыз.
Бул AMD утуп чыкты.
Кошумча графиктер 99 сааттын ичинде NGINX иштеткен орточо кечиктирүүнү жана p24 күтүү убактысын көрсөтөт. Орточо алганда, AMD процесстери 25% тезирээк иштеген. p99да сутканын убактысына жараша 20-50% ылдамыраак иштейт.
жыйынтыктоо
Cloudflare компаниясынын Аппараттык камсыздоо жана аткаруу инженерлери кардарларыбыз үчүн эң жакшы сервер конфигурациясын аныктоо үчүн олуттуу көлөмдөгү сыноолорду жана изилдөөлөрдү жүргүзүшөт. Биз бул жерде иштөөнү жакшы көрөбүз, анткени биз ушуга окшогон чоң көйгөйлөрдү чече алабыз жана биз сизге серверсиз кырдуу эсептөөлөр жана Magic Transit, Argo Tunnel жана DDoS коргоо сыяктуу коопсуздук чечимдеринин массивдери сыяктуу кызматтар менен көйгөйлөрүңүздү чечүүгө жардам бере алабыз. . Cloudflare тармагындагы бардык серверлер ишенимдүү иштөө үчүн конфигурацияланган жана биз ар дайым ар бир кийинки муун серверлерин мурункусунан жакшыраак кылууга аракет кылабыз. Биз AMD EPYC 7642 Gen X процессорлоруна келгенде жооп деп ишенебиз.
Cloudflare Жумушчуларын колдонуп, иштеп чыгуучулар өздөрүнүн тиркемелерин дүйнө жүзү боюнча кеңейтилген тармагыбызга жайгаштырышат. Биз булуттагы коопсуздукка жана ишенимдүүлүккө көңүл бурсак, кардарларыбызга код жазууга көңүл буруп жатканыбызга сыймыктанабыз. Ал эми бүгүн биз алардын иши экинчи муундагы AMD EPYC процессорлору менен иштеген Gen X муундагы серверлерибизде жайгаштырыла турганын жарыялоого дагы кубанычтабыз.
EPYC 7642 процессорлору, код аты "Рим" [Рим]
AMD's EPYC 7642 колдонуу менен, биз өндүрүмдүүлүгүбүздү жогорулата алдык жана тармагыбызды жаңы шаарларга кеңейтүүнү жеңилдете алдык. Рим бир күндө курулган эмес, бирок ал жакында көптөрүңүзгө жакын болот.
Акыркы эки жылда биз Intel жана AMD компанияларынын көптөгөн x86 чиптери, ошондой эле ARM процессорлору менен эксперимент жүргүзүп жатабыз. Биз бул CPU өндүрүүчүлөрү келечекте биз менен иштешүүнү улантат деп күтөбүз, ошентип баарыбыз чогуу жакшыраак интернет түзө алабыз.
Source: www.habr.com