Више од милијарду јединствених ИП адреса пролази кроз Цлоудфларе мрежу сваког дана; опслужује више од 11 милиона ХТТП захтева у секунди; она је унутар 100мс од 95% интернет популације. Наша мрежа обухвата 200 градова у преко 90 земаља, а наш тим инжењера је изградио изузетно брзу и поуздану инфраструктуру.
Веома смо поносни на свој рад и посвећени смо да помогнемо да интернет постане боље и безбедније место. Цлоудфларе-ови хардверски инжењери имају дубоко разумевање сервера и њихових компоненти како би разумели и изабрали најбољи хардвер како би максимизирали његове перформансе.
Наш софтверски стек управља рачунарством са великим оптерећењем и веома је зависан од ЦПУ-а, што захтева од наших инжењера да континуирано оптимизују Цлоудфларе ефикасност и поузданост на сваком нивоу стека. На страни сервера, најлакши начин да се повећа процесорска снага је додавањем ЦПУ језгара. Што више језгара сервер може да стане, више података може да обради. Ово нам је важно јер разноврсност наших производа и клијената временом расте, а раст захтева захтева повећање перформанси сервера. Да бисмо повећали њихове перформансе, морали смо да повећамо густину језгара - и то је управо оно што смо постигли. У наставку дајемо детаљне податке о процесорима за сервере које смо применили од 2015. године, укључујући број језгара:
-
ген КСНУМКС
ген КСНУМКС
ген КСНУМКС
ген КСНУМКС
Први кораци
2015
2016
2017
2018
Процесор
Интел Ксеон Е5-2630 в3
Интел Ксеон Е5-2630 в4
Интел Ксеон Силвер 4116
Интел Ксеон Платинум 6162
Физичка језгра
КСНУМКС КСНУМКС х
КСНУМКС КСНУМКС х
КСНУМКС КСНУМКС х
КСНУМКС КСНУМКС х
ТДП
КСНУМКС к КСНУМКСВ
КСНУМКС к КСНУМКСВ
КСНУМКС к КСНУМКСВ
КСНУМКС к КСНУМКСВ
ТДП по језгру
КСНУМКСВ
КСНУМКСВ
КСНУМКСВ
КСНУМКСВ
У 2018. смо направили велики скок у укупном броју језгара по серверу са Ген 9. Утицај на животну средину је смањен за 33% у поређењу са 8. генерацијом, што нам даје прилику да повећамо запремину и рачунарску снагу по раку. Захтеви за пројектовање за дисипацију топлоте (, ТДП) се помињу како би се истакло да се и наша енергетска ефикасност временом повећала. Овај индикатор је важан за нас: прво, желимо да емитујемо мање угљеника у атмосферу; друго, желимо да на најбољи начин искористимо енергију из дата центара. Али знамо да имамо чему да тежимо.
Наша главна метрика која дефинише је број захтева по вату. Можемо повећати број захтева у секунди додавањем језгара, али морамо да останемо у оквиру нашег буџета за напајање. Ограничени смо инфраструктуром напајања дата центра, која нам, заједно са нашим одабраним модулима за дистрибуцију енергије, даје одређену горњу границу за сваки серверски рацк. Додавање сервера у сталак повећава потрошњу енергије. Оперативни трошкови ће се значајно повећати ако премашимо ограничење енергије по реку и будемо морали да додамо нове рекове. Морамо да повећамо процесорску снагу док останемо у истом опсегу потрошње енергије, што ће повећати захтеве по вату, што је наша кључна метрика.
Као што сте могли да претпоставите, пажљиво смо проучавали потрошњу енергије у фази пројектовања. Горња табела показује да не би требало да губимо време на примену више ЦПУ-а који захтевају енергију ако је ТДП по језгру већи од тренутне генерације – то ће негативно утицати на нашу метрику, захтеве по вату. Пажљиво смо проучили системе спремне за рад за нашу генерацију Кс на тржишту и донели одлуку. Прелазимо са нашег 48-језгарног Интел Ксеон Платинум 6162 дизајна са два соцкета на 48-језгарни АМД ЕПИЦ 7642 дизајн са једним утичницом.
-
интел
Интел
Процесор
Ксеон Платинум КСНУМКС
ЕПИЦ КСНУМКС
Микроарһитектура
"Скајлејк"
“Зен 2”
Кодно име
“Скилаке СП”
“Рим”
Технички процес
КСНУМКСнм
КСНУМКСнм
језгра
КСНУМКС КСНУМКС х
48
Фреквенција
КСНУМКС Гхз
КСНУМКС Гхз
Л3 кеш/утичница
24 к 1.375 миБ
16 к 16 миБ
Меморија/утичница
6 канала, до ДДР4-2400
8 канала, до ДДР4-3200
ТДП
КСНУМКС к КСНУМКСВ
КСНУМКСВ
ПЦИе/утичница
48 трака
128 трака
ИСА
кКСНУМКС-КСНУМКС
кКСНУМКС-КСНУМКС
Из спецификација је јасно да ће нам АМД-ов чип омогућити да задржимо исти број језгара уз снижавање ТДП-а. 9. генерација је имала ТДП по језгру од 6,25 В, а Кс генерација ће бити 4,69 В. Смањена за 25%. Захваљујући повећаној фреквенцији, а можда и једноставнијем дизајну са једним сокетом, може се претпоставити да ће АМД чип боље радити у пракси. Тренутно изводимо разне тестове и симулације да видимо колико ће боље АМД радити.
За сада, напоменимо да је ТДП поједностављена метрика из спецификација произвођача, коју смо користили у раним фазама дизајна сервера и избора ЦПУ-а. Брза Гоогле претрага открива да АМД и Интел имају различите приступе дефинисању ТДП-а, што спецификацију чини непоузданом. Стварна потрошња енергије ЦПУ-а, и што је још важније, потрошња енергије сервера је оно што заиста користимо када доносимо коначну одлуку.
Спремност екосистема
Да бисмо започели наше путовање ка избору нашег следећег процесора, погледали смо широк спектар ЦПУ-а различитих произвођача који су добро одговарали нашем софтверском стеку и услугама (писаним на Ц, ЛуаЈИТ и Го). Већ смо детаљно описали скуп алата за мерење брзине . У овом случају смо користили исти сет – омогућава нам да проценимо ефикасност ЦПУ-а у разумном року, након чега наши инжењери могу да почну да прилагођавају наше програме одређеном процесору.
Тестирали смо различите процесоре са различитим бројем језгара, бројем сокета и фреквенцијама. Пошто је овај чланак о томе зашто смо се определили за АМД ЕПИЦ 7642, сви графикони на овом блогу се фокусирају на перформансе АМД процесора у поређењу са Интел Ксеон Платинум 6162 из .
Резултати одговарају мерењима једног сервера са сваком варијантом процесора – односно са два Интел-ова процесора са 24 језгра, или са једним процесором од 48 језгара од АМД-а (сервер за Интел са два сокета и сервер за АМД ЕПИЦ са једним) . У БИОС-у постављамо параметре који одговарају покренутим серверима. Ово је 3,03 ГХз за АМД и 2,5 ГХз за Интел. Ако увелико поједноставимо, очекујемо да ће са истим бројем језгара АМД радити 21% боље од Интела.
Криптографија
Изгледа обећавајуће за АМД. Ради 18% боље у криптографији са јавним кључем. Са симетричним кључем губи за опције шифровања АЕС-128-ГЦМ, али свеукупно има сличан учинак.
Компресија
На ивичним серверима компресујемо много података да бисмо уштедели на пропусном опсегу и повећали брзину испоруке садржаја. Податке прослеђујемо кроз Ц библиотеке злиб и бротли. Сви тестови су изведени на блог.цлоудфларе.цом ХТМЛ датотеци у меморији.
АМД је освојио у просеку 29% када је користио гзип. У случају бротлија, резултати су још бољи на тестовима квалитета 7 које користимо за динамичку компресију. На тесту бротли-9 постоји оштар пад - то објашњавамо чињеницом да Бротли троши много меморије и прелива кеш меморију. Међутим, АМД побеђује са великом разликом.
Многе наше услуге су написане на Го. На следећим графиконима двапут проверавамо брзину криптографије и компресије у Го са РегЕкп-ом на линијама од 32 КБ користећи библиотеку стрингова.
Иди на криптографију
Иди Цомпрессион
Иди Регекп
Го Стрингс
АМД ради боље у свим тестовима са Го-ом осим ЕЦДСА П256 Сигн, где је заостао 38% - што је чудно, с обзиром да је имао 24% бољи учинак у Ц. Вреди схватити шта се тамо дешава. Све у свему, АМД не добија много, али ипак показује најбоље резултате.
ЛуаЈИТ
Често користимо ЛуаЈИТ на стеку. Ово је лепак који држи све делове Цлоудфларе-а заједно. И драго нам је што је АМД победио и овде.
Све у свему, тестови показују да ЕПИЦ 7642 ради боље од два Ксеон Платинум 6162. АМД губи на неколико тестова – на пример, АЕС-128-ГЦМ и Го ОпенССЛ ЕЦДСА-П256 Сигн – али побеђује на свим осталим, у просеку од 25% .
Симулација радног оптерећења
Након наших брзих тестова, провели смо сервере кроз још један скуп симулација у којима се синтетичко оптерећење примењује на ивични стек софтвера. Овде симулирамо радно оптерећење сценарија са различитим типовима захтева који се могу срести у стварном раду. Захтеви се разликују по обиму података, ХТТП или ХТТПС протоколима, ВАФ изворима, радницима и другим многим варијаблама. Испод је поређење пропусности два ЦПУ-а за типове захтева са којима се најчешће сусрећемо.
Резултати у графикону се мере у односу на основну линију 9. генерације машина заснованих на Интелу, нормализоване на вредност од 1,0 на к-оси. На пример, узимајући једноставне захтеве од 10 КиБ преко ХТТПС-а, можемо видети да АМД ради 1,5 пута боље од Интела у смислу захтева у секунди. У просеку, АМД је имао 34% боље резултате од Интела за ове тестове. Узимајући у обзир да је ТДП за један АМД ЕПИЦ 7642 225 В, а за два Интел процесора 300 В, испада да у погледу „захтева по вату“ АМД показује 2 пута боље резултате од Интела!
У овом тренутку, већ смо се јасно нагињали опцији са једном утичницом за АМД ЕПИЦ 7642 као наше будуће ЦПУ-ове генерације Кс. Били смо веома заинтересовани да видимо како ће АМД ЕПИЦ сервери радити у стварном свету и одмах смо послали неколико сервере некима из центара података.
Прави рад
Први корак је, наравно, био припрема сервера за рад у реалним условима. Све машине у нашој флоти раде са истим процесима и услугама, што пружа одличну прилику да правилно упоредите перформансе. Као и већина центара података, имамо неколико генерација распоређених сервера, а своје сервере сакупљамо у кластере тако да свака класа садржи сервере приближно истих генерација. У неким случајевима, ово може довести до кривуља рециклаже које се разликују између кластера. Али не код нас. Наши инжењери су оптимизовали коришћење ЦПУ-а за све генерације, тако да без обзира да ли ЦПУ одређене машине има 8 језгара или 24, коришћење ЦПУ-а је генерално исто као и код осталих.
Графикон илуструје наш коментар о сличности коришћења – нема значајне разлике између употребе АМД ЦПУ-а у серверима генерације Кс и коришћења Интел процесора у серверима генерације 9. То значи да су и тестни и основни сервери подједнако учитани . Велики. То је управо оно чему тежимо у нашим серверима, а ово нам је потребно за поштено поређење. Два графикона испод показују број захтева које обрађује једно ЦПУ језгро и сва језгра на нивоу сервера.
Захтеви по језгру
Захтеви серверу
Види се да АМД у просеку обрађује 23% више захтева. Уопште није лоше! Често смо писали на нашем блогу о начинима за повећање перформанси Ген 9. И сада имамо исти број језгара, али АМД ради више посла са мање енергије. Из спецификација за број језгара и ТДП одмах је јасно да АМД обезбеђује већу брзину уз већу енергетску ефикасност.
Али као што смо већ поменули, ТДП није стандардна спецификација и није исти за све произвођаче, па погледајмо стварну потрошњу енергије. Мерењем потрошње енергије сервера паралелно са бројем захтева у секунди, добили смо следећи графикон:
На основу захтева по секунди по потрошеном вату, Ген Кс сервери који раде на АМД процесорима су 28% ефикаснији. Могло би се очекивати више, с обзиром да је АМД-ов ТДП 25% нижи, али треба имати на уму да је ТДП двосмислена карактеристика. Видели смо да је АМД-ова стварна потрошња енергије скоро идентична наведеном ТДП-у на фреквенцијама које су много веће од основне; Интел то нема. Ово је још један разлог зашто ТДП није поуздана процена потрошње енергије. Интелови процесори у нашим Ген 9 серверима су интегрисани у систем са више чворова, док АМД-ови процесори раде у стандардним серверима 1У формата. Ово не иде у прилог АМД-у, пошто би мултиноде сервери требало да обезбеде већу густину са мањом потрошњом енергије по чвору, али је АМД ипак претекао Интел у погледу потрошње енергије по чвору.
У већини поређења спецификација, симулација теста и перформанси у стварном свету, 1П АМД ЕПИЦ 7642 конфигурација је имала значајно боље резултате од 2П Интел Ксеон 6162. У неким условима, АМД може да ради и до 36% боље, а верујемо да оптимизовањем хардвера и софтвера, ово побољшање можемо постићи на сталној основи.
Испоставило се да је АМД победио.
Додатни графикони показују просечно кашњење и кашњење п99 који покреће НГИНКС током периода од 24 сата. У просеку, процеси на АМД-у су радили 25% брже. На п99 ради 20-50% брже у зависности од доба дана.
Закључак
Цлоудфларе-ови инжењери за хардвер и перформансе врше значајну количину тестирања и истраживања како би одредили најбољу конфигурацију сервера за наше клијенте. Волимо да радимо овде јер можемо да решимо велике проблеме као што су ови, и можемо вам помоћи да решите ваше проблеме са услугама као што су ивично рачунарство без сервера и низом безбедносних решења као што су Магиц Трансит, Арго Туннел и ДДоС заштита. . Сви сервери у Цлоудфларе мрежи су конфигурисани да раде поуздано, а ми се увек трудимо да сваку следећу генерацију сервера учинимо бољом од претходне. Верујемо да је АМД ЕПИЦ 7642 одговор када су у питању процесори генерације Кс.
Користећи Цлоудфларе Воркерс, програмери постављају своје апликације на нашу мрежу која се шири широм света. Поносни смо што омогућавамо нашим клијентима да се усредсреде на писање кода, док се ми фокусирамо на безбедност и поузданост у облаку. И данас са још већим задовољством најављујемо да ће њихов рад бити распоређен на нашим серверима генерације Кс генерације који користе другу генерацију АМД ЕПИЦ процесора.
ЕПИЦ 7642 процесори, кодно име "Рим" [Рим]
Коришћењем АМД-овог ЕПИЦ 7642, успели смо да повећамо перформансе и олакшамо ширење наше мреже на нове градове. Рим није саграђен за један дан, али ће ускоро многима од вас бити ближи.
У последњих неколико година експериментисали смо са многим к86 чиповима из Интела и АМД-а, као и са АРМ процесорима. Очекујемо да ће ови произвођачи процесора наставити да сарађују са нама у будућности како бисмо сви заједно могли да изградимо бољи Интернет.
Извор: ввв.хабр.цом