Ավելի քան մեկ միլիարդ եզակի IP հասցեներ ամեն օր անցնում են Cloudflare ցանցով. այն սպասարկում է ավելի քան 11 միլիոն HTTP հարցում վայրկյանում; նա ինտերնետի բնակչության 100%-ից 95ms-ի սահմաններում է: Մեր ցանցն ընդգրկում է ավելի քան 200 երկրների 90 քաղաքներ, և մեր ինժեներների թիմը կառուցել է չափազանց արագ և հուսալի ենթակառուցվածք:
Մենք մեծ հպարտություն ենք զգում մեր աշխատանքով և պարտավորվում ենք օգնել ինտերնետը դարձնել ավելի լավ և ապահով վայր: Cloudflare-ի ապարատային ինժեներները խորը պատկերացում ունեն սերվերների և դրանց բաղադրիչների մասին, որպեսզի հասկանան և ընտրեն լավագույն ապարատը՝ դրա արդյունավետությունը առավելագույնի հասցնելու համար:
Մեր ծրագրային փաթեթը մշակում է բարձր բեռնվածության հաշվարկներ և մեծապես կախված է պրոցեսորից, ինչը պահանջում է մեր ինժեներներից շարունակաբար օպտիմալացնել Cloudflare-ի արդյունավետությունն ու հուսալիությունը փաթեթի յուրաքանչյուր մակարդակում: Սերվերի կողմից, պրոցեսորային հզորությունը բարձրացնելու ամենադյուրին ճանապարհը պրոցեսորի միջուկներ ավելացնելն է: Որքան շատ միջուկներ կարող է տեղավորել սերվերը, այնքան ավելի շատ տվյալներ կարող է մշակել: Սա կարևոր է մեզ համար, քանի որ մեր արտադրանքի և հաճախորդների բազմազանությունը ժամանակի ընթացքում աճում է, և հարցումների աճը պահանջում է սերվերների կատարողականի բարձրացում: Նրանց կատարողականությունը բարձրացնելու համար մեզ անհրաժեշտ էր մեծացնել միջուկների խտությունը, և դա հենց այն է, ինչ մենք հասանք: Ստորև մենք տրամադրում ենք մանրամասն տվյալներ սերվերների պրոցեսորների վերաբերյալ, որոնք մենք տեղակայել ենք 2015 թվականից ի վեր, ներառյալ միջուկների քանակը.
-
Gen 6- ը
Gen 7- ը
Gen 8- ը
Gen 9- ը
Ինչից սկսել
2015
2016
2017
2018
CPU
Intel Xeon E5-2630 v3
Intel Xeon E5-2630 v4
Intel Xeon Silver 4116- ը
Intel Xeon Platinum 6162
Ֆիզիկական միջուկներ
2 x 8
2 x 10
2 x 12
2 x 24
TDP
2 x 85W
2 x 85W
2 x 85W
2 x 150W
TDP մեկ միջուկի համար
10.65W
8.50W
7.08W
6.25W
2018-ին մենք մեծ թռիչք կատարեցինք մեկ սերվերի միջուկների ընդհանուր թվով Gen 9-ով: Շրջակա միջավայրի վրա ազդեցությունը 33-րդ սերնդի համեմատ կրճատվել է 8%-ով, ինչը մեզ հնարավորություն է տալիս ավելացնել ծավալը և հաշվողական հզորությունը մեկ դարակի համար: Ջերմության ցրման նախագծման պահանջներ (, TDP) նշվում է ընդգծելու համար, որ ժամանակի ընթացքում աճել է նաև մեր էներգաարդյունավետությունը: Այս ցուցանիշը մեզ համար կարևոր է. նախ՝ մենք ցանկանում ենք ավելի քիչ ածխածին արտանետել մթնոլորտ. երկրորդ, մենք ցանկանում ենք լավագույնս օգտագործել տվյալների կենտրոնների էներգիան: Բայց մենք գիտենք, որ ինչ-որ բան ունենք ձգտելու։
Մեր հիմնական որոշիչ չափանիշը մեկ վտ-ի համար հարցումների քանակն է: Մենք կարող ենք վայրկյանում ավելացնել հարցումների քանակը՝ ավելացնելով միջուկներ, բայց մենք պետք է մնանք մեր էներգիայի բյուջեի սահմաններում: Մենք սահմանափակված ենք տվյալների կենտրոնի էներգիայի ենթակառուցվածքով, որը, մեր ընտրած էներգիայի բաշխման մոդուլների հետ միասին, մեզ տալիս է որոշակի վերին սահման յուրաքանչյուր սերվերի դարակի համար: Սերվերներ դարակում ավելացնելը մեծացնում է էներգիայի սպառումը: Գործառնական ծախսերը զգալիորեն կավելանան, եթե մենք գերազանցենք մեկ դարակի էներգիայի սահմանաչափը և ստիպված լինենք ավելացնել նոր դարակաշարեր: Մենք պետք է ավելացնենք վերամշակման հզորությունը՝ մնալով էներգիայի սպառման նույն տիրույթում, ինչը կմեծացնի հարցումները մեկ վտ-ի համար՝ մեր հիմնական ցուցանիշը:
Ինչպես կռահեցիք, նախագծման փուլում մենք ուշադիր ուսումնասիրեցինք էներգիայի սպառումը: Վերևի աղյուսակը ցույց է տալիս, որ մենք չպետք է ժամանակ կորցնենք ավելի շատ էներգիա պահանջող պրոցեսորներ տեղակայելու համար, եթե մեկ միջուկի TDP-ն ավելի բարձր է, քան ներկայիս սերունդը. Մենք ուշադիր ուսումնասիրեցինք շուկայում մեր X սերնդի համար պատրաստի գործարկման համակարգերը և որոշում կայացրինք. Մենք անցնում ենք մեր 48 միջուկանի Intel Xeon Platinum 6162 երկակի վարդակից դիզայնից դեպի 48 միջուկ AMD EPYC 7642 մեկ վարդակից դիզայն:
-
Intel
ՀՀ դրամ
CPU
Xeon Platinum 6162
EPYC 7642
միկրոճարտարապետություն
«Skylake»
«Zen 2»
Կոդանուն
«Skylake SP»
«Հռոմ»
Տեխնիկական գործընթաց
14nm
7nm
միջուկներ
2 x 24
48
Հաճախականություն
1.9 GHz
2.4 GHz
L3 քեշ / վարդակից
24 x 1.375 ՄԲ
16 x 16 ՄԲ
Հիշողություն/վարդակ
6 ալիք, մինչև DDR4-2400
8 ալիք, մինչև DDR4-3200
TDP
2 x 150W
225W
PCIe / վարդակից
48 գոտի
128 գոտի
ISA
x86-64
x86-64
Տեխնիկական բնութագրերից պարզ է դառնում, որ AMD-ից ստացված չիպը մեզ թույլ կտա պահպանել նույն քանակությամբ միջուկներ՝ միաժամանակ նվազեցնելով TDP-ն: 9-րդ սերունդն ուներ մեկ միջուկի TDP 6,25 Վտ, իսկ X-րդ սերունդը՝ 4,69 Վտ: Նվազեցվել է 25%-ով։ Ավելացված հաճախականության և, հավանաբար, մեկ վարդակից ավելի պարզ դիզայնի շնորհիվ կարելի է ենթադրել, որ AMD չիպը գործնականում ավելի լավ կգործի: Ներկայումս մենք իրականացնում ենք տարբեր թեստեր և սիմուլյացիաներ՝ տեսնելու, թե որքանով ավելի լավ կգործի AMD-ը:
Առայժմ նկատենք, որ TDP-ն արտադրողի բնութագրերից պարզեցված չափիչ է, որը մենք օգտագործել ենք սերվերի նախագծման և պրոցեսորի ընտրության վաղ փուլերում: Google-ի արագ որոնումը ցույց է տալիս, որ AMD-ն և Intel-ը տարբեր մոտեցումներ ունեն TDP-ի սահմանման հարցում՝ ճշգրտումը դարձնելով անվստահելի: Պրոցեսորի իրական էներգիայի սպառումը, և ավելի կարևոր է սերվերի էներգիայի սպառումը, այն է, ինչ մենք իրականում օգտագործում ենք մեր վերջնական որոշում կայացնելիս:
Էկոհամակարգի պատրաստվածություն
Մեր հաջորդ պրոցեսորն ընտրելու մեր ճանապարհորդությունը սկսելու համար մենք դիտարկեցինք տարբեր արտադրողների պրոցեսորների լայն տեսականի, որոնք լավ տեղավորվում էին մեր ծրագրային փաթեթի և ծառայությունների համար (գրված C, LuaJIT և Go-ում): Մենք արդեն մանրամասն նկարագրել ենք արագությունը չափելու գործիքների հավաքածու . Այս դեպքում մենք օգտագործեցինք նույն հավաքածուն. դա մեզ թույլ է տալիս ողջամիտ ժամկետում գնահատել պրոցեսորի արդյունավետությունը, որից հետո մեր ինժեներները կարող են սկսել մեր ծրագրերը հարմարեցնել կոնկրետ պրոցեսորին:
Մենք փորձարկել ենք մի շարք պրոցեսորներ՝ տարբեր միջուկների քանակով, վարդակների քանակով և հաճախականությամբ: Քանի որ այս հոդվածն այն մասին է, թե ինչու մենք որոշեցինք AMD EPYC 7642-ը, այս բլոգի բոլոր գծապատկերները կենտրոնացած են այն բանի վրա, թե ինչպես են AMD պրոցեսորները կատարում Intel Xeon Platinum 6162-ի համեմատ: .
Արդյունքները համապատասխանում են մեկ սերվերի չափումների յուրաքանչյուր պրոցեսորի տարբերակով, այսինքն՝ երկու 24 միջուկային պրոցեսորով Intel-ից կամ մեկ 48 միջուկանի պրոցեսորով AMD-ով (սերվեր Intel-ի համար երկու վարդակից և սերվեր AMD EPYC-ով մեկով): BIOS-ում մենք սահմանում ենք գործող սերվերներին համապատասխանող պարամետրեր։ AMD-ի համար սա 3,03 ԳՀց է, իսկ Intel-ի համար՝ 2,5 ԳՀց: Շատ պարզեցնելով՝ մենք ակնկալում ենք, որ նույն քանակությամբ միջուկներով AMD-ն 21%-ով ավելի լավ կաշխատի, քան Intel-ը:
Գաղտնագրություն
դրամի համար խոստումնալից տեսք ունի: Այն 18%-ով ավելի լավ է աշխատում հանրային բանալիների գաղտնագրության վրա: Սիմետրիկ բանալիով այն կորցնում է AES-128-GCM գաղտնագրման տարբերակները, բայց ընդհանուր առմամբ համեմատելի է:
Սեղմում
Եզրային սերվերների վրա մենք սեղմում ենք շատ տվյալներ, որպեսզի խնայենք թողունակությունը և մեծացնենք բովանդակության առաքման արագությունը: Մենք փոխանցում ենք տվյալները C գրադարանների միջոցով՝ zlib և brotli: Բոլոր թեստերն իրականացվել են հիշողության մեջ գտնվող blog.cloudflare.com HTML ֆայլի վրա:
դրամ շահել է միջինը 29% gzip-ի օգտագործման ժամանակ։ Բրոտլիի դեպքում արդյունքներն ավելի լավն են 7 որակի թեստերի վրա, որոնք մենք օգտագործում ենք դինամիկ սեղմման համար։ Brotli-9 թեստի վրա կտրուկ անկում է նկատվում. մենք դա բացատրում ենք նրանով, որ Brotli-ն շատ հիշողություն է սպառում և հորդում է քեշը: Սակայն դրամը շահում է մեծ տարբերությամբ։
Մեր ծառայություններից շատերը գրված են Go-ում: Հետևյալ գրաֆիկներում մենք կրկնակի ստուգում ենք գաղտնագրման և սեղմման արագությունը Go-ում RegExp-ով 32 ԿԲ տողերի վրա՝ օգտագործելով տողերի գրադարանը:
Գնացեք կրիպտոգրաֆիա
Գնալ սեղմում
Գնացեք Regexp
Գնալ Strings
AMD-ն ավելի լավ է հանդես գալիս Go-ի հետ բոլոր թեստերում, բացառությամբ ECDSA P256 Sign-ի, որտեղ այն զիջում էր 38%-ով, ինչը տարօրինակ է, հաշվի առնելով, որ այն 24%-ով ավելի լավ է կատարել C-ում: Արժե պարզել, թե ինչ է կատարվում այնտեղ: Ընդհանուր առմամբ, դրամը շատ չի շահում, բայց դեռ ցույց է տալիս լավագույն արդյունքները:
LuaJIT
Մենք հաճախ օգտագործում ենք LuaJIT-ը ստեկի վրա: Սա այն սոսինձն է, որը պահում է Cloudflare-ի բոլոր մասերը: Եվ մենք ուրախ ենք, որ այստեղ էլ հաղթեց դրամը:
Ընդհանուր առմամբ, թեստերը ցույց են տալիս, որ EPYC 7642-ն ավելի լավ է աշխատում, քան երկու Xeon Platinum 6162: AMD-ը կորցնում է մի քանի թեստերի դեպքում, օրինակ՝ AES-128-GCM և Go OpenSSL ECDSA-P256 Sign-ը, բայց հաղթում է բոլոր մյուսների դեպքում, միջին հաշվով: 25%-ից:
Աշխատանքային ծանրաբեռնվածության մոդելավորում
Մեր արագ փորձարկումներից հետո մենք սերվերներն անցկացրեցինք սիմուլյացիաների մեկ այլ փաթեթի միջոցով, որոնցում սինթետիկ բեռը կիրառվում է ծրագրային ապահովման եզրային փաթեթի վրա: Այստեղ մենք մոդելավորում ենք սցենարի ծանրաբեռնվածություն տարբեր տեսակի հարցումներով, որոնք կարող են հանդիպել իրական աշխատանքում: Հարցումները տարբերվում են տվյալների ծավալով, HTTP կամ HTTPS արձանագրություններով, WAF աղբյուրներով, Workers-ով և այլ բազմաթիվ փոփոխականներով: Ստորև ներկայացված է երկու պրոցեսորների թողունակության համեմատությունը այն տեսակի հարցումների համար, որոնց մենք առավել հաճախ հանդիպում ենք:
Արդյունքները գծապատկերում չափվում են 9-րդ սերնդի Intel-ի վրա հիմնված մեքենաների բազային գծի համեմատ, որոնք նորմալացված են x առանցքի վրա 1,0 արժեքով: Օրինակ, HTTPS-ի միջոցով պարզ 10 KiB հարցումներ ընդունելով, մենք կարող ենք տեսնել, որ AMD-ը 1,5 անգամ ավելի լավ է անում, քան Intel-ը վայրկյանում հարցումների առումով: Միջին հաշվով, AMD-ն այս թեստերի համար կատարել է 34%-ով ավելի լավ, քան Intel-ը: Հաշվի առնելով, որ մեկ AMD EPYC 7642-ի համար TDP-ն 225 Վտ է, իսկ երկու Intel պրոցեսորների համար՝ 300 Վտ, պարզվում է, որ «մեկ վատ-ի հարցում» ՀՀ դրամը ցույց է տալիս 2 անգամ ավելի լավ արդյունք, քան Intel-ը:
Այս պահին մենք արդեն հստակորեն հակված էինք AMD EPYC 7642-ի մեկ վարդակից տարբերակին՝ որպես մեր ապագա Gen X պրոցեսորների: Մեզ շատ հետաքրքրում էր տեսնել, թե ինչպես կգործեն AMD EPYC սերվերները իրական աշխարհում, և մենք անմիջապես ուղարկեցինք մի քանիսը: սերվերներ որոշ տվյալների կենտրոններից:
Իրական աշխատանք
Առաջին քայլը, բնականաբար, սերվերների իրական պայմաններում աշխատանքի պատրաստումն էր։ Մեր նավատորմի բոլոր մեքենաներն աշխատում են նույն գործընթացներով և ծառայություններով, ինչը հիանալի հնարավորություն է տալիս ճիշտ համեմատել աշխատանքը: Ինչպես տվյալների կենտրոններից շատերը, մենք ունենք մի քանի սերունդ սերվերներ, և մենք հավաքում ենք մեր սերվերները կլաստերների մեջ, որպեսզի յուրաքանչյուր դաս պարունակի մոտավորապես նույն սերունդների սերվերներ: Որոշ դեպքերում դա կարող է հանգեցնել վերամշակման կորերի, որոնք տարբերվում են կլաստերների միջև: Բայց ոչ մեզ հետ։ Մեր ինժեներները օպտիմիզացրել են պրոցեսորի օգտագործումը բոլոր սերունդների համար, այնպես որ, անկախ նրանից, թե կոնկրետ մեքենայի պրոցեսորն ունի 8 միջուկ, թե 24, պրոցեսորի օգտագործումը հիմնականում նույնն է, ինչ մնացածը:
Գրաֆիկը ցույց է տալիս մեր մեկնաբանությունը օգտագործման նմանության վերաբերյալ. էական տարբերություն չկա Gen X սերնդի սերվերներում AMD պրոցեսորների օգտագործման և Gen 9 սերնդի սերվերներում Intel պրոցեսորների օգտագործման միջև: Սա նշանակում է, որ թեստային և թեստային սերվերները բեռնված են հավասարապես: . Հիանալի: Սա հենց այն է, ինչին մենք ձգտում ենք մեր սերվերներում, և դա մեզ անհրաժեշտ է արդար համեմատության համար: Ստորև բերված երկու գրաֆիկները ցույց են տալիս մեկ պրոցեսորի միջուկի և սերվերի մակարդակի բոլոր միջուկների կողմից մշակված հարցումների քանակը:
Հարցումներ մեկ միջուկի համար
Հարցումներ սերվերին
Երևում է, որ միջին հաշվով ՀՀ դրամը 23%-ով ավելի շատ հարցում է մշակում։ Ամենևին էլ վատ չէ: Մենք հաճախ ենք գրել մեր բլոգում Gen 9-ի արդյունավետությունը բարձրացնելու ուղիների մասին: Եվ հիմա մենք ունենք նույն քանակությամբ միջուկներ, բայց AMD-ն ավելի շատ աշխատանք է կատարում ավելի քիչ էներգիայով: Միջուկների քանակի և TDP-ի բնութագրերից անմիջապես պարզ է դառնում, որ AMD-ն ապահովում է ավելի մեծ արագություն ավելի մեծ էներգաարդյունավետությամբ:
Բայց ինչպես արդեն նշեցինք, TDP-ն ստանդարտ հատկանիշ չէ և բոլոր արտադրողների համար նույնը չէ, ուստի եկեք նայենք էներգիայի իրական օգտագործմանը: Չափելով սերվերի էներգիայի սպառումը վայրկյանում հարցումների քանակին զուգահեռ՝ ստացանք հետևյալ գրաֆիկը.
Ելնելով ծախսված վտ-ի մեկ վայրկյանում պահանջների հիման վրա՝ AMD պրոցեսորներով աշխատող Gen X սերվերները 28%-ով ավելի արդյունավետ են: Կարելի էր ավելին ակնկալել, հաշվի առնելով, որ դրամի TDP-ն 25%-ով ցածր է, սակայն պետք է հիշել, որ TDP-ն ոչ միանշանակ բնութագիր է: Մենք տեսանք, որ ՀՀ դրամի փաստացի էներգիայի սպառումը գրեթե նույնական է նշված TDP-ին բազայինից շատ ավելի բարձր հաճախականություններում. Intel-ը դա չունի: Սա ևս մեկ պատճառ է, թե ինչու TDP-ն էներգիայի սպառման հուսալի գնահատական չէ: Intel-ի պրոցեսորները մեր Gen 9 սերվերներում ինտեգրված են բազմահանգույցային համակարգում, մինչդեռ AMD-ի պրոցեսորները գործում են ստանդարտ 1U ձևաչափ սերվերներում: Սա AMD-ի օգտին չէ, քանի որ բազմահանգույց սերվերները պետք է ապահովեն ավելի մեծ խտություն՝ մեկ հանգույցի համար ավելի քիչ էներգիայի սպառմամբ, բայց AMD-ն այնուամենայնիվ առաջ է անցել Intel-ից մեկ հանգույցի էներգիայի սպառման առումով:
Տեխնիկական բնութագրերի, փորձարկման սիմուլյացիաների և իրական աշխատանքի համեմատության մեծ մասում 1P AMD EPYC 7642 կոնֆիգուրացիան զգալիորեն ավելի լավ է գործել, քան 2P Intel Xeon 6162-ը: Որոշ պայմաններում AMD-ն կարող է մինչև 36% ավելի լավ գործել, և մենք կարծում ենք, որ օպտիմալացնելով: ապարատային և ծրագրային ապահովում, մենք կարող ենք շարունակական հիմունքներով հասնել այս բարելավմանը:
դրամ է ստացվել.
Լրացուցիչ գրաֆիկները ցույց են տալիս միջին ուշացումն ու p99 հետաձգումը, որն աշխատում է NGINX 24 ժամվա ընթացքում: Միջին հաշվով, դրամով պրոցեսներն ավելի արագ են ընթացել 25%-ով։ P99-ում այն աշխատում է 20-50%-ով ավելի արագ՝ կախված օրվա ժամից:
Ամփոփում
Cloudflare-ի Hardware and Performance ինժեներները զգալի քանակությամբ թեստավորում և հետազոտություն են կատարում՝ մեր հաճախորդների համար լավագույն սերվերի կոնֆիգուրացիան որոշելու համար: Մենք սիրում ենք աշխատել այստեղ, քանի որ կարող ենք լուծել նման մեծ խնդիրներ, և մենք կարող ենք օգնել ձեզ լուծել ձեր խնդիրները այնպիսի ծառայությունների հետ, ինչպիսիք են առանց սերվերի եզրային հաշվարկները և անվտանգության լուծումների մի շարք, ինչպիսիք են Magic Transit-ը, Argo Tunnel-ը և DDoS պաշտպանությունը: Cloudflare ցանցի բոլոր սերվերները կազմաձևված են հուսալի գործելու համար, և մենք միշտ փորձում ենք սերվերների յուրաքանչյուր հաջորդ սերունդ ավելի լավը դարձնել, քան նախորդը: Մենք հավատում ենք, որ AMD EPYC 7642-ը պատասխանն է, երբ խոսքը վերաբերում է Gen X պրոցեսորներին:
Օգտագործելով Cloudflare Workers-ը, մշակողները տեղակայում են իրենց հավելվածները մեր ընդլայնվող ցանցում ամբողջ աշխարհում: Մենք հպարտ ենք, որ թույլ ենք տալիս մեր հաճախորդներին կենտրոնանալ կոդ գրելու վրա, մինչդեռ մենք կենտրոնանում ենք ամպի անվտանգության և հուսալիության վրա: Եվ այսօր մենք էլ ավելի ուրախ ենք տեղեկացնել, որ նրանց աշխատանքը կտեղակայվի մեր Gen X սերնդի սերվերների վրա, որոնք աշխատում են երկրորդ սերնդի AMD EPYC պրոցեսորներով:
EPYC 7642 պրոցեսորներ, ծածկանունը «Rome» [Rome]
Օգտագործելով AMD-ի EPYC 7642-ը, մենք կարողացանք բարձրացնել մեր կատարողականությունը և հեշտացնել մեր ցանցի ընդլայնումը դեպի նոր քաղաքներ: Հռոմը մեկ օրում չի կառուցվել, բայց շուտով այն ավելի մոտ կլինի ձեզանից շատերին:
Վերջին մի քանի տարիների ընթացքում մենք փորձարկել ենք Intel-ի և AMD-ի բազմաթիվ x86 չիպեր, ինչպես նաև ARM-ի պրոցեսորներ: Մենք ակնկալում ենք, որ այս պրոցեսոր արտադրողները կշարունակեն աշխատել մեզ հետ ապագայում, որպեսզի մենք բոլորս միասին կարողանանք կառուցել ավելի լավ ինտերնետ:
Source: www.habr.com