Cloudflare는 XNUMX세대 에지 서버용으로 AMD 프로세서를 선택합니다.

매일 11억 개가 넘는 고유 IP 주소가 Cloudflare 네트워크를 통과합니다. 초당 100만 개 이상의 HTTP 요청을 처리합니다. 그녀는 인터넷 인구의 95%로부터 200ms 이내에 있습니다. 우리의 네트워크는 90개국 XNUMX개 도시에 걸쳐 있으며 우리 엔지니어 팀은 매우 빠르고 안정적인 인프라를 구축했습니다.

우리는 우리의 업무에 큰 자부심을 갖고 있으며 인터넷을 더 좋고 안전한 곳으로 만들기 위해 최선을 다하고 있습니다. Cloudflare의 하드웨어 엔지니어는 서버와 해당 구성 요소에 대해 깊은 이해를 갖고 있어 성능을 극대화할 수 있는 최고의 하드웨어를 이해하고 선택합니다.

우리의 소프트웨어 스택은 고부하 컴퓨팅을 처리하고 CPU 의존도가 높기 때문에 엔지니어는 스택의 모든 수준에서 Cloudflare의 효율성과 안정성을 지속적으로 최적화해야 합니다. 서버 측에서 처리 능력을 높이는 가장 쉬운 방법은 CPU 코어를 추가하는 것입니다. 서버에 수용할 수 있는 코어가 많을수록 더 많은 데이터를 처리할 수 있습니다. 시간이 지남에 따라 제품과 클라이언트의 다양성이 증가하고 요청이 증가함에 따라 서버의 성능도 향상되어야 하기 때문에 이는 우리에게 중요합니다. 성능을 높이려면 코어 밀도를 높여야 했고, 이것이 바로 우리가 달성한 것입니다. 아래에서는 코어 수를 포함하여 2015년 이후 배포한 서버용 프로세서에 대한 자세한 데이터를 제공합니다.

-
Gen 6
Gen 7
Gen 8
Gen 9

시작하기
2015
2016
2017
2018

CPU
인텔 제온 E5-2630 v3
인텔 제온 E5-2630 v4
인텔 제온 실버 4116
인텔 제온 플래티넘 6162

물리적 코어
2 x 8
2 x 10
2 x 12
2 x 24

TDP
2 X 85W
2 X 85W
2 X 85W
2 X 150W

코어당 TDP
10.65W
8.50W
7.08W
6.25W

2018년에는 Gen 9를 통해 서버당 총 코어 수가 크게 도약했습니다. 33세대 대비 환경에 미치는 영향이 8% 감소해 랙당 용량과 컴퓨팅 성능을 높일 수 있는 기회를 얻었습니다. 열 방출을 위한 설계 요구 사항(열 설계 전력, TDP)를 언급하여 시간이 지남에 따라 에너지 효율성도 향상되었음을 강조합니다. 이 지표는 우리에게 중요합니다. 첫째, 우리는 대기 중으로 탄소를 덜 배출하기를 원합니다. 둘째, 우리는 데이터 센터의 에너지를 최대한 활용하고 싶습니다. 그러나 우리는 노력해야 할 것이 있다는 것을 알고 있습니다.

우리의 주요 정의 지표는 와트당 요청 수입니다. 코어를 추가하여 초당 요청 수를 늘릴 수 있지만 전력 예산 내에서 유지해야 합니다. 우리는 선택한 배전 모듈과 함께 각 서버 랙에 대해 특정 상한선을 제공하는 데이터 센터 전력 인프라에 의해 제한됩니다. 랙에 서버를 추가하면 전력 소비가 늘어납니다. 랙당 에너지 제한을 초과하여 새 랙을 추가해야 하면 운영 비용이 크게 증가합니다. 동일한 전력 소비 범위 내에서 처리 능력을 높여야 합니다. 그러면 핵심 지표인 와트당 요청 수가 늘어납니다.

짐작하셨겠지만 우리는 설계 단계부터 에너지 소비를 면밀히 연구했습니다. 위 표는 코어당 TDP가 현재 세대보다 높을 경우 더 많은 에너지를 소비하는 CPU를 배포하는 데 시간을 낭비해서는 안 된다는 것을 보여줍니다. 이는 와트당 요청 측정항목에 부정적인 영향을 미치게 됩니다. 우리는 시장에 나와 있는 X세대를 위한 즉시 실행 가능한 시스템을 주의 깊게 연구하고 결정을 내렸습니다. 우리는 48코어 Intel Xeon Platinum 6162 듀얼 소켓 디자인에서 48코어 AMD EPYC 7642 단일 소켓 디자인으로 전환하고 있습니다.

-
인텔
AMD

CPU
제온 플래티넘 6162
EPYC 7642

마이크로아키텍처
"스카이레이크"
"젠2"

코드 네임
“스카이레이크 SP”
“로마”

기술 프로세스
14nm
7nm

코어
2 x 24
48

주파수
1.9 GHz
2.4 GHz

L3 캐시/소켓
24 x 1.375MiB
16 x 16MiB

메모리/소켓
6개 채널, 최대 DDR4-2400
8개 채널, 최대 DDR4-3200

TDP
2 X 150W
225W

PCIe/소켓
48 래인
128 래인

ISA
x86-64
x86-64

사양에 따르면 AMD의 칩을 사용하면 TDP를 낮추면서 동일한 수의 코어를 유지할 수 있다는 것이 분명합니다. 9세대는 코어당 TDP가 6,25W, X세대는 4,69W가 됩니다. 25% 감소했습니다. 증가된 주파수와 하나의 소켓으로 더욱 단순한 디자인 덕분에 AMD 칩이 실제로 더 나은 성능을 발휘할 것이라고 가정할 수 있습니다. 우리는 현재 AMD가 얼마나 더 나은 성능을 발휘할지 알아보기 위해 다양한 테스트와 시뮬레이션을 실행하고 있습니다.

지금은 TDP가 서버 설계 및 CPU 선택의 초기 단계에서 사용했던 제조업체 사양의 단순화된 측정항목이라는 점을 알아두겠습니다. 빠른 Google 검색을 통해 AMD와 Intel이 TDP를 정의하는 데 서로 다른 접근 방식을 사용하여 사양을 신뢰할 수 없게 만드는 것으로 나타났습니다. 실제 CPU 전력 소비, 그리고 더 중요한 것은 서버 전력 소비는 우리가 최종 결정을 내릴 때 실제로 사용하는 것입니다.

생태계 준비

다음 프로세서를 선택하기 위한 여정을 시작하기 위해 우리는 소프트웨어 스택 및 서비스(C, LuaJIT 및 Go로 작성됨)에 적합한 다양한 제조업체의 다양한 CPU를 살펴보았습니다. 우리는 이미 속도 측정 도구 세트에 대해 자세히 설명했습니다. 우리 블로그 기사 중 하나에서. 이 경우 우리는 동일한 세트를 사용했습니다. 이를 통해 합리적인 시간에 CPU의 효율성을 평가할 수 있으며 그 후에 엔지니어는 프로그램을 특정 프로세서에 맞게 조정할 수 있습니다.

우리는 다양한 코어 수, 소켓 수 및 주파수를 사용하여 다양한 프로세서를 테스트했습니다. 이 기사는 우리가 AMD EPYC 7642를 선택한 이유에 대한 것이므로 이 블로그의 모든 차트는 Intel Xeon Platinum 6162와 비교하여 AMD 프로세서의 성능에 중점을 두고 있습니다. 우리 9세대.

결과는 각 프로세서 변형이 있는 단일 서버, 즉 Intel의 24코어 프로세서 48개 또는 AMD의 3,03코어 프로세서 2,5개(소켓이 21개인 Intel용 서버와 소켓이 XNUMX개인 AMD EPYC용 서버)를 사용하는 단일 서버의 측정값에 해당합니다. . BIOS에서는 실행 중인 서버에 해당하는 매개변수를 설정합니다. AMD의 경우 XNUMXGHz, Intel의 경우 XNUMXGHz입니다. 크게 단순화하면 동일한 코어 수로 AMD가 Intel보다 XNUMX% 더 나은 성능을 발휘할 것으로 예상됩니다.

암호화

AMD에게는 유망해 보입니다. 공개 키 암호화에서 18% 더 나은 성능을 발휘합니다. 대칭 키를 사용하면 AES-128-GCM 암호화 옵션에 비해 성능이 떨어지지만 전반적인 성능은 비슷합니다.

압축

엣지 서버에서는 대역폭을 절약하고 콘텐츠 전달 속도를 높이기 위해 많은 데이터를 압축합니다. C 라이브러리 zlib 및 brotli를 통해 데이터를 전달합니다. 모든 테스트는 메모리에 있는 blog.cloudflare.com HTML 파일에서 실행되었습니다.

AMD는 gzip을 사용할 때 평균 29%의 승리를 거두었습니다. brotli의 경우 동적 압축에 사용하는 품질 7의 테스트에서 결과가 훨씬 더 좋습니다. brotli-9 테스트에서는 급격한 하락이 있었습니다. Brotli가 많은 메모리를 소비하고 캐시를 오버플로한다는 사실로 이를 설명합니다. 그러나 AMD는 큰 차이로 승리합니다.

우리 서비스의 대부분은 Go로 작성되었습니다. 다음 그래프에서는 문자열 라이브러리를 사용하여 32KB 라인에서 RegExp를 사용하여 Go의 암호화 및 압축 속도를 다시 확인합니다.

암호화로 이동

압축으로 이동

정규식으로 이동

Go 문자열

AMD는 ECDSA P256 Sign을 제외하고 Go를 사용한 모든 테스트에서 더 나은 성능을 보였습니다. ECDSA P38 Sign은 24% 뒤쳐졌습니다. C에서 XNUMX% 더 나은 성능을 발휘했다는 점을 고려하면 이상한 일입니다. 거기에서 무슨 일이 일어나고 있는지 알아낼 가치가 있습니다. 전반적으로 AMD는 많이 승리하지는 못했지만 여전히 최고의 결과를 보여줍니다.

루아짓

우리는 스택에 LuaJIT를 자주 사용합니다. 이는 Cloudflare의 모든 부분을 하나로 묶는 접착제입니다. 그리고 우리는 AMD가 여기서도 승리한 것을 기쁘게 생각합니다.

전반적으로 테스트 결과 EPYC 7642는 두 개의 Xeon Platinum 6162보다 성능이 더 나은 것으로 나타났습니다. AMD는 AES-128-GCM 및 Go OpenSSL ECDSA-P256 Sign과 같은 몇 가지 테스트에서 패했지만 다른 모든 테스트에서는 평균적으로 승리했습니다. 25% .

워크로드 시뮬레이션

빠른 테스트를 마친 후 소프트웨어 에지 스택에 합성 부하가 적용되는 또 다른 시뮬레이션 세트를 통해 서버를 실행했습니다. 여기서는 실제 작업에서 발생할 수 있는 다양한 유형의 요청을 사용하여 시나리오 워크로드를 시뮬레이션합니다. 요청은 데이터 볼륨, HTTP 또는 HTTPS 프로토콜, WAF 소스, 작업자 및 기타 다양한 변수에 따라 다릅니다. 다음은 가장 자주 발생하는 요청 유형에 대한 두 CPU의 처리량을 비교한 것입니다.

차트의 결과는 9세대 Intel 기반 컴퓨터의 기준선을 기준으로 측정되었으며 x축 값 1,0으로 정규화되었습니다. 예를 들어, HTTPS를 통해 간단한 10KiB 요청을 수행하면 초당 요청 측면에서 AMD가 Intel보다 1,5배 더 나은 성능을 발휘한다는 것을 알 수 있습니다. 평균적으로 AMD는 이러한 테스트에서 Intel보다 34% 더 나은 성능을 보였습니다. 단일 AMD EPYC 7642의 TDP가 225W이고 두 개의 Intel 프로세서의 경우 300W라는 점을 고려하면 "와트당 요청 수" 측면에서 AMD는 Intel보다 2배 더 나은 결과를 보여주는 것으로 나타났습니다!

이 시점에서 우리는 이미 미래의 Gen X CPU로 AMD EPYC 7642의 단일 소켓 옵션으로 기울고 있었습니다. 우리는 AMD EPYC 서버가 실제 작업에서 어떻게 수행될지 매우 관심이 있었고 즉시 여러 가지를 보냈습니다. 데이터 센터에서 일부 서버로.

실제 작업

당연히 첫 번째 단계는 실제 조건에서 작동할 수 있도록 서버를 준비하는 것이었습니다. 우리 회사의 모든 기계는 동일한 프로세스와 서비스로 작동하므로 성능을 정확하게 비교할 수 있는 훌륭한 기회를 제공합니다. 대부분의 데이터 센터와 마찬가지로 우리는 여러 세대의 서버를 배포했으며 각 클래스에 거의 동일한 세대의 서버가 포함되도록 서버를 클러스터로 수집합니다. 경우에 따라 클러스터 간에 재활용 곡선이 달라질 수 있습니다. 하지만 우리는 그렇지 않습니다. 우리 엔지니어들은 특정 컴퓨터의 CPU 코어가 8개인지 24개인지에 관계없이 일반적으로 CPU 활용도가 나머지와 동일하도록 모든 세대에 걸쳐 CPU 활용도를 최적화했습니다.

그래프는 활용도의 유사성에 대한 우리의 의견을 보여줍니다. Gen X 세대 서버의 AMD CPU 사용과 Gen 9 세대 서버의 Intel 프로세서 사용 간에는 큰 차이가 없습니다. 이는 테스트 서버와 기본 서버가 모두 동일하게 로드된다는 것을 의미합니다. . 엄청난. 이것이 바로 우리가 서버에서 추구하는 바이며 공정한 비교를 위해 이것이 필요합니다. 아래 두 그래프는 서버 수준에서 하나의 CPU 코어와 모든 코어가 처리하는 요청 수를 보여줍니다.

코어당 요청

서버에 대한 요청

평균적으로 AMD가 23% 더 많은 요청을 처리하는 것을 볼 수 있습니다. 나쁘지 않아! 우리는 Gen 9의 성능을 높이는 방법에 대해 블로그에 자주 글을 썼습니다. 그리고 이제 우리는 동일한 수의 코어를 가지고 있지만 AMD는 더 적은 전력으로 더 많은 작업을 수행합니다. AMD가 더 높은 에너지 효율성으로 더 빠른 속도를 제공한다는 것은 코어 수와 TDP 사양을 보면 즉시 알 수 있습니다.

하지만 앞서 말씀드린 것처럼 TDP는 표준사양도 아니고 모든 제조사가 동일하게 사용하는 것도 아니므로 실제 에너지 사용량을 살펴보겠습니다. 초당 요청 수와 병행하여 서버의 에너지 소비를 측정하여 다음 그래프를 얻었습니다.

소비된 와트당 초당 요청을 기준으로 AMD 프로세서에서 실행되는 Gen X 서버는 28% 더 효율적입니다. AMD의 TDP가 25% 낮다는 점을 감안하면 더 많은 것을 기대할 수 있지만 TDP는 모호한 특성이라는 점을 기억해야 합니다. 우리는 AMD의 실제 전력 소비가 기본보다 훨씬 높은 주파수에서 명시된 TDP와 거의 동일하다는 것을 확인했습니다. 인텔에는 그런 기능이 없습니다. 이것이 TDP가 신뢰할 수 있는 에너지 소비 추정치가 아닌 또 다른 이유입니다. Gen 9 서버의 Intel CPU는 다중 노드 시스템에 통합되어 있는 반면, AMD의 CPU는 표준 1U 폼 팩터 서버에서 작동합니다. 멀티노드 서버는 노드당 더 적은 전력 소비로 더 높은 밀도를 제공해야 하기 때문에 이는 AMD에게 유리하지 않습니다. 하지만 AMD는 여전히 노드당 전력 소비 측면에서 Intel을 능가했습니다.

사양, 테스트 시뮬레이션 및 실제 성능에 대한 대부분의 비교에서 1P AMD EPYC 7642 구성은 2P Intel Xeon 6162보다 훨씬 더 나은 성능을 보였습니다. 일부 조건에서는 AMD가 최대 36% 더 나은 성능을 발휘할 수 있으며, 우리는 이를 최적화함으로써 하드웨어와 소프트웨어를 통해 우리는 지속적으로 이러한 개선을 달성할 수 있습니다.

AMD가 승리한 것으로 나타났습니다.

추가 그래프는 99시간 동안 NGINX를 실행하는 평균 대기 시간과 p24 대기 시간을 보여줍니다. 평균적으로 AMD의 프로세스는 25% 더 빠르게 실행되었습니다. p99에서는 시간에 따라 20-50% 더 빠르게 실행됩니다.

결론

Cloudflare의 하드웨어 및 성능 엔지니어는 고객에게 가장 적합한 서버 구성을 결정하기 위해 상당한 양의 테스트와 연구를 수행합니다. 우리는 이와 같은 큰 문제를 해결할 수 있기 때문에 여기서 일하는 것을 좋아하며 서버리스 엣지 컴퓨팅과 같은 서비스와 Magic Transit, Argo Tunnel 및 DDoS 보호와 같은 다양한 보안 솔루션으로 문제를 해결하는 데 도움을 줄 수 있습니다. Cloudflare 네트워크의 모든 서버는 안정적으로 작동하도록 구성되어 있으며, 우리는 항상 이전 세대보다 더 나은 차세대 서버를 만들기 위해 노력하고 있습니다. 우리는 AMD EPYC 7642가 Gen X 프로세서에 대한 해답이라고 믿습니다.

Cloudflare Workers를 사용하여 개발자는 전 세계적으로 확장되는 네트워크에 애플리케이션을 배포합니다. 우리는 클라우드의 보안과 안정성에 집중하는 동안 고객이 코드 작성에 집중할 수 있게 된 것을 자랑스럽게 생각합니다. 그리고 오늘 우리는 그들의 작업이 XNUMX세대 AMD EPYC 프로세서를 실행하는 Gen X 세대 서버에 배포될 것이라고 발표하게 되어 더욱 기쁩니다.

EPYC 7642 프로세서, 코드명 "Rome" [로마]

AMD의 EPYC 7642를 사용함으로써 우리는 성능을 향상시키고 네트워크를 새로운 도시로 확장하는 것을 더 쉽게 만들 수 있었습니다. 로마는 하루아침에 건설되지 않았지만 곧 많은 분들에게 더 가까워질 것입니다.

지난 몇 년 동안 우리는 Intel과 AMD의 많은 x86 칩과 ARM의 프로세서를 실험해 왔습니다. 우리는 이러한 CPU 제조업체들이 앞으로도 우리와 계속 협력하여 우리 모두가 더 나은 인터넷을 함께 구축할 수 있기를 기대합니다.

출처 : habr.com