랙 전반의 서버 배포 최적화

채팅 중 하나에서 다음과 같은 질문을 받았습니다.

— 서버를 랙에 올바르게 포장하는 방법에 대해 읽을 수 있는 내용이 있습니까?

나는 그런 텍스트를 모른다는 것을 깨닫고 직접 썼습니다.

첫째, 이 텍스트는 물리적 데이터 센터(DC)의 물리적 서버에 관한 것입니다. 둘째, 우리는 수십만 대에 이르는 꽤 많은 서버가 있다고 생각합니다. 더 적은 수의 경우 이 텍스트는 의미가 없습니다. 셋째, 랙의 물리적 공간, 랙당 전원 공급 장치, 랙을 열로 세워 하나의 ToR 스위치를 사용하여 인접한 랙의 서버를 연결할 수 있다는 세 가지 제약 조건이 있다고 생각합니다.

질문에 대한 대답은 우리가 최적화하는 매개 변수와 최상의 결과를 얻기 위해 무엇을 변경할 수 있는지에 따라 크게 달라집니다. 예를 들어, 추가 성장을 위해 더 많은 공간을 남겨두려면 최소한의 공간만 차지하면 됩니다. 또는 랙 높이, 랙당 전력, PDU의 소켓, 스위치 그룹의 랙 수(랙 1개, 2개 또는 3개에 스위치 10개), 전선 길이 및 당김 작업( 이는 행의 끝에서 매우 중요합니다. 행에 3개의 랙이 있고 스위치당 XNUMX개의 랙이 있는 경우 전선을 다른 행으로 당기거나 스위치의 포트를 적게 사용해야 합니다. 별도의 스토리: 서버 선택 및 DC 선택이 선택되었다고 가정합니다.

특히 서버의 평균/최대 소비량, 전기가 우리에게 공급되는 방식 등의 미묘한 차이와 세부 사항을 이해하는 것이 좋을 것입니다. 따라서 230V의 러시아 전원 공급 장치와 랙당 32개의 위상이 있는 경우 7A 기계는 ~6kW를 처리할 수 있습니다. 명목상으로 랙당 10kW를 지불한다고 가정해 보겠습니다. 공급자가 각 랙이 아닌 7개의 랙 행에 대해서만 소비를 측정하고 기계가 조건부로 6.9kW 컷오프로 설정된 경우 기술적으로 단일 랙에서는 5.1kW, 다른 랙에서는 XNUMXkW를 소비할 수 있습니다. 모든 것이 괜찮을 것입니다 - 처벌받을 수는 없습니다.

일반적으로 우리의 주요 목표는 비용을 최소화하는 것입니다. 가장 좋은 측정 기준은 TCO(총 소유 비용) 감소입니다. 이는 다음과 같은 부분으로 구성됩니다.

• CAPEX: DC 인프라, 서버, 네트워크 하드웨어 및 케이블 구매
• OPEX: DC 임대, 전력 소비, 유지 관리. OPEX는 서비스 수명에 따라 달라집니다. 3년으로 보는 것이 타당하다.

전체 파이에서 개별 조각의 크기에 따라 가장 비용이 많이 드는 부분을 최적화하고 나머지 부분은 나머지 리소스를 최대한 효율적으로 사용하도록 해야 합니다.

기존 DC가 있고 랙 높이가 H 단위(예: H=47)이고 랙당 전력(Prack=6kW)이 있으며 h=2U 2유닛 서버를 사용하기로 결정했다고 가정해 보겠습니다. 스위치, 패치 패널 및 정리함을 위해 랙에서 4..2개 장치를 제거합니다. 저것들. 물리적으로 랙에 Sh=rounddown((H-4..47)/h) 서버가 있습니다(예: Sh = rounddown((4-2)/21)=랙당 XNUMX개의 서버). 이것을 기억하자 Sh.

간단한 경우 랙의 모든 서버는 동일합니다. 전체적으로 랙을 서버로 채우면 각 서버에서 평균 전력 Pserv=Prack/Sh(Pserv = 6000W/21 = 287W)를 소비할 수 있습니다. 단순화를 위해 여기서는 스위치 소비를 무시합니다.

한 걸음 더 나아가 최대 서버 소비 Pmax가 무엇인지 결정해 보겠습니다. 매우 간단하고 비효율적이며 완전히 안전하다면 서버의 전원 공급 장치에 기록된 내용을 읽습니다. 이것이 바로 그것입니다.

더 복잡하고 효율적이라면 모든 구성 요소의 TDP(열 설계 패키지)를 가져와서 요약합니다(별로 사실은 아니지만 가능합니다).

일반적으로 우리는 구성 요소(CPU 제외)의 TDP를 모르기 때문에 가장 정확하면서도 가장 복잡한 접근 방식(실험실이 필요함)을 취합니다. 필요한 구성의 실험용 서버를 가져와서 로드합니다. 예를 들어 Linpack(CPU 및 메모리) 및 fio(디스크)를 사용하여 소비를 측정합니다. 진지하게 받아들이면 테스트 중에 추운 복도에서 가장 따뜻한 환경을 조성해야 합니다. 이는 팬 소비와 CPU 소비 모두에 영향을 미치기 때문입니다. 이 특정 로드 하에서 특정 조건에서 특정 구성을 사용하는 특정 서버의 최대 소비를 얻습니다. 이는 단순히 새로운 시스템 펌웨어, 다른 소프트웨어 버전 및 기타 조건이 결과에 영향을 미칠 수 있다는 의미입니다.

이제 Pserv로 돌아가서 이를 Pmax와 비교하는 방법을 살펴보겠습니다. 서비스가 어떻게 작동하는지, 기술 책임자의 신경이 얼마나 강한지 이해하는 것이 중요합니다.

우리가 위험을 전혀 감수하지 않으면 모든 서버가 동시에 최대치를 소비하기 시작할 수 있다고 믿습니다. 동시에 DC에 대한 하나의 입력이 발생할 수 있습니다. 이러한 조건에서도 인프라는 서비스를 제공해야 하므로 Pserv ħ Pmax. 이는 신뢰성이 절대적으로 중요한 접근 방식입니다.

기술 책임자가 이상적인 보안뿐만 아니라 회사의 돈도 생각하고 용기가 있다면 그렇게 결정할 수 있습니다.

• 우리는 벤더 관리를 시작했으며, 특히 하나의 입력 감소를 최소화하기 위해 계획된 최대 부하 시간에 예정된 유지 관리를 금지하고 있습니다.
• 및/또는 당사 아키텍처를 통해 랙/행/DC가 손실될 수 있지만 서비스는 계속 작동합니다.
• 그리고/또는 랙 전체에 걸쳐 수평으로 로드를 잘 분산시키므로 우리 서비스는 한 랙에서 모두 함께 최대 소비량으로 점프하지 않습니다.

여기서는 추측하는 것뿐만 아니라 소비량을 모니터링하고 정상 및 최고 조건에서 서버가 실제로 전력을 소비하는 방식을 파악하는 데 매우 유용합니다. 따라서 일부 분석 후 기술 책임자는 자신이 가진 모든 것을 짜내고 다음과 같이 말합니다. "우리는 랙당 최대 서버 소비의 최대 달성 가능한 평균이 최대 소비보다 **너무나** 적다는 의지적 결정을 내립니다." 조건부 Pserv = 0.8*P최대.

그러면 6kW 랙은 더 이상 Pmax = 16W인 서버 375대를 수용할 수 없지만 Pserv = 20W * 375 = 0.8W인 서버 300대를 수용할 수 있습니다. 저것들. 25% 더 많은 서버. 이는 매우 큰 절약입니다. 즉각적으로 25% 적은 랙이 필요하게 됩니다(그리고 PDU, 스위치 및 케이블도 절약됩니다). 이러한 솔루션의 심각한 단점은 가정이 여전히 올바른지 지속적으로 모니터링해야 한다는 것입니다. 새 펌웨어 버전은 팬 작동 및 소비량을 크게 변경하지 않으며, 새 릴리스의 개발이 갑자기 서버를 훨씬 더 효율적으로 사용하기 시작하지 않았습니다(읽기: 서버에서 더 많은 로드와 더 많은 소비를 달성했습니다). 결국, 우리의 초기 가정과 결론은 모두 즉시 부정확해집니다. 이는 책임감 있게 감수해야 하는 위험입니다(또는 피하고 활용률이 낮은 랙에 대해 비용을 지불해야 함).

중요한 참고 사항 - 가능하면 다양한 서비스의 서버를 랙 전체에 수평으로 배포해야 합니다. 이는 하나의 서비스에 대해 하나의 서버 배치가 도착할 때 상황이 발생하지 않도록 하기 위해 필요하며 랙은 "밀도"를 높이기 위해 수직으로 포장됩니다(그렇게 하는 것이 더 쉽기 때문입니다). 실제로 한 랙은 동일한 서비스의 동일한 저부하 서버로 채워지고 다른 랙은 똑같이 고부하 서버로 채워지는 것으로 나타났습니다. 두 번째 추락 확률이 상당히 높기 때문입니다. 로드 프로필은 동일하며 이 랙에 있는 모든 서버는 로드 증가로 인해 동일한 양을 소비하기 시작합니다.

랙에 서버를 배포하는 방법으로 돌아가 보겠습니다. 물리적 랙 공간과 전력 제한을 살펴봤으니 이제 네트워크를 살펴보겠습니다. 24/32/48 N 포트가 있는 스위치를 사용할 수 있습니다(예: 48포트 ToR 스위치가 있음). 다행히도 브레이크아웃 케이블을 생각하지 않는다면 옵션이 많지 않습니다. Rnet 그룹에서는 랙당 하나의 스위치, XNUMX~XNUMX개의 랙에 하나의 스위치를 사용하는 시나리오를 고려하고 있습니다. 한 그룹에 XNUMX개 이상의 랙을 추가하는 것은 이미 너무 많은 것 같습니다. 왜냐하면... 랙 간 케이블 연결 문제가 훨씬 더 커집니다.

따라서 각 네트워크 시나리오(그룹에 1, 2 또는 3개의 랙)에 대해 서버를 랙에 배포합니다.

Srack = min(Sh, 반올림(Prack/Pserv), 반올림(N/Rnet))

따라서 그룹에 2개의 랙이 있는 옵션의 경우:

Srack2 = min(21, rounddown(6000/300), rounddown(48/2)) = min(21, 20, 24) = 랙당 서버 20개.

나머지 옵션도 같은 방식으로 고려됩니다.

Srack1 = 20
Srack3 = 16

그리고 우리는 거의 다 왔습니다. 모든 서버 S를 배포하기 위한 랙 수를 계산합니다(1000이라고 가정).

R = 반올림(S / (Srack * Rnet)) * Rnet

R1 = 반올림(1000 / (20 * 1)) * 1 = 50 * 1 = 50개 랙

R2 = 반올림(1000 / (20 * 2)) * 2 = 25 * 2 = 50개 랙

R3 = 반올림(1000 / (16 * 3)) * 3 = 25 * 2 = 63개 랙

다음으로 랙 수, 필요한 스위치 수, 케이블 연결 등을 기준으로 각 옵션의 TCO를 계산합니다. 우리는 TCO가 더 낮은 옵션을 선택합니다. 이익!

옵션 1과 2에 필요한 랙 수는 동일하지만 가격은 다릅니다. 두 번째 옵션의 스위치 수는 절반이고 필요한 케이블 길이는 더 깁니다.

PS 랙당 전력과 랙 높이를 가지고 플레이할 수 있는 기회가 있으면 가변성이 증가합니다. 그러나 단순히 옵션을 살펴보면 프로세스가 위에 설명된 프로세스로 축소될 수 있습니다. 예, 더 많은 조합이 가능하지만 여전히 매우 제한적입니다. 계산을 위해 랙에 공급되는 전원 공급 장치는 1kW 단위로 늘릴 수 있습니다. 일반적인 랙은 제한된 수의 표준 크기(42U, 45U, 47U, 48U)로 제공됩니다. , 52U. 그리고 여기에서 데이터 테이블 모드의 Excel What-If 분석이 계산에 도움이 될 수 있습니다. 받은 접시를보고 최소값을 선택합니다.

출처 : habr.com