MIT의 새로운 CPU 로드 밸런서

Shenango 시스템은 데이터 센터에서 사용될 계획입니다.

/ 사진 마르코 베르 치 CC BY

제공업체 중 하나에 따르면 데이터 센터는 사용하다 사용 가능한 컴퓨팅 성능의 20~40%만 사용 가능합니다. 높은 부하에서 이 표시 60%에 도달할 수 있습니다.. 이러한 자원 분산은 소위 "좀비 서버"의 출현으로 이어집니다. 이들은 대부분의 시간 동안 유휴 상태로 앉아 에너지를 낭비하는 기계입니다. 현재 전 세계 서버의 30% 일을 하지 않고 있다, 연간 30억 달러 상당의 전력을 소비합니다.

MIT는 컴퓨팅 자원의 비효율적인 사용을 막기로 결정했습니다.

엔지니어링 팀 발전했다 Shenango라는 프로세서 로드 밸런싱 시스템. 그 목적은 작업 버퍼의 상태를 모니터링하고 중단된 프로세스(CPU 시간을 받을 수 없음)를 해제된 컴퓨터에 재배포하는 것입니다.

Shenango의 작동 방식

Shenango는 Rust 및 C++ 바인딩이 포함된 C 언어의 Linux 라이브러리입니다. 프로젝트 코드와 테스트 애플리케이션은 다음에 게시됩니다. 저장소 깃허브에서.

이 솔루션은 다중 프로세서 시스템의 전용 코어에서 실행되는 IOKernel 알고리즘을 기반으로 합니다. 프레임워크를 사용하여 CPU 요청을 관리합니다. DPDK, 이를 통해 애플리케이션이 네트워크 장치와 직접 통신할 수 있습니다.

IOKernel은 특정 작업을 위임할 커널을 결정합니다. 또한 알고리즘은 필요한 코어 수를 결정합니다. 각 프로세스에 대해 기본 코어(보장)와 추가 코어(버스트 가능)가 결정됩니다. 후자는 CPU에 대한 요청 수가 급격히 증가할 경우 실행됩니다.

IOKernel 요청 대기열은 다음과 같이 구성됩니다. 링 버퍼. XNUMX마이크로초마다 알고리즘은 코어에 할당된 모든 작업이 완료되었는지 확인합니다. 이를 위해 버퍼 헤드의 현재 위치를 테일의 이전 위치와 비교합니다. 이전 검사 시 tail이 이미 대기열에 있었던 것으로 밝혀지면 시스템은 버퍼 과부하를 기록하고 해당 프로세스에 추가 코어를 할당합니다.

로드를 분산할 때 동일한 프로세스가 이전에 실행되어 부분적으로 캐시에 남아 있는 코어 또는 유휴 코어에 우선 순위가 부여됩니다.

Shenango는 추가로 접근 방식을 취합니다. 일을 훔치는 것. 하나의 애플리케이션을 실행하기 위해 할당된 코어는 서로의 작업 수를 모니터링합니다. 한 코어가 다른 코어보다 먼저 작업 목록을 완료하면 인접 코어의 부하 일부를 "완화"합니다.

장점과 단점

에 ~에 따르면 MIT 출신의 엔지니어인 Shenango는 초당 37만 개의 요청을 처리하고 100마이크로초의 평균 응답 시간을 유지할 수 있습니다. 전문가들은 어떤 경우에는 이 기술이 데이터센터의 프로세서 활용률을 XNUMX%까지 높일 수 있다고 말합니다. 결과적으로 데이터 센터 운영자는 서버 구매 및 유지 관리 비용을 절감할 수 있습니다.

솔루션 잠재력 축하하다 그리고 다른 대학의 전문가. 한국의 한 연구소 교수에 따르면, MIT 시스템은 웹 서비스의 지연을 줄이는 데 도움이 될 것이라고 합니다. 예를 들어 온라인 상점에서 유용합니다. 판매일에는 페이지 로딩이 두 번째로 지연되기도 합니다. приводит 사이트 조회수가 11% 감소했습니다. 신속한 부하 분산은 더 많은 클라이언트에게 서비스를 제공하는 데 도움이 됩니다.

이 기술에는 여전히 단점이 있습니다. 다중 프로세서를 지원하지 않습니다. 누마- 칩이 서로 다른 메모리 모듈에 연결되어 있고 서로 "통신"하지 않는 시스템. 이 경우 IOKernel은 별도의 프로세서 그룹의 작동을 규제할 수 있지만 모든 서버 칩은 규제할 수 없습니다.

/ 사진 팀 레크 만 CC BY

유사한 기술

다른 프로세서 로드 밸런싱 시스템에는 Arachne이 포함됩니다. 애플리케이션이 시작될 때 필요한 코어 수를 계산하고 이 표시기에 따라 프로세스를 배포합니다. 저자에 따르면 Arachne에서 애플리케이션의 최대 대기 시간은 약 10마이크로초입니다.

이 기술은 Linux용 C++ 라이브러리로 구현되었으며 소스 코드는 다음에서 확인할 수 있습니다. GitHub의.

또 다른 균형 조정 도구는 ZygOS입니다. Shenango와 마찬가지로 이 기술은 작업 도용 방법을 사용하여 프로세스를 재분배합니다. ZygOS 작성자에 따르면 이 도구를 사용할 때 평균 애플리케이션 대기 시간은 약 150마이크로초이고 최대 대기 시간은 약 450마이크로초입니다. 프로젝트 코드도 공개 도메인에 있습니다.

조사 결과

최신 데이터 센터는 지속적으로 확장되고 있으며, 이러한 증가 추세는 특히 하이퍼스케일 데이터 센터 시장에서 두드러집니다. 있다 430개의 하이퍼스케일 데이터 센터가 있지만 향후 몇 년 안에 그 수가 30% 증가할 수 있습니다. 이러한 이유로 프로세서 로드 밸런싱 기술에 대한 수요가 매우 높습니다. Shenango와 같은 시스템은 이미 사용 가능합니다. 구현하다 대기업, 그리고 그러한 도구의 수는 미래에만 증가할 것입니다.

First Enterprise IaaS 블로그의 게시물:

• 데이터 센터의 에너지 효율성을 향상시키는 방법
• PCI DSS에 대해 알아야 할 사항: 표준 개요
• 이전과 이후의 세계: DNS Flag Day의 출현으로 삶이 어떻게 바뀌었나요?
• IaaS가 비즈니스 개발을 지원하는 방법: 클라우드가 해결할 세 가지 문제
• 클라우드에서 디스크 시스템 테스트: 기본 사항 및 팁
• 클라우드로의 원활한 전환을 위한 9가지 유용한 팁
• IaaS: 클라우드 인프라 임대 후 첫 번째 단계

출처 : habr.com