상황: 가상 GPU는 하드웨어 솔루션보다 성능이 열등하지 않습니다.

지난 XNUMX월 스탠포드에서는 고성능 컴퓨팅(HPC)에 관한 컨퍼런스를 개최했습니다. VMware 담당자는 GPU로 작업할 때 수정된 ESXi 하이퍼바이저 기반 시스템이 베어메탈 솔루션보다 속도가 떨어지지 않는다고 말했습니다.

이를 가능하게 한 기술에 대해 이야기합니다.

/ 사진 빅토르그리가스 CC의 BY-SA

성능 문제

분석가에 따르면 데이터 센터 워크로드의 약 70%가 가상화됨. 그러나 나머지 30%는 여전히 하이퍼바이저 없이 베어메탈에서 실행됩니다. 이 30%는 대부분 신경망 훈련 및 GPU 사용과 관련된 고부하 애플리케이션으로 구성됩니다.

전문가들은 중간 추상화 계층인 하이퍼바이저가 전체 시스템의 성능에 영향을 미칠 수 있다는 사실로 이러한 추세를 설명합니다. XNUMX년 전 연구에서 데이터를 찾을 수 있어요 작업 속도를 10% 줄이는 것에 대해. 따라서 기업과 데이터 센터 운영자는 HPC 워크로드를 가상 환경으로 이전하는 데 서두르지 않습니다.

그러나 가상화 기술은 발전하고 개선되고 있습니다. 한 달 전 컨퍼런스에서 VMware는 ESXi 하이퍼바이저가 GPU 성능에 부정적인 영향을 미치지 않는다고 밝혔습니다. 컴퓨팅 속도는 베어메탈과 비슷한 XNUMX% 정도 감소할 수 있습니다.

이거 어떻게 작동 시켜요

GPU가 포함된 HPC 시스템의 성능을 향상시키기 위해 VMware는 하이퍼바이저에 많은 변경 사항을 적용했습니다. 특히 vMotion 기능을 없앴다. 로드 밸런싱에 필요하며 일반적으로 서버나 GPU 간에 가상 머신(VM)을 전송합니다. vMotion을 비활성화하면 이제 각 VM에 특정 GPU가 할당됩니다. 이는 데이터 교환 시 비용을 줄이는 데 도움이 되었습니다.

시스템의 또 다른 핵심 구성요소 기술이다 DirectPath I/O. 이를 통해 CUDA 병렬 컴퓨팅 드라이버가 하이퍼바이저를 우회하여 가상 머신과 직접 상호 작용할 수 있습니다. 하나의 GPU에서 여러 VM을 동시에 실행해야 하는 경우 GRID vGPU 솔루션이 사용됩니다. 카드의 메모리를 여러 세그먼트로 나눕니다(그러나 계산 주기는 나누어지지 않습니다).

이 경우 두 가상 머신의 작동 다이어그램은 다음과 같습니다.

결과 및 예측

회사 테스트를 실시했습니다. 하이퍼바이저를 기반으로 언어 모델을 훈련하여 TensorFlow. 성능 '손상'은 베어메탈에 비해 3~4%에 불과했습니다. 그 대가로 시스템은 현재 로드에 따라 요청에 따라 리소스를 배포할 수 있었습니다.

IT 대기업 역시 테스트를 실시했습니다. 컨테이너로. 이 회사의 엔지니어들은 이미지를 인식하도록 신경망을 훈련시켰습니다. 동시에 하나의 GPU 리소스가 17개의 컨테이너 VM에 분산되었습니다. 결과적으로 개별 머신의 성능은 XNUMX% 감소했습니다(GPU 리소스에 대한 전체 액세스 권한을 갖춘 단일 VM과 비교). 그러나 초당 처리되는 이미지 수는 증가했다 세 번. 이런 시스템이 나올 것으로 예상됩니다. 찾을 것이다 데이터 분석 및 컴퓨터 모델링에 응용됩니다.

VMware가 직면할 수 있는 잠재적인 문제 중 전문가들은 방출하다 다소 좁은 대상 고객. 소수의 회사에서는 여전히 고성능 시스템을 사용하고 있습니다. 스태티스타에도 있지만 축하하다2021년까지 전 세계 데이터 센터 워크로드의 94%가 가상화될 것입니다. 에 의해 투영 된 애널리스트들에 따르면 HPC 시장 가치는 32년부터 45년까지 2017억 달러에서 2022억 달러로 성장할 것으로 예상된다.

/ 사진 글로벌 액세스 포인트 PD

유사한 솔루션

시장에는 AMD와 Intel 등 대규모 IT 기업에서 개발한 여러 유사 제품이 있습니다.

GPU 가상화를 위한 최초의 회사 제공 SR-IOV(단일 루트 입출력 가상화) 기반 접근 방식입니다. 이 기술을 통해 VM은 시스템 하드웨어 기능의 일부에 액세스할 수 있습니다. 이 솔루션을 사용하면 가상화된 시스템과 동일한 성능으로 16명의 사용자 간에 GPU를 공유할 수 있습니다.

두 번째 IT 대기업의 경우, 기술 기반 Citrix XenServer 7 하이퍼바이저에서 표준 GPU 드라이버와 가상 머신의 작업을 결합하여 후자가 수백 명의 사용자 장치에 3D 애플리케이션과 데스크톱을 표시할 수 있도록 합니다.

기술의 미래

가상 GPU 개발자 내기하다 AI 시스템 구현과 비즈니스 기술 시장에서 고성능 솔루션의 인기 증가에 대해 알아봅니다. 그들은 대량의 데이터를 처리해야 하는 필요성으로 인해 vGPU에 대한 수요가 증가할 것으로 기대하고 있습니다.

이제 제조업체 방법을 찾고 CPU와 GPU의 기능을 하나의 코어에 결합하여 그래픽 관련 문제 해결, 수학적 계산, 논리 연산 및 데이터 처리 수행 속도를 높입니다. 향후 시장에 이러한 코어가 등장하면 리소스 가상화에 대한 접근 방식과 가상 환경과 클라우드 환경의 워크로드 간 배포가 바뀔 것입니다.

당사 블로그에서 해당 주제에 관해 읽어야 할 내용:

• 기업이 컨테이너가 아닌 가상 머신을 사용하는 이유
• "VMware는 잘 지내고 있나요?": 새로운 솔루션 검토
• VMware vSphere 6.7: 새로운 하이퍼바이저 기능의 이점은 무엇입니까?

텔레그램 채널의 게시물 몇 개:

• 미래의 IT 아키텍처 - 이를 대비하는 사람과 방법
• 5가지 클라우드 관리 도구
• IaaS 공급자가 고객 데이터를 보호하는 방법

출처 : habr.com