5.8만 IOPS: 왜 그렇게 많은가요?

안녕하세요 하브르입니다! 빅데이터와 머신러닝을 위한 데이터 세트는 기하급수적으로 증가하고 있으며 우리는 이를 따라잡아야 합니다. Kingston 부스에서 선보인 고성능 컴퓨팅(HPC, High Performance Computing) 분야의 또 다른 혁신적인 기술에 대한 게시물입니다. 슈퍼컴퓨팅-2019. 이는 GPU(그래픽 처리 장치) 및 GPUDirect 스토리지 버스 기술을 갖춘 서버에서 하이엔드 데이터 스토리지 시스템(SDS)을 사용하는 것입니다. 스토리지 시스템과 GPU 사이의 직접적인 데이터 교환 덕분에 CPU를 거치지 않고 GPU 가속기에 데이터를 로딩하는 속도가 수십배 빨라져 빅데이터 애플리케이션이 GPU가 제공하는 최대 성능으로 실행된다. 결과적으로 HPC 시스템 개발자는 Kingston에서 생산한 것과 같이 최고 I/O 속도를 갖춘 스토리지 시스템의 발전에 관심을 갖고 있습니다.

GPU 성능이 데이터 로딩을 능가함

범용 애플리케이션 개발을 위한 GPU 기반 하드웨어 및 소프트웨어 병렬 컴퓨팅 아키텍처인 CUDA가 2007년에 탄생한 이후 GPU 자체의 하드웨어 성능은 놀라울 정도로 성장했습니다. 오늘날 GPU는 빅데이터, 머신러닝(ML), 딥러닝(DL)과 같은 HPC 애플리케이션에서 점점 더 많이 사용되고 있습니다.

용어의 유사성에도 불구하고 마지막 두 개는 알고리즘적으로 다른 작업입니다. ML은 구조화된 데이터를 기반으로 컴퓨터를 훈련시키는 반면, DL은 신경망의 피드백을 기반으로 컴퓨터를 훈련시킵니다. 차이점을 이해하는 데 도움이 되는 예는 매우 간단합니다. 컴퓨터가 스토리지 시스템에서 로드된 고양이 사진과 개 사진을 구별해야 한다고 가정해 보겠습니다. ML의 경우 각 태그가 동물의 특정 특징을 정의하는 여러 태그가 포함된 이미지 세트를 제출해야 합니다. DL의 경우 훨씬 더 많은 수의 이미지를 업로드하면 충분하지만 "이것은 고양이입니다" 또는 "이것은 개입니다"라는 태그 하나만 있으면 됩니다. DL은 어린 아이들을 가르치는 방법과 매우 유사합니다. 책과 생활에서 단순히 개와 고양이의 사진을 보여주고(대부분 자세한 차이점을 설명하지 않고) 아이의 뇌 자체가 동물의 유형을 결정하기 시작합니다. 비교를 위한 특정 중요한 수의 사진(추산에 따르면 우리는 유아기 전반에 걸쳐 단지 XNUMX~XNUMX개의 쇼에 대해 이야기하고 있습니다). DL 알고리즘은 아직 완벽하지 않습니다. 신경망이 이미지 식별 작업을 성공적으로 수행하려면 수백만 개의 이미지를 GPU에 공급하고 처리해야 합니다.

서문 요약: GPU를 기반으로 빅데이터, ML, DL 분야에서 HPC 애플리케이션을 구축할 수 있지만 문제가 있습니다. 데이터 세트가 너무 커서 스토리지 시스템에서 GPU로 데이터를 로드하는 데 시간이 소요됩니다. 애플리케이션의 전반적인 성능이 저하되기 시작합니다. 즉, 빠른 GPU는 다른 하위 시스템에서 나오는 느린 I/O 데이터로 인해 활용도가 낮은 상태로 남아 있습니다. GPU의 I/O 속도와 CPU/스토리지 시스템에 대한 버스의 차이는 상당히 클 수 있습니다.

GPUDirect 스토리지 기술은 어떻게 작동합니까?

I/O 프로세스는 추가 처리를 위해 스토리지에서 GPU로 데이터를 로드하는 프로세스와 마찬가지로 CPU에 의해 제어됩니다. 이로 인해 GPU와 NVMe 드라이브 간의 직접 액세스를 제공하여 서로 빠르게 통신할 수 있는 기술에 대한 요청이 이어졌습니다. NVIDIA는 이러한 기술을 최초로 제공했으며 이를 GPUDirect Storage라고 불렀습니다. 실제로 이는 이전에 개발한 GPUDirect RDMA(원격 직접 메모리 주소) 기술의 변형입니다.

NVIDIA의 CEO인 Jensen Huang은 SC-19에서 GPUDirect RDMA의 변형인 GPUDirect 스토리지를 선보일 예정입니다. 출처: 엔비디아

GPUDirect RDMA와 GPUDirect Storage의 차이점은 주소 지정이 수행되는 장치에 있습니다. GPUDirect RDMA 기술은 프런트엔드 네트워크 인터페이스 카드(NIC)와 GPU 메모리 간에 직접 데이터를 이동하도록 용도가 변경되었으며, GPUDirect 스토리지는 NVMe 또는 NVMe-oF(NVMe over Fabric)와 같은 로컬 또는 원격 스토리지 간에 직접 데이터 경로를 제공합니다. GPU 메모리.

GPUDirect RDMA 및 GPUDirect 스토리지는 모두 CPU 메모리의 버퍼를 통해 불필요한 데이터 이동을 방지하고 DMA(직접 메모리 액세스) 메커니즘을 통해 중앙 CPU에 부하를 주지 않고 네트워크 카드나 스토리지에서 GPU 메모리로 직접 데이터를 이동할 수 있습니다. GPUDirect 스토리지의 경우 스토리지 위치는 중요하지 않습니다. GPU 장치 내부, 랙 내부 또는 NVMe-oF로 네트워크를 통해 연결된 NVME 디스크일 수 있습니다.

GPUDirect 스토리지의 작동 방식. 출처: 엔비디아

NVMe 기반 하이엔드 스토리지 시스템은 HPC 애플리케이션 시장에서 수요가 높습니다.

GPUDirect 스토리지의 출현으로 대규모 고객의 관심이 GPU의 처리량에 상응하는 I/O 속도를 갖춘 스토리지 시스템 제공에 쏠리게 될 것임을 인식한 Kingston은 SC-19 전시회에서 다음으로 구성된 시스템의 데모를 선보였습니다. NVMe 디스크 기반 스토리지 시스템과 초당 수천 장의 위성 이미지를 분석하는 GPU 탑재 유닛입니다. 우리는 이미 10개의 DC1000M U.2 NVMe 드라이브를 기반으로 한 스토리지 시스템에 대해 작성했습니다. 슈퍼컴퓨터 전시회 보고서에서.

10개의 DC1000M U.2 NVMe 드라이브를 기반으로 하는 스토리지 시스템은 그래픽 가속기를 갖춘 서버를 적절하게 보완합니다. 출처: 킹스턴

이 스토리지 시스템은 1U 이상의 랙 장치로 설계되었으며 각각 1000~2TB의 용량을 갖춘 DC3.84M U.7.68 NVMe 드라이브의 수에 따라 확장될 수 있습니다. DC1000M은 Kingston의 데이터 센터 드라이브 제품군 중 U.2 폼 팩터의 최초 NVMe SSD 모델입니다. 내구성 등급(DWPD, 일일 드라이브 쓰기)이 있어 드라이브의 보장된 수명 동안 하루에 한 번 데이터를 전체 용량까지 다시 쓸 수 있습니다.

Ubuntu 3.13 LTS 운영 체제인 Linux 커널 18.04.3-5.0.0-generic에 대한 fio v31 테스트에서 전시 스토리지 샘플은 지속 가능한 처리량(지속 대역폭)으로 5.8만 IOPS의 읽기 속도(지속 읽기)를 보여주었습니다. ) 23.8Gbit/s입니다.

Kingston의 SSD 비즈니스 관리자인 Ariel Perez는 새로운 스토리지 시스템에 대해 다음과 같이 말했습니다. “우리는 전통적으로 스토리지와 관련된 많은 데이터 전송 병목 현상을 제거하기 위해 차세대 서버에 U.2 NVMe SSD 솔루션을 장착할 준비가 되어 있습니다. NVMe SSD 드라이브와 프리미엄 서버 프리미어 DRAM의 결합으로 Kingston은 업계에서 가장 포괄적인 엔드투엔드 데이터 솔루션 제공업체 중 하나가 되었습니다."

gfio v3.13 테스트에서는 DC23.8M U.1000 NVMe 드라이브의 데모 스토리지 시스템에 대해 2Gbps의 처리량을 보여주었습니다. 출처: 킹스턴

GPUDirect Storage 또는 유사한 기술을 사용하는 HPC 애플리케이션용 일반적인 시스템은 어떤 모습입니까? 이는 랙 내의 기능 장치를 물리적으로 분리한 아키텍처입니다. 즉, RAM용 장치 XNUMX~XNUMX개, GPU 및 CPU 컴퓨팅 노드용 장치 몇 개, 스토리지 시스템용 장치 XNUMX개 이상입니다.

GPUDirect 스토리지 발표와 다른 GPU 공급업체의 유사한 기술 출현 가능성으로 인해 고성능 컴퓨팅에 사용하도록 설계된 스토리지 시스템에 대한 Kingston의 수요가 확대되고 있습니다. 마커는 스토리지 시스템에서 데이터를 읽는 속도로, GPU가 있는 컴퓨팅 장치 입구의 40Gbit 또는 100Gbit 네트워크 카드 처리량과 비슷합니다. 따라서 패브릭을 통한 외부 NVMe를 포함한 초고속 스토리지 시스템은 이색적인 것에서 HPC 애플리케이션의 주류로 바뀔 것입니다. 과학 및 금융 계산 외에도 초당 수백만 HD 이미지의 인식 및 식별 속도가 요구되는 Safe City 대도시 수준의 보안 시스템이나 교통 감시 센터와 같은 다른 많은 실제 영역에도 응용할 수 있을 것입니다.” 최고의 스토리지 시스템의 틈새 시장

Kingston 제품에 대한 자세한 내용은 다음에서 확인할 수 있습니다. 공식 웹 사이트 회사입니다.

출처 : habr.com