[슈퍼컴퓨팅 2019]. 새로운 Kingston DC1000M 드라이브의 적용 영역인 다중 클라우드 스토리지

인간 게놈 분석을 기반으로 개별 약물 선택이라는 혁신적인 의료 사업을 시작한다고 상상해보십시오. 각 환자는 3억 개의 유전자 쌍을 가지고 있으며 x86 프로세서의 일반 서버는 계산하는 데 며칠이 걸립니다. 수천 개의 스레드에 걸쳐 계산을 병렬화하는 FPGA 프로세서를 사용하면 서버에서 프로세스 속도를 높일 수 있다는 것을 알고 계실 것입니다. 약 2019시간 안에 게놈 계산이 완료됩니다. 이러한 서버는 Amazon Web Services(AWS)에서 임대할 수 있습니다. 하지만 문제는 이렇습니다. 고객인 병원은 유전 데이터를 공급자의 클라우드에 저장하는 것을 절대적으로 반대합니다. 어떻게 해야 하나요? Kingston과 클라우드 스타트업이 Supercomputing-XNUMX 전시회에서 아키텍처를 선보였습니다. 프라이빗 멀티클라우드 스토리지(PMCS), 이 문제를 해결합니다.

고성능 컴퓨팅을 위한 세 가지 조건

고성능 컴퓨팅(HPC, High Performance Computing) 분야에서는 인간 게놈을 계산하는 작업만이 유일한 작업이 아닙니다. 과학자들은 물리적 장을 계산하고, 엔지니어는 비행기 부품을 계산하고, 금융가는 경제 모델을 계산하고, 함께 빅 데이터를 분석하고, 신경망을 구축하고, 기타 여러 가지 복잡한 계산을 수행합니다.

HPC의 세 가지 조건은 엄청난 컴퓨팅 성능, 매우 크고 빠른 스토리지, 높은 네트워크 처리량입니다. 따라서 LPC 계산을 수행하는 표준 관행은 회사 자체 데이터 센터(온프레미스) 또는 클라우드 제공업체에서 이루어집니다.

그러나 모든 회사가 자체 데이터 센터를 보유하고 있는 것은 아니며, 그러한 회사는 리소스 효율성 측면에서 상용 데이터 센터보다 열등한 경우가 많습니다(하드웨어 및 소프트웨어 구매 및 업데이트, 우수한 인력에 대한 비용 지불 등에 자본 지출이 필요함). 반면, 클라우드 제공업체는 "종량제" 운영 비용 모델에 따라 IT 리소스를 제공합니다. 임대료는 사용 기간에 대해서만 부과됩니다. 계산이 완료되면 계정에서 서버를 제거하여 IT 예산을 절약할 수 있습니다. 그러나 공급자에 대한 데이터 전송을 법적으로 또는 기업적으로 금지하는 경우 클라우드에서 HPC 컴퓨팅을 사용할 수 없습니다.

프라이빗 멀티클라우드 스토리지

Private MultiCloud Storage 아키텍처는 코로케이션 서비스를 사용하여 데이터 자체를 엔터프라이즈 사이트 또는 데이터 센터의 별도의 안전한 구획에 물리적으로 남겨두면서 클라우드 서비스에 대한 액세스를 제공하도록 설계되었습니다. 기본적으로 이는 클라우드 서버가 프라이빗 클라우드의 원격 스토리지 시스템과 작동하는 데이터 중심 분산 컴퓨팅 모델입니다. 따라서 동일한 로컬 데이터 스토리지를 사용하여 AWS, MS Azure, Google Cloud Platform‎ 등 최대 제공업체의 클라우드 서비스를 사용할 수 있습니다.

Supercomputing-2019 전시회에서 PMCS 구현 사례를 보여주는 Kingston은 DC1000M SSD 드라이브 기반의 고성능 데이터 스토리지 시스템(SSD) 샘플을 선보였으며, 클라우드 스타트업 중 하나는 소프트웨어용 StorOne S1 관리 소프트웨어를 선보였습니다. 주요 클라우드 제공업체와의 정의된 스토리지 및 전용 통신 채널.

프라이빗 스토리지를 갖춘 클라우드 컴퓨팅의 작업 모델인 PMCS는 AT&T와 Equinix 인프라에서 지원되는 데이터 센터 간의 개발된 네트워크 연결을 통해 북미 시장을 위해 설계되었습니다. 따라서 Equinix Cloud Exchange 노드의 코로케이션 스토리지 시스템과 AWS 클라우드 간의 핑은 1밀리초 미만입니다(출처: IT프로투데이).

전시회에서 선보인 PMCS 아키텍처 시연에서는 DC1000M NVMe 디스크의 스토리지 시스템을 코로케이션에 배치하고 가상머신을 AWS, MS Azure, Google Cloud Platform 클라우드에 설치해 서로 핑(ping)했다. 클라이언트-서버 애플리케이션은 데이터 센터의 Kingston 스토리지 시스템 및 HP DL380 서버와 원격으로 작동했으며 Equinix 통신 채널 인프라를 통해 위에서 언급한 주요 제공업체의 클라우드 플랫폼에 액세스했습니다.

Supercomputing-2019 전시회에서 프라이빗 멀티클라우드 스토리지 프레젠테이션 슬라이드입니다. 출처: 킹스턴

프라이빗 멀티클라우드 스토리지의 아키텍처를 관리하기 위한 유사한 기능의 소프트웨어는 여러 회사에서 제공됩니다. 이 아키텍처에 대한 용어는 프라이빗 멀티클라우드 스토리지 또는 클라우드용 프라이빗 스토리지와 같이 다르게 들릴 수도 있습니다.

Kingston의 엔터프라이즈 SSD 관리 관리자인 Keith Schimmenti는 "오늘날의 슈퍼컴퓨터는 석유 및 가스 탐사부터 일기 예보, 금융 시장 및 신기술 개발에 이르기까지 발전의 최전선에 있는 다양한 HPC 애플리케이션을 실행합니다."라고 말했습니다. “이러한 HPC 애플리케이션에는 프로세서 성능과 I/O 속도 간의 훨씬 더 큰 일치가 필요합니다. 우리는 Kingston 솔루션이 컴퓨팅 분야의 혁신을 주도하고 세계에서 가장 극단적인 컴퓨팅 환경과 애플리케이션에 필요한 성능을 제공하는 방법을 공유하게 된 것을 자랑스럽게 생각합니다.”

DC1000M 드라이브와 이를 기반으로 한 스토리지 시스템의 예

DC1000M U.2 NVMe SSD는 Kingston이 데이터 센터용으로 설계했으며 인공 지능(AI) 및 기계 학습(ML) 애플리케이션과 같은 데이터 집약적 HPC 애플리케이션을 위해 특별히 설계되었습니다.

DC1000M U.2 NVMe 3.84TB 드라이브. 출처: 킹스턴

DC1000M U.2 드라이브는 Silicon Motion SM96 컨트롤러(PCIe 3 및 NVMe 2270)로 제어되는 3.0레이어 Intel 3.0D NAND 메모리를 기반으로 합니다. Silicon Motion SM2270은 PCIe 16 x3.0 인터페이스, 듀얼 8비트 DRAM 데이터 버스 및 32개의 ARM Cortex R5 듀얼 프로세서를 갖춘 XNUMX레인 엔터프라이즈 NVMe 컨트롤러입니다.

1000TB에서 0.96TB까지 다양한 용량의 DC7.68M이 출시됩니다(가장 널리 사용되는 용량은 3.84TB와 7.68TB인 것으로 추정됩니다). 드라이브 성능은 800만 IOPS로 추정됩니다.

10x DC1000M U.2 NVMe 7.68TB를 갖춘 스토리지 시스템. 출처: 킹스턴

HPC 애플리케이션용 스토리지 시스템의 예로 Kingston은 Supercomputing 2019에서 각각 10TB 용량의 DC1000M U.2 NVMe 드라이브 7.68개를 갖춘 랙 솔루션을 선보였습니다. 스토리지 시스템은 AIC의 122U 폼 팩터 플랫폼인 SB1A-PH를 기반으로 합니다. 프로세서: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128GB(8x16GB) DDR4-2400(부품 번호: KSM24RS4/16HAI). 설치된 OS는 Ubuntu 18.04.3 LTS, Linux 커널 버전 5.0.0-31입니다. gfio v3.13 테스트(Flexible I/O 테스터)에서는 5.8Gbps의 처리량으로 23.8만 IOPS의 읽기 성능을 보여주었습니다.

제시된 스토리지 시스템은 5,8만 IOPS(초당 입출력 작업)의 안정적인 읽기 측면에서 인상적인 특성을 보여주었습니다. 이는 대중 시장 시스템용 SSD보다 XNUMX배 빠른 속도입니다. 이 읽기 속도는 특수 프로세서에서 실행되는 HPC 애플리케이션에 필요합니다.

러시아의 프라이빗 스토리지를 갖춘 클라우드 컴퓨팅 HPC

공급자에서 고성능 컴퓨팅을 수행하지만 온프레미스 데이터를 물리적으로 저장하는 작업은 러시아 기업과도 관련이 있습니다. 국내 비즈니스의 또 다른 일반적인 경우는 외국 클라우드 서비스를 사용할 때 데이터가 러시아 연방 영토에 있어야 하는 경우입니다. 우리는 Kingston의 오랜 파트너인 클라우드 제공업체 Selectel을 대신하여 이러한 상황에 대한 의견을 요청했습니다.

“러시아에서는 러시아어로 서비스를 제공하고 고객 회계 부서에 대한 모든 보고 문서를 포함하는 유사한 아키텍처를 구축하는 것이 가능합니다. 회사가 온프레미스 스토리지 시스템을 사용하여 고성능 컴퓨팅을 수행해야 하는 경우 Selectel에서는 다음을 포함한 다양한 유형의 프로세서가 장착된 서버를 임대합니다. FPGA, GPU 또는 멀티 코어 CPU. 또한 파트너를 통해 고객 사무실과 데이터 센터 사이에 전용 광 채널을 배치합니다.”라고 Selectel의 서비스 개발 이사인 Alexander Tugov는 말합니다. — 고객은 또한 특별한 액세스 모드를 사용하여 컴퓨터실의 코로케이션에 스토리지 시스템을 배치하고 당사 서버와 글로벌 공급자 AWS, MS Azure, Google Cloud의 클라우드 모두에서 애플리케이션을 실행할 수 있습니다. 물론 후자의 경우 고객의 스토리지 시스템이 미국에 있는 경우보다 신호 지연이 높지만 광대역 멀티 클라우드 연결이 제공됩니다.”

다음 기사에서는 Supercomputing 2019 전시회(미국 콜로라도주 덴버)에서 발표되었으며 GPU를 사용한 기계 학습 애플리케이션 및 빅 데이터 분석을 위한 또 다른 Kingston 솔루션에 대해 이야기하겠습니다. 이는 NVMe 스토리지와 GPU 프로세서 메모리 간의 직접적인 데이터 전송을 제공하는 GPUDirect 스토리지 기술입니다. 또한 NVMe 디스크의 랙 스토리지 시스템에서 어떻게 5.8만 IOPS의 데이터 읽기 속도를 달성했는지 설명하겠습니다.

Kingston Technology 제품에 대한 자세한 내용은 다음을 방문하십시오. 회사의 사이트.

출처 : habr.com