[Supercomputación 2019]. Almacenamento multi-nube como área de aplicación para as novas unidades Kingston DC1000M

Imaxina que estás lanzando un negocio médico innovador: selección individual de fármacos baseada na análise do xenoma humano. Cada paciente ten 3 millóns de pares de xenes, e un servidor normal en procesadores x86 tardará varios días en calculalo. Sabes que podes acelerar o proceso nun servidor cun procesador FPGA que paraleliza os cálculos en miles de fíos. Completará o cálculo do xenoma en aproximadamente unha hora. Estes servidores pódense alugar a Amazon Web Services (AWS). Pero aquí está a cousa: o cliente, o hospital, está categoricamente en contra de colocar datos xenéticos na nube do provedor. Qué debería facer? Kingston e a startup na nube mostraron arquitectura na exposición Supercomputing-2019 Almacenamento privado multicloud (PMCS), que resolve este problema.

Tres condicións para a computación de alto rendemento

Calcular o xenoma humano non é a única tarefa no campo da computación de altas prestacións (HPC, High Performance Computing). Os científicos calculan campos físicos, os enxeñeiros calculan pezas de avións, os financeiros calculan modelos económicos e xuntos analizan grandes datos, constrúen redes neuronais e fan moitos outros cálculos complexos.

As tres condicións de HPC son unha enorme potencia informática, un almacenamento moi grande e rápido e un alto rendemento de rede. Polo tanto, a práctica estándar para realizar cálculos LPC está no propio centro de datos da empresa (local) ou nun provedor na nube.

Pero non todas as empresas teñen os seus propios centros de datos, e as que o teñen a miúdo son inferiores aos centros de datos comerciais en canto á eficiencia dos recursos (requírese gastos de capital para comprar e actualizar hardware e software, pagar persoal altamente cualificado, etc.). Os provedores de nube, pola contra, ofrecen recursos informáticos segundo o modelo de custos operativos "Pay-as-you-go", é dicir. o aluguer só se cobra polo período de uso. Cando se completen os cálculos, pódense eliminar servidores da conta, aforrando así orzamentos informáticos. Pero se hai unha prohibición lexislativa ou corporativa sobre a transferencia de datos ao provedor, a computación HPC na nube non está dispoñible.

Almacenamento privado MultiCloud

A arquitectura Private MultiCloud Storage está deseñada para proporcionar acceso aos servizos na nube mentres deixa fisicamente os propios datos no sitio da empresa ou nun compartimento seguro separado do centro de datos mediante un servizo de colocación. Esencialmente, é un modelo de computación distribuída centrado en datos onde os servidores na nube traballan con sistemas de almacenamento remoto desde unha nube privada. En consecuencia, usando o mesmo almacenamento de datos local, pode traballar con servizos na nube dos maiores provedores: AWS, MS Azure, Google Cloud Platform‎, etc.

Mostrando un exemplo da implementación de PMCS na exposición Supercomputing-2019, Kingston presentou unha mostra dun sistema de almacenamento de datos (SSD) de alto rendemento baseado en unidades SSD DC1000M, e unha das startups na nube presentou o software de xestión StorOne S1 para software. almacenamento definido e canles de comunicación dedicadas cos principais provedores de nube.

Cómpre sinalar que PMCS, como modelo de traballo de computación en nube con almacenamento privado, está deseñado para o mercado norteamericano coa conectividade de rede desenvolvida entre centros de datos que é compatible coa infraestrutura AT&T e Equinix. Así, o ping entre un sistema de almacenamento de colocación en calquera nodo Equinix Cloud Exchange e a nube AWS é inferior a 1 milisegundo (fonte: ITProToday).

Na demostración da arquitectura PMCS mostrada na exposición, o sistema de almacenamento en discos DC1000M NVMe situouse en colocación e instaláronse máquinas virtuais nas nubes de AWS, MS Azure e Google Cloud Platform, que se fixeron ping entre si. A aplicación cliente-servidor traballou de forma remota co sistema de almacenamento Kingston e os servidores HP DL380 do centro de datos e, a través da infraestrutura de canles de comunicación Equinix, accedeu ás plataformas na nube dos principais provedores mencionados anteriormente.

Diapositiva da presentación de Private MultiCloud Storage na exposición Supercomputing-2019. Fonte: Kingston

Software de funcionalidade similar para xestionar a arquitectura de almacenamento multicloud privado é ofrecido por diferentes empresas. Os termos desta arquitectura tamén poden soar de forma diferente: Almacenamento privado MultiCloud ou Almacenamento privado para a nube.

"Os supercomputadores actuais executan unha variedade de aplicacións HPC que están á vangarda dos avances, desde a exploración de petróleo e gas ata a previsión meteorolóxica, os mercados financeiros e o desenvolvemento de novas tecnoloxías", dixo Keith Schimmenti, xerente de xestión empresarial SSD de Kingston. "Estas aplicacións HPC requiren unha coincidencia moito maior entre o rendemento do procesador e a velocidade de E/S. Estamos orgullosos de compartir como as solucións de Kingston están axudando a impulsar avances na informática, ofrecendo o rendemento necesario nos entornos e aplicacións informáticas máis extremas do mundo".

Unidade DC1000M e un exemplo de sistema de almacenamento baseado nel

O SSD DC1000M U.2 NVMe está deseñado por Kingston para o centro de datos e está deseñado especificamente para aplicacións de HPC e de uso intensivo de datos, como aplicacións de intelixencia artificial (IA) e aprendizaxe automática (ML).

Unidade DC1000M U.2 NVMe de 3.84 TB. Fonte: Kingston

As unidades DC1000M U.2 baséanse na memoria Intel 96D NAND de 3 capas, controlada por un controlador Silicon Motion SM2270 (PCIe 3.0 e NVMe 3.0). O Silicon Motion SM2270 é un controlador NVMe empresarial de 16 carriles con interface PCIe 3.0 x8, bus de datos DRAM de 32 bits dual e tres procesadores duales ARM Cortex R5.

Ofrécense DC1000M de diferentes capacidades para o lanzamento: de 0.96 a 7.68 TB (crese que as capacidades máis populares son 3.84 e 7.68 TB). O rendemento da unidade estímase en 800 mil IOPS.

Sistema de almacenamento con 10x DC1000M U.2 NVMe 7.68 TB. Fonte: Kingston

Como exemplo de sistema de almacenamento para aplicacións HPC, Kingston presentou en Supercomputing 2019 unha solución de rack con 10 unidades NVMe DC1000M U.2, cada unha cunha capacidade de 7.68 TB. O sistema de almacenamento baséase no SB122A-PH, unha plataforma de factor de forma 1U de AIC. Procesadores: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (número de parte: KSM24RS4/16HAI). O sistema operativo instalado é Ubuntu 18.04.3 LTS, kernel Linux versión 5.0.0-31. A proba gfio v3.13 (probador de E/S flexible) mostrou un rendemento de lectura de 5.8 millóns de IOPS cun rendemento de 23.8 Gbps.

O sistema de almacenamento presentado mostrou características impresionantes en termos de lectura estable de 5,8 millóns de IOPS (operacións de entrada-saída por segundo). Isto é dous ordes de magnitude máis rápido que os SSD para sistemas de mercado masivo. Esta velocidade de lectura é necesaria para aplicacións HPC que se executan en procesadores especializados.

Cloud computing HPC con almacenamento privado en Rusia

A tarefa de realizar computación de alto rendemento no provedor, pero almacenar fisicamente datos nas instalacións, tamén é relevante para as empresas rusas. Outro caso común nas empresas nacionais é cando, cando se usan servizos na nube estranxeiros, os datos deben estar situados no territorio da Federación Rusa. Solicitamos comentarios sobre estas situacións en nome do provedor de nube Selectel como socio de longa data de Kingston.

"En Rusia, é posible construír unha arquitectura similar, con servizo en ruso e todos os documentos de informes para o departamento de contabilidade do cliente. Se unha empresa precisa realizar computación de alto rendemento mediante sistemas de almacenamento locais, en Selectel alugamos servidores con procesadores de varios tipos, incluíndo FPGA, GPU ou CPUs multinúcleo. Ademais, a través de socios, organizamos a colocación dunha canle óptica dedicada entre a oficina do cliente e o noso centro de datos ", comenta Alexander Tugov, director de Desenvolvemento de Servizos de Selectel. — O cliente tamén pode colocar o seu sistema de almacenamento en colocación nunha sala de informática cun modo de acceso especial e executar aplicacións tanto nos nosos servidores como nas nubes dos provedores globais AWS, MS Azure, Google Cloud. Por suposto, o atraso do sinal neste último caso será maior que se o sistema de almacenamento do cliente estivese situado nos Estados Unidos, pero proporcionarase unha conexión multi-nube de banda ancha".

No seguinte artigo falaremos doutra solución de Kingston, que foi presentada na exposición Supercomputing 2019 (Denver, Colorado, EUA) e está destinada a aplicacións de aprendizaxe automática e análise de big data mediante GPU. Esta é a tecnoloxía de almacenamento GPUDirect, que proporciona transferencia directa de datos entre o almacenamento NVMe e a memoria do procesador GPU. E ademais, explicaremos como conseguimos conseguir unha velocidade de lectura de datos de 5.8 millóns de IOPS nun sistema de almacenamento en rack en discos NVMe.

Para obter máis información sobre os produtos de Kingston Technology, póñase en contacto con: O sitio da empresa.

Fonte: www.habr.com