Imagine que está lanzando un negocio médico innovador: selección individual de medicamentos basada en el análisis del genoma humano. Cada paciente tiene 3 mil millones de pares de genes y un servidor normal con procesadores x86 tardará varios días en calcularlos. Usted sabe que puede acelerar el proceso en un servidor con un procesador FPGA que paraleliza los cálculos en miles de subprocesos. Completará el cálculo del genoma en aproximadamente una hora. Estos servidores se pueden alquilar en Amazon Web Services (AWS). Pero aquí está la cuestión: el cliente, el hospital, está categóricamente en contra de colocar datos genéticos en la nube del proveedor. ¿Qué tengo que hacer? Kingston y una startup en la nube mostraron arquitectura en la exposición Supercomputing-2019 , lo que resuelve este problema.
![[Supercomputación 2019]. El almacenamiento multinube como área de aplicación de los nuevos discos Kingston DC1000M](https://prohoster.info/wp-content/plugins/wp-fastest-cache-premium/pro/images/blank.gif)
Tres condiciones para la informática de alto rendimiento
Calcular el genoma humano no es la única tarea en el campo de la informática de alto rendimiento (HPC, High Performance Computing). Los científicos calculan campos físicos, los ingenieros calculan piezas de aviones, los financieros calculan modelos económicos y juntos analizan big data, construyen redes neuronales y hacen muchos otros cálculos complejos.
Las tres condiciones de HPC son una enorme potencia informática, un almacenamiento muy grande y rápido y un alto rendimiento de la red. Por lo tanto, la práctica estándar para realizar cálculos de LPC es en el propio centro de datos de la empresa (on-premises) o en un proveedor en la nube.
Pero no todas las empresas tienen sus propios centros de datos, y aquellas que los tienen a menudo son inferiores a los centros de datos comerciales en términos de eficiencia de recursos (se requieren gastos de capital para comprar y actualizar hardware y software, pagar personal altamente calificado, etc.). Los proveedores de la nube, por el contrario, ofrecen recursos de TI según el modelo de costes operativos de “pago por uso”, es decir, El alquiler se cobra sólo por el período de uso. Cuando se completan los cálculos, los servidores se pueden eliminar de la cuenta, ahorrando así presupuestos de TI. Pero si existe una prohibición legislativa o corporativa sobre la transferencia de datos al proveedor, la computación HPC en la nube no está disponible.
Almacenamiento privado en múltiples nubes
La arquitectura de almacenamiento privado MultiCloud está diseñada para brindar acceso a servicios en la nube y al mismo tiempo dejar físicamente los datos en el sitio de la empresa o en un compartimento seguro separado del centro de datos mediante un servicio de colocación. Básicamente, es un modelo informático distribuido centrado en datos en el que los servidores en la nube trabajan con sistemas de almacenamiento remoto desde una nube privada. En consecuencia, utilizando el mismo almacenamiento de datos local, puede trabajar con servicios en la nube de los proveedores más importantes: AWS, MS Azure, Google Cloud Platform, etc.
Mostrando un ejemplo de la implementación de PMCS en la exposición Supercomputing-2019, Kingston presentó una muestra de un sistema de almacenamiento de datos (SSD) de alto rendimiento basado en unidades SSD DC1000M, y una de las startups en la nube presentó el software de gestión StorOne S1 para software. Almacenamiento definido y canales de comunicación dedicados con los principales proveedores de nube.
Cabe señalar que PMCS, como modelo funcional de computación en la nube con almacenamiento privado, está diseñado para el mercado norteamericano con una conectividad de red desarrollada entre centros de datos respaldada por la infraestructura de AT&T y Equinix. Por lo tanto, el ping entre un sistema de almacenamiento de colocación en cualquier nodo de Equinix Cloud Exchange y la nube de AWS es inferior a 1 milisegundo (fuente: ).
En la demostración de la arquitectura PMCS mostrada en la exposición, el sistema de almacenamiento en discos NVMe DC1000M se ubicó en colocación y se instalaron máquinas virtuales en las nubes AWS, MS Azure y Google Cloud Platform, que hacían ping entre sí. La aplicación cliente-servidor trabajó de forma remota con el sistema de almacenamiento Kingston y los servidores HP DL380 en el centro de datos y, a través de la infraestructura del canal de comunicación Equinix, accedió a las plataformas en la nube de los principales proveedores antes mencionados.
Diapositiva de la presentación de Private MultiCloud Storage en la exposición Supercomputing-2019. Fuente: Kingston
Diferentes empresas ofrecen software de funcionalidad similar para gestionar la arquitectura del almacenamiento privado multinube. Los términos para esta arquitectura también pueden sonar diferentes: almacenamiento privado multinube o almacenamiento privado para la nube.
"Las supercomputadoras actuales ejecutan una variedad de aplicaciones HPC que están a la vanguardia de los avances, desde la exploración de petróleo y gas hasta el pronóstico del tiempo, los mercados financieros y el desarrollo de nuevas tecnologías", dijo Keith Schimmenti, gerente de gestión de SSD empresarial en Kingston. “Estas aplicaciones HPC requieren una coincidencia mucho mayor entre el rendimiento del procesador y la velocidad de E/S. Estamos orgullosos de compartir cómo las soluciones de Kingston están ayudando a impulsar avances en informática, brindando el rendimiento necesario en los entornos y aplicaciones informáticas más extremos del mundo”.
Unidad DC1000M y un ejemplo de un sistema de almacenamiento basado en ella
El SSD NVMe DC1000M U.2 está diseñado por Kingston para el centro de datos y está diseñado específicamente para aplicaciones HPC y con uso intensivo de datos, como aplicaciones de inteligencia artificial (AI) y aprendizaje automático (ML).
Unidad DC1000M U.2 NVMe de 3.84TB. Fuente: Kingston
Las unidades DC1000M U.2 se basan en la memoria Intel 96D NAND de 3 capas, controlada por un controlador Silicon Motion SM2270 (PCIe 3.0 y NVMe 3.0). Silicon Motion SM2270 es un controlador NVMe empresarial de 16 carriles con interfaz PCIe 3.0 x8, bus de datos DRAM dual de 32 bits y tres procesadores duales ARM Cortex R5.
Se ofrecen para su lanzamiento DC1000M de diferentes capacidades: de 0.96 a 7.68 TB (se cree que las capacidades más populares son 3.84 y 7.68 TB). El rendimiento de la unidad se estima en 800 mil IOPS.
Sistema de almacenamiento con 10x DC1000M U.2 NVMe 7.68 TB. Fuente: Kingston
Como ejemplo de sistema de almacenamiento para aplicaciones HPC, Kingston presentó en Supercomputing 2019 una solución en rack con 10 unidades DC1000M U.2 NVMe, cada una con una capacidad de 7.68 TB. El sistema de almacenamiento se basa en el SB122A-PH, una plataforma de factor de forma 1U de AIC. Procesadores: 2x CPU Intel Xeon E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Número de pieza: KSM24RS4/16HAI). El sistema operativo instalado es Ubuntu 18.04.3 LTS, kernel de Linux versión 5.0.0-31. La prueba gfio v3.13 (probador de E/S flexible) mostró un rendimiento de lectura de 5.8 millones de IOPS con un rendimiento de 23.8 Gbps.
El sistema de almacenamiento presentado mostró características impresionantes en términos de lectura estable de 5,8 millones de IOPS (operaciones de entrada y salida por segundo). Esto es dos órdenes de magnitud más rápido que los SSD para sistemas de mercado masivo. Esta velocidad de lectura es necesaria para aplicaciones HPC que se ejecutan en procesadores especializados.
Computación en la nube HPC con almacenamiento privado en Rusia
La tarea de realizar computación de alto rendimiento en el proveedor, pero almacenar físicamente los datos en las instalaciones, también es relevante para las empresas rusas. Otro caso común en las empresas nacionales es cuando, al utilizar servicios en la nube extranjeros, los datos deben estar ubicados en el territorio de la Federación de Rusia. Solicitamos comentarios sobre estas situaciones en nombre del proveedor de nube Selectel como socio de Kingston desde hace mucho tiempo.
“En Rusia es posible construir una arquitectura similar, con servicio en ruso y todos los documentos de informes para el departamento de contabilidad del cliente. Si una empresa necesita realizar computación de alto rendimiento utilizando sistemas de almacenamiento on-premise, en Selectel alquilamos servidores con procesadores de varios tipos, incluidos , o CPU multinúcleo. Además, a través de socios, organizamos la instalación de un canal óptico dedicado entre la oficina del cliente y nuestro centro de datos”, comenta Alexander Tugov, director de desarrollo de servicios de Selectel. — El cliente también puede colocar su sistema de almacenamiento en una sala de ordenadores con un modo de acceso especial y ejecutar aplicaciones tanto en nuestros servidores como en las nubes de los proveedores globales AWS, MS Azure, Google Cloud. Por supuesto, el retraso de la señal en este último caso será mayor que si el sistema de almacenamiento del cliente estuviera ubicado en los EE. UU., pero se proporcionará una conexión de banda ancha multinube”.
En el próximo artículo hablaremos de otra solución de Kingston, que se presentó en la exposición Supercomputing 2019 (Denver, Colorado, EE. UU.) y está destinada a aplicaciones de aprendizaje automático y análisis de big data mediante GPU. Esta es la tecnología GPUDirect Storage, que proporciona transferencia directa de datos entre el almacenamiento NVMe y la memoria del procesador GPU. Y además, explicaremos cómo conseguimos alcanzar una velocidad de lectura de datos de 5.8 millones de IOPS en un sistema de almacenamiento en rack sobre discos NVMe.
Para obtener más información sobre los productos de Kingston Technology, visite .
Fuente: habr.com