Ola Habr! Os conxuntos de datos para o Big Data e a aprendizaxe automática están a crecer de forma exponencial e temos que estar ao día con eles. O noso post sobre outra tecnoloxía innovadora no campo da computación de alto rendemento (HPC, High Performance Computing), mostrado no stand de Kingston en . Trátase do uso de sistemas de almacenamento de datos Hi-End (SDS) en servidores con unidades de procesamento gráfico (GPU) e tecnoloxía de bus GPUDirect Storage. Grazas ao intercambio directo de datos entre o sistema de almacenamento e a GPU, evitando a CPU, a carga de datos nos aceleradores da GPU é acelerada nunha orde de magnitude, polo que as aplicacións de Big Data funcionan co máximo rendemento que proporcionan as GPU. Pola súa banda, os desenvolvedores de sistemas HPC están interesados nos avances nos sistemas de almacenamento coas velocidades de E/S máis altas, como os producidos por Kingston.
O rendemento da GPU supera a carga de datos
Desde que en 2007 se creou CUDA, unha arquitectura de computación paralela de hardware e software baseada en GPU para desenvolver aplicacións de propósito xeral, as capacidades de hardware das propias GPU creceron incriblemente. Hoxe, as GPU úsanse cada vez máis en aplicacións HPC como Big Data, Machine Learning (ML) e Deep Learning (DL).
Teña en conta que, a pesar da semellanza de termos, os dous últimos son tarefas algorítmicamente diferentes. ML adestra o ordenador en función de datos estruturados, mentres que DL adestra o ordenador en función da retroalimentación dunha rede neuronal. Un exemplo para axudar a comprender as diferenzas é bastante sinxelo. Supoñamos que o ordenador debe distinguir entre as fotos de gatos e cans que se cargan desde o sistema de almacenamento. Para ML, debes enviar un conxunto de imaxes con moitas etiquetas, cada unha das cales define unha característica particular do animal. Para DL, abonda con cargar un número moito maior de imaxes, pero cunha única etiqueta "este é un gato" ou "este é un can". DL é moi semellante a como se lles ensina aos nenos pequenos: simplemente móstranselles imaxes de cans e gatos nos libros e na vida (a maioría das veces, sen sequera explicar a diferenza detallada), e o propio cerebro do neno comeza a determinar o tipo de animal despois. un certo número crítico de imaxes para comparar (segundo estimacións, estamos a falar só de cen ou dous espectáculos ao longo da primeira infancia). Os algoritmos de DL aínda non son tan perfectos: para que unha rede neuronal tamén funcione con éxito na identificación de imaxes, é necesario alimentar e procesar millóns de imaxes na GPU.
Resumo do prefacio: baseado en GPU, pode construír aplicacións HPC no campo de Big Data, ML e DL, pero hai un problema: os conxuntos de datos son tan grandes que o tempo dedicado a cargar datos desde o sistema de almacenamento á GPU comeza a reducir o rendemento xeral da aplicación. Noutras palabras, as GPU rápidas seguen infrautilizadas debido aos datos de E/S lentos procedentes doutros subsistemas. A diferenza na velocidade de E/S da GPU e do bus á CPU/sistema de almacenamento pode ser dunha orde de magnitude.
Como funciona a tecnoloxía de almacenamento GPUDirect?
O proceso de E/S está controlado pola CPU, así como o proceso de carga de datos desde o almacenamento ás GPU para o seu procesamento posterior. Isto levou a unha solicitude de tecnoloxía que proporcionase acceso directo entre as GPU e as unidades NVMe para comunicarse rapidamente entre si. NVIDIA foi a primeira en ofrecer esta tecnoloxía e chamouna GPUDirect Storage. De feito, esta é unha variación da tecnoloxía GPUDirect RDMA (Remote Direct Memory Address) que desenvolveron anteriormente.
Jensen Huang, CEO de NVIDIA, presentará GPUDirect Storage como unha variante de GPUDirect RDMA no SC-19. Fonte: NVIDIA
A diferenza entre GPUDirect RDMA e GPUDirect Storage está nos dispositivos entre os que se realiza o direccionamento. A tecnoloxía GPUDirect RDMA reúsase para mover datos directamente entre a tarxeta de interface de rede frontal (NIC) e a memoria da GPU, e o almacenamento GPUDirect proporciona unha ruta de datos directa entre o almacenamento local ou remoto, como NVMe ou NVMe sobre Fabric (NVMe-oF) e Memoria GPU.
Tanto o GPUDirect RDMA como o GPUDirect Storage evitan movementos de datos innecesarios a través dun búfer na memoria da CPU e permiten que o mecanismo de acceso directo á memoria (DMA) mova os datos desde a tarxeta de rede ou o almacenamento directamente a ou desde a memoria da GPU, todo sen carga na CPU central. Para o almacenamento GPUDirect, a localización do almacenamento non importa: pode ser un disco NVME dentro dunha unidade GPU, dentro dun rack ou conectado a través da rede como NVMe-oF.
Esquema de funcionamento de GPUDirect Storage. Fonte: NVIDIA
Os sistemas de almacenamento Hi-End en NVMe son demandados no mercado de aplicacións HPC
Ao entender que coa chegada de GPUDirect Storage, o interese dos grandes clientes verá atraído por ofrecer sistemas de almacenamento con velocidades de E/S correspondentes ao rendemento da GPU, na exposición SC-19 Kingston mostrou unha demostración dun sistema que consiste nun sistema de almacenamento baseado en discos NVMe e unha unidade cunha GPU, que analizaba miles de imaxes de satélite por segundo. Xa escribimos sobre un sistema de almacenamento deste tipo baseado en 10 unidades DC1000M U.2 NVMe .
Un sistema de almacenamento baseado en 10 unidades DC1000M U.2 NVMe complementa adecuadamente un servidor con aceleradores gráficos. Fonte: Kingston
Este sistema de almacenamento está deseñado como unha unidade de rack de 1U ou máis grande e pódese escalar dependendo do número de unidades NVMe DC1000M U.2, cada unha cunha capacidade de 3.84-7.68 TB. O DC1000M é o primeiro modelo de SSD NVMe no factor de forma U.2 na liña de unidades de centros de datos de Kingston. Ten unha clasificación de resistencia (DWPD, Drive writes per day), o que lle permite reescribir os datos ata a súa plena capacidade unha vez ao día durante a vida útil garantida da unidade.
Na proba fio v3.13 no sistema operativo Ubuntu 18.04.3 LTS, núcleo Linux 5.0.0-31-genérico, a mostra de almacenamento da exposición mostrou unha velocidade de lectura (lectura sostida) de 5.8 millóns de IOPS cun rendemento sostible (ancho de banda sostido). ) de 23.8 Gbit/s.
Ariel Pérez, xerente de negocio de SSD en Kingston, dixo sobre os novos sistemas de almacenamento: "Estamos preparados para equipar a próxima xeración de servidores con solucións SSD U.2 NVMe para eliminar moitos dos pescozos de botella de transferencia de datos que tradicionalmente se asociaron co almacenamento. A combinación de unidades SSD NVMe e a nosa DRAM Premium Server Premier fai de Kingston un dos provedores de solucións de datos de extremo a extremo máis completos da industria".
A proba gfio v3.13 mostrou un rendemento de 23.8 Gbps para o sistema de almacenamento de demostración nas unidades DC1000M U.2 NVMe. Fonte: Kingston
Como sería un sistema típico para aplicacións HPC usando GPUDirect Storage ou tecnoloxía similar? Trátase dunha arquitectura cunha separación física de unidades funcionais dentro dun rack: unha ou dúas unidades para a memoria RAM, varias máis para os nodos informáticos de GPU e CPU e unha ou máis unidades para os sistemas de almacenamento.
Co anuncio de GPUDirect Storage e a posible aparición de tecnoloxías similares doutros provedores de GPU, a demanda de Kingston de sistemas de almacenamento deseñados para o seu uso en computación de alto rendemento estase a expandir. O marcador será a velocidade de lectura de datos do sistema de almacenamento, comparable ao rendemento das tarxetas de rede de 40 ou 100 Gbit á entrada dunha unidade informática cunha GPU. Así, os sistemas de almacenamento de ultra-alta velocidade, incluíndo NVMe externo a través de Fabric, pasarán de ser exóticos ao mainstream para aplicacións HPC. Ademais dos cálculos científicos e financeiros, atoparán aplicación en moitas outras áreas prácticas, como os sistemas de seguridade a nivel metropolitano de Safe City ou os centros de vixilancia do transporte, nos que se requiren velocidades de recoñecemento e identificación de millóns de imaxes HD por segundo", subliña. o nicho de mercado do sistema de almacenamento superior
Pódese atopar máis información sobre os produtos de Kingston en empresa.
Fonte: www.habr.com