[Supercalcul 2019]. Le stockage multi-cloud comme domaine d'application pour les nouveaux disques Kingston DC1000M

Imaginez que vous lancez une entreprise médicale innovante : une sélection individuelle de médicaments basée sur l'analyse du génome humain. Chaque patient possède 3 milliards de paires de gènes, et le calcul d'un serveur standard sur processeurs x86 prendra plusieurs jours. Vous savez que vous pouvez accélérer le processus sur un serveur doté d'un processeur FPGA qui parallélise les calculs sur des milliers de threads. Le calcul du génome sera terminé en une heure environ. Ces serveurs peuvent être loués auprès d'Amazon Web Services (AWS). Mais voici le problème : le client, l’hôpital, s’oppose catégoriquement au placement de données génétiques dans le cloud du fournisseur. Que dois-je faire? Kingston et une startup cloud ont présenté leur architecture au salon Supercomputing-2019 Stockage multicloud privé (PMCS), ce qui résout ce problème.

Trois conditions pour le calcul haute performance

Le calcul du génome humain n’est pas la seule tâche dans le domaine du calcul haute performance (HPC, High Performance Computing). Les scientifiques calculent des champs physiques, les ingénieurs calculent des pièces d’avion, les financiers calculent des modèles économiques et, ensemble, ils analysent des mégadonnées, construisent des réseaux neuronaux et effectuent de nombreux autres calculs complexes.

Les trois conditions du HPC sont une puissance de calcul énorme, un stockage très volumineux et rapide et un débit réseau élevé. Par conséquent, la pratique standard pour effectuer les calculs LPC se fait dans le propre centre de données de l’entreprise (sur site) ou chez un fournisseur dans le cloud.

Mais toutes les entreprises ne disposent pas de leurs propres centres de données, et celles qui en disposent sont souvent inférieures aux centres de données commerciaux en termes d'efficacité des ressources (des dépenses en capital sont nécessaires pour acheter et mettre à jour le matériel et les logiciels, payer le personnel hautement qualifié, etc.). Les fournisseurs de cloud, au contraire, proposent des ressources informatiques selon le modèle de coût d'exploitation « Pay-as-you-go », c'est-à-dire le loyer n'est facturé que pour la période d'utilisation. Une fois les calculs terminés, les serveurs peuvent être supprimés du compte, économisant ainsi les budgets informatiques. Mais s'il existe une interdiction légale ou d'entreprise de transférer des données au fournisseur, le calcul HPC dans le cloud n'est pas disponible.

Stockage multicloud privé

L'architecture Private MultiCloud Storage est conçue pour fournir un accès aux services cloud tout en laissant physiquement les données elles-mêmes sur le site de l'entreprise ou dans un compartiment sécurisé séparé du centre de données à l'aide d'un service de colocation. Il s’agit essentiellement d’un modèle informatique distribué centré sur les données dans lequel les serveurs cloud fonctionnent avec des systèmes de stockage distants à partir d’un cloud privé. Ainsi, en utilisant le même stockage de données local, vous pouvez travailler avec les services cloud des plus grands fournisseurs : AWS, MS Azure, Google Cloud Platform‎, etc.

Présentant un exemple de mise en œuvre de PMCS au salon Supercomputing-2019, Kingston a présenté un échantillon d'un système de stockage de données (SSD) hautes performances basé sur des disques SSD DC1000M, et l'une des startups cloud a présenté le logiciel de gestion StorOne S1 pour les logiciels. stockage défini et canaux de communication dédiés avec les principaux fournisseurs de cloud.

Il convient de noter que PMCS, en tant que modèle fonctionnel de cloud computing avec stockage privé, est conçu pour le marché nord-américain avec une connectivité réseau développée entre les centres de données qui est prise en charge sur l'infrastructure AT&T et Equinix. Ainsi, le ping entre un système de stockage en colocation dans n'importe quel nœud Equinix Cloud Exchange et le cloud AWS est inférieur à 1 milliseconde (source : ITProAujourd'hui).

Dans la démonstration de l'architecture PMCS présentée lors de l'exposition, le système de stockage sur disques DC1000M NVMe était situé en colocation et des machines virtuelles étaient installées dans les cloud AWS, MS Azure et Google Cloud Platform, qui se pingaient mutuellement. L'application client-serveur fonctionnait à distance avec le système de stockage Kingston et les serveurs HP DL380 dans le centre de données et, via l'infrastructure des canaux de communication Equinix, accédait aux plates-formes cloud des principaux fournisseurs mentionnés ci-dessus.

Diapositive de la présentation de Private MultiCloud Storage au salon Supercomputing-2019. Source : Kingston

Des logiciels dotés de fonctionnalités similaires pour gérer l'architecture du stockage multicloud privé sont proposés par différentes sociétés. Les termes désignant cette architecture peuvent également sonner différemment : Private MultiCloud Storage ou Private Storage for Cloud.

« Les supercalculateurs d'aujourd'hui exécutent une variété d'applications HPC qui sont à la pointe des avancées, de l'exploration pétrolière et gazière aux prévisions météorologiques, en passant par les marchés financiers et le développement de nouvelles technologies », a déclaré Keith Schimmenti, responsable de la gestion des SSD d'entreprise à Kingston. « Ces applications HPC nécessitent une bien meilleure adéquation entre les performances du processeur et la vitesse des E/S. Nous sommes fiers de partager comment les solutions Kingston contribuent à réaliser des percées dans le domaine informatique, en fournissant les performances nécessaires dans les environnements et applications informatiques les plus extrêmes au monde.

Lecteur DC1000M et un exemple de système de stockage basé sur celui-ci

Le SSD DC1000M U.2 NVMe est conçu par Kingston pour le centre de données et est spécialement conçu pour les applications HPC et gourmandes en données telles que les applications d'intelligence artificielle (IA) et d'apprentissage automatique (ML).

Disque DC1000M U.2 NVMe 3.84 To. Source : Kingston

Les disques DC1000M U.2 sont basés sur une mémoire Intel 96D NAND à 3 couches, contrôlée par un contrôleur Silicon Motion SM2270 (PCIe 3.0 et NVMe 3.0). Le Silicon Motion SM2270 est un contrôleur NVMe d'entreprise à 16 voies avec interface PCIe 3.0 x8, double bus de données DRAM 32 bits et trois doubles processeurs ARM Cortex R5.

Le DC1000M de différentes capacités est proposé à la sortie : de 0.96 à 7.68 To (les capacités les plus populaires seraient 3.84 et 7.68 To). Les performances du disque sont estimées à 800 XNUMX IOPS.

Système de stockage avec 10x DC1000M U.2 NVMe 7.68 To. Source : Kingston

À titre d'exemple de système de stockage pour les applications HPC, Kingston a présenté au Supercomputing 2019 une solution rack avec 10 disques DC1000M U.2 NVMe, chacun d'une capacité de 7.68 To. Le système de stockage est basé sur le SB122A-PH, une plate-forme au facteur de forme 1U d'AIC. Processeurs : 2x processeur Intel Xeon E5-2660, Kingston DRAM 128 Go (8 x 16 Go) DDR4-2400 (numéro de pièce : KSM24RS4/16HAI). Le système d'exploitation installé est Ubuntu 18.04.3 LTS, noyau Linux ver 5.0.0-31. Le test gfio v3.13 (Flexible I/O tester) a montré des performances de lecture de 5.8 millions d'IOPS avec un débit de 23.8 Gbps.

Le système de stockage présenté a montré des caractéristiques impressionnantes en termes de lecture stable de 5,8 millions d'IOPS (opérations d'entrée-sortie par seconde). C'est deux ordres de grandeur plus rapide que les SSD pour les systèmes du marché de masse. Cette vitesse de lecture est nécessaire pour les applications HPC exécutées sur des processeurs spécialisés.

Cloud computing HPC avec stockage privé en Russie

La tâche consistant à effectuer du calcul haute performance chez le fournisseur, tout en stockant physiquement les données sur site, est également pertinente pour les entreprises russes. Un autre cas courant dans les entreprises nationales est celui où, lors de l'utilisation de services cloud étrangers, les données doivent être situées sur le territoire de la Fédération de Russie. Nous avons demandé des commentaires sur ces situations de la part du fournisseur de cloud Selectel, partenaire de longue date de Kingston.

« En Russie, il est possible de construire une architecture similaire, avec un service en russe et tous les documents de reporting pour le service comptable du client. Si une entreprise a besoin d'effectuer du calcul haute performance à l'aide de systèmes de stockage sur site, chez Selectel, nous louons des serveurs dotés de processeurs de différents types, notamment FPGA, GPU ou des processeurs multicœurs. De plus, par l'intermédiaire de partenaires, nous organisons la pose d'un canal optique dédié entre le bureau du client et notre centre de données », commente Alexander Tugov, directeur du développement des services chez Selectel. — Le client peut également placer son système de stockage en colocation dans une salle informatique avec un mode d'accès spécial et exécuter des applications à la fois sur nos serveurs et dans les cloud des fournisseurs mondiaux AWS, MS Azure, Google Cloud. Bien entendu, le retard du signal dans ce dernier cas sera plus élevé que si le système de stockage du client était situé aux États-Unis, mais une connexion multi-cloud haut débit sera fournie.

Dans le prochain article, nous parlerons d'une autre solution Kingston, présentée au salon Supercomputing 2019 (Denver, Colorado, États-Unis) et destinée aux applications d'apprentissage automatique et à l'analyse de big data à l'aide de GPU. Il s'agit de la technologie GPUDirect Storage, qui permet un transfert direct de données entre le stockage NVMe et la mémoire du processeur GPU. Et en plus, nous expliquerons comment nous avons réussi à atteindre une vitesse de lecture des données de 5.8 millions d'IOPS dans un système de stockage en rack sur disques NVMe.

Pour plus d'informations sur les produits Kingston Technology, veuillez visiter Le site de l'entreprise.

Source: habr.com