Le système DGX A100, sur lequel Jen-Hsun Huang a récemment , comprend huit GPU A100, six commutateurs NVLink 3.0, neuf contrôleurs réseau Mellanox, deux processeurs AMD EPYC Rome de génération avec 64 cœurs, 1 To de RAM et 15 To de SSD avec prise en charge NVMe.
NVIDIA DGX A100 est la troisième génération de systèmes informatiques de la société, conçue principalement pour résoudre les problèmes d'intelligence artificielle. Désormais, ces systèmes sont construits sur les derniers processeurs graphiques A100 de la famille Ampere, ce qui entraîne une forte augmentation de leurs performances, qui ont atteint 5 pétaflops. Grâce à cela, le DGX A100 est capable de gérer des modèles d’IA beaucoup plus complexes et des volumes de données bien plus importants.
Pour le système DGX A100, NVIDIA indique uniquement la quantité totale de mémoire HBM2, qui atteint 320 Go. De simples calculs arithmétiques nous permettent de déterminer que chaque GPU dispose de 40 Go de mémoire, et les images du nouveau produit montrent clairement que ce volume est réparti entre six piles. La bande passante de la mémoire graphique est également mentionnée - 12,4 To/s pour l'ensemble du système DGX A100 au total.
Considérant que le système DGX-1, basé sur huit Tesla V100, a produit un pétaflops dans des calculs à précision mixte, et que le DGX A100 est censé fonctionner à cinq pétaflops, nous pouvons supposer que dans des calculs spécifiques, un GPU Ampere est cinq fois plus rapide que son prédécesseur avec l'architecture Volta. Dans certains cas, l’avantage est multiplié par vingt.
Au total, le système DGX A8 offre des performances maximales de 100 opérations par seconde en opérations entières (INT1016), en opérations en virgule flottante demi-précision (FP16) - 5 pétaflops, en opérations en virgule flottante double précision (FP64) - 156 téraflops . De plus, le DGX A32 atteint une performance maximale de 100 pétaflops en calcul tensoriel TF2,5. Rappelons qu'un téraflops équivaut à 1012 opérations à virgule flottante par seconde, un pétaflops équivaut à 1015 opérations à virgule flottante par seconde.
Une caractéristique importante des accélérateurs NVIDIA A100 est la possibilité de diviser les ressources d'un GPU en sept segments virtuels. Cela vous permet d'augmenter considérablement la flexibilité de configuration dans le même segment cloud. Par exemple, un système DGX A100 doté de huit GPU physiques peut faire office de 56 GPU virtuels. La technologie GPU multi-instance (MIG) vous permet de sélectionner des segments de différentes tailles à la fois parmi les cœurs de calcul et dans le cadre de la mémoire cache et de la mémoire HBM2, et ils ne se concurrenceront pas pour la bande passante.
Il convient de noter que par rapport aux systèmes DGX précédents, l'anatomie du DGX A100 a subi quelques modifications. Le nombre de caloducs dans les radiateurs des modules SXM3, sur lesquels sont installés des processeurs graphiques A100 avec mémoire HBM2, a considérablement augmenté par rapport aux modules Tesla V100 de la génération Volta, bien que leurs extrémités soient cachées à la vue du profane. par les capots supérieurs. La limite pratique pour cette conception est de 400 W d'énergie thermique. Ceci est également confirmé par les caractéristiques officielles de l'A100 en version SXM3, publiées aujourd'hui.
À côté des GPU A100 sur la carte mère se trouvent six commutateurs d'interface NVLink de troisième génération, qui assurent ensemble un échange de données bidirectionnel à une vitesse de 4,8 To/s. NVIDIA a également pris soin de leur refroidissement, à en juger par les radiateurs complets avec caloducs. Chaque GPU se voit attribuer 12 canaux de l'interface NVLink ; les GPU voisins peuvent échanger des données à une vitesse de 600 Go/s.
Le système DGX A100 abrite également neuf contrôleurs réseau Mellanox ConnectX-6 HDR, capables de transmettre des informations à des vitesses allant jusqu'à 200 Gbit/s. Au total, le DGX A100 assure un transfert de données bidirectionnel à une vitesse de 3,6 To/s. Le système utilise également des technologies propriétaires Mellanox visant à une mise à l'échelle efficace des systèmes informatiques dotés d'une telle architecture. La prise en charge de PCI Express 4.0 au niveau de la plate-forme est déterminée par les processeurs de la génération AMD EPYC Rome ; par conséquent, cette interface est utilisée non seulement par les accélérateurs graphiques A100, mais également par les disques SSD avec le protocole NVMe.
En plus du DGX A100, NVIDIA a commencé à fournir à ses partenaires des cartes HGX A100, qui sont l'un des composants des systèmes serveurs que d'autres fabricants produiront eux-mêmes. Une seule carte HGX A100 peut accueillir quatre ou huit GPU NVIDIA A100. De plus, pour ses propres besoins, NVIDIA a déjà assemblé DGX SuperPOD - un cluster de 140 systèmes DGX A100, offrant des performances à 700 pétaflops avec des dimensions globales assez modestes. L'entreprise s'est engagée à apporter une assistance méthodologique aux partenaires souhaitant construire des clusters de calcul similaires basés sur le DGX A100. À propos, il n'a fallu pas plus d'un mois à NVIDIA pour construire le DGX SuperPOD, au lieu de plusieurs mois, voire années, habituels pour de telles tâches.
Selon NVIDIA, les livraisons du DGX A100 ont déjà commencé au prix de 199 000 $ l'exemplaire, les partenaires de l'entreprise hébergent déjà ces systèmes dans leurs clusters cloud, l'écosystème couvre déjà 26 pays, dont le Vietnam et les Émirats arabes unis. De plus, les solutions graphiques avec l'architecture Ampere feront, comme on pouvait s'y attendre, partie du système de supercalculateur Perlmutter, créé par Cray pour le département américain de l'Énergie. Il comprendra des GPU NVIDIA Ampere aux côtés de processeurs centraux AMD EPYC de génération Milan avec architecture Zen 3. Les nœuds de supercalculateurs basés sur NVIDIA Ampere arriveront chez le client au cours du second semestre, même si les premiers exemplaires sont déjà arrivés au laboratoire spécialisé de l'américain. département.
Source: 3dnews.ru