Sistemul DGX A100, pe baza căruia Jen-Hsun Huang recent , include opt GPU-uri A100, șase switch-uri NVLink 3.0, nouă controlere de rețea Mellanox, două procesoare AMD EPYC din generația Roma cu 64 de nuclee, 1 TB de RAM și 15 TB de SSD-uri cu suport NVMe.
NVIDIA DGX A100 este a treia generație de sisteme de calcul ale companiei, concepute în primul rând pentru rezolvarea problemelor de inteligență artificială. Acum astfel de sisteme sunt construite pe cele mai noi procesoare grafice A100 din familia Ampere, ceea ce determină o creștere bruscă a performanței acestora, care a ajuns la 5 petaflopi. Datorită acestui fapt, DGX A100 este capabil să gestioneze modele AI mult mai complexe și volume mult mai mari de date.
Pentru sistemul DGX A100, NVIDIA indică doar cantitatea totală de memorie HBM2, care ajunge la 320 GB. Calculele aritmetice simple ne permit să stabilim că fiecare GPU are 40 GB de memorie, iar imaginile noului produs arată clar că acest volum este distribuit în șase stive. Este menționată și lățimea de bandă a memoriei grafice - 12,4 TB/s pentru întregul sistem DGX A100 în total.
Având în vedere că sistemul DGX-1, bazat pe opt Tesla V100, a produs un petaflops în calcule cu precizie mixtă, iar DGX A100 se pretinde că funcționează la cinci petaflopi, putem presupune că în calcule specifice un GPU Ampere este de cinci ori mai rapid decât predecesorul său cu arhitectura Volta. În unele cazuri, avantajul devine de douăzeci.
În total, sistemul DGX A8 oferă o performanță de vârf de 100 operații pe secundă în operațiuni cu numere întregi (INT1016), în operațiuni cu virgulă mobilă de jumătate de precizie (FP16) - 5 petaflopi, în operațiuni cu virgulă mobilă cu precizie dublă (FP64) - 156 teraflopi . În plus, DGX A32 atinge o performanță de vârf de 100 petaflopi în calculul tensorului TF2,5. Să ne amintim că un teraflops înseamnă 1012 operațiuni în virgulă mobilă pe secundă, un petaflops înseamnă 1015 operațiuni în virgulă mobilă pe secundă.
O caracteristică importantă a acceleratoarelor NVIDIA A100 este capacitatea de a împărți resursele unui GPU în șapte segmente virtuale. Acest lucru vă permite să creșteți semnificativ flexibilitatea configurației în același segment de cloud. De exemplu, un sistem DGX A100 cu opt GPU-uri fizice poate acționa ca 56 de GPU-uri virtuale. Tehnologia Multi-Instance GPU (MIG) vă permite să selectați segmente de diferite dimensiuni atât dintre nucleele de calcul, cât și ca parte a memoriei cache și a memoriei HBM2 și nu vor concura între ele pentru lățimea de bandă.
Este de remarcat faptul că, în comparație cu sistemele DGX anterioare, anatomia DGX A100 a suferit unele modificări. Numărul conductelor de căldură din caloriferele modulelor SXM3, pe care sunt instalate procesoare grafice A100 cu memorie HBM2, a crescut semnificativ în comparație cu modulele Tesla V100 din generația Volta, deși capetele lor sunt ascunse vederii omului obișnuit. de capacele superioare. Limita practică pentru acest design este de 400 W de energie termică. Acest lucru este confirmat și de caracteristicile oficiale ale lui A100 în versiunea SXM3, publicate astăzi.
Alături de GPU-urile A100 de pe placa de bază sunt șase switch-uri de interfață NVLink de a treia generație, care împreună oferă schimb de date în două sensuri la o viteză de 4,8 TB/s. NVIDIA a avut grijă, de asemenea, de răcirea lor, judecând după radiatoarele cu profil complet cu conducte de căldură. Fiecărui GPU îi sunt alocate 12 canale ale interfeței NVLink; GPU-urile vecine pot face schimb de date la o viteză de 600 GB/s.
Sistemul DGX A100 găzduiește și nouă controlere de rețea Mellanox ConnectX-6 HDR, capabile să transmită informații la viteze de până la 200 Gbit/s. În total, DGX A100 oferă transfer de date în două sensuri la o viteză de 3,6 TB/s. Sistemul folosește, de asemenea, tehnologii Mellanox proprietare care vizează scalarea eficientă a sistemelor de calcul cu o astfel de arhitectură. Suportul PCI Express 4.0 la nivel de platformă este determinat de procesoarele din generația AMD EPYC Rome; ca urmare, această interfață este utilizată nu numai de acceleratoarele grafice A100, ci și de unitățile SSD cu protocolul NVMe.
Pe lângă DGX A100, NVIDIA a început să furnizeze partenerilor săi plăci HGX A100, care sunt una dintre componentele sistemelor server pe care alți producători le vor produce singuri. O singură placă HGX A100 poate găzdui fie patru sau opt GPU-uri NVIDIA A100. În plus, pentru propriile nevoi, NVIDIA a asamblat deja DGX SuperPOD - un cluster de 140 de sisteme DGX A100, oferind performanță la 700 de petaflopi cu dimensiuni de gabarit destul de modeste. Compania a promis că va oferi asistență metodologică partenerilor care doresc să construiască clustere de calcul similare bazate pe DGX A100. Apropo, NVIDIA nu a durat mai mult de o lună pentru a construi DGX SuperPOD în loc de câteva luni sau chiar ani tipice pentru astfel de sarcini.
Potrivit NVIDIA, livrările lui DGX A100 au început deja la un preț de 199 USD per copie, partenerii companiei găzduiesc deja aceste sisteme în clusterele lor cloud, ecosistemul acoperă deja 000 de țări, inclusiv Vietnam și Emiratele Arabe Unite. În plus, soluțiile grafice cu arhitectură Ampere vor face parte din sistemul de supercomputer Perlmutter, creat de Cray pentru Departamentul de Energie al SUA. Acesta va include GPU-uri NVIDIA Ampere alături de procesoare centrale din generația AMD EPYC Milano cu arhitectură Zen 26. Nodurile de supercomputer bazate pe NVIDIA Ampere vor ajunge la client în a doua jumătate a anului, deși primele copii au ajuns deja la laboratorul de specialitate al americanului departament.
Sursa: 3dnews.ru