Het DGX A100-systeem, waar Jen-Hsun Huang onlangs op gebaseerd is , omvat acht A100 GPU's, zes NVLink 3.0-switches, negen Mellanox-netwerkcontrollers, twee AMD EPYC Rome-generatie processors met 64 cores, 1 TB RAM en 15 TB SSD's met NVMe-ondersteuning.
NVIDIA DGX A100 is de derde generatie computersystemen van het bedrijf, voornamelijk ontworpen voor het oplossen van problemen met kunstmatige intelligentie. Nu zijn dergelijke systemen gebouwd op de nieuwste A100 grafische processors uit de Ampere-familie, wat een sterke toename van hun prestaties veroorzaakt, die 5 petaflops hebben bereikt. Dankzij dit kan de DGX A100 veel complexere AI-modellen en veel grotere gegevensvolumes verwerken.
Voor het DGX A100-systeem geeft NVIDIA alleen de totale hoeveelheid HBM2-geheugen aan, die 320 GB bedraagt. Met eenvoudige rekenkundige berekeningen kunnen we vaststellen dat elke GPU 40 GB geheugen heeft, en afbeeldingen van het nieuwe product maken duidelijk dat dit volume over zes stapels is verdeeld. Ook de grafische geheugenbandbreedte wordt vermeld: 12,4 TB/s voor het gehele DGX A100-systeem in totaal.
Gezien het feit dat het DGX-1-systeem, gebaseerd op acht Tesla V100's, één petaflops produceerde in berekeningen met gemengde precisie, en dat de DGX A100 naar verluidt presteert bij vijf petaflops, kunnen we aannemen dat in specifieke berekeningen één Ampere GPU vijf keer sneller is dan zijn voorganger met Volta-architectuur. In sommige gevallen wordt het voordeel twintigvoudig.
In totaal levert het DGX A8-systeem piekprestaties van 100 bewerkingen per seconde bij gehele getallen (INT1016), bij half-precisie drijvende-kommabewerkingen (FP16) - 5 petaflops, bij dubbele precisie drijvende-kommabewerkingen (FP64) - 156 teraflops . Bovendien bereikt de DGX A32 topprestaties van 100 petaflops in TF2,5-tensorcomputers. Laten we ons herinneren dat één teraflops 1012 drijvende-kommabewerkingen per seconde is, en één petaflops 1015 drijvende-kommabewerkingen per seconde.
Een belangrijk kenmerk van NVIDIA A100-accelerators is de mogelijkheid om de bronnen van één GPU in zeven virtuele segmenten te verdelen. Hierdoor kunt u de configuratieflexibiliteit in hetzelfde cloudsegment aanzienlijk vergroten. Eén DGX A100-systeem met acht fysieke GPU's kan bijvoorbeeld fungeren als 56 virtuele GPU's. Met Multi-Instance GPU (MIG)-technologie kunt u segmenten van verschillende grootte selecteren, zowel tussen de computerkernen als als onderdeel van het cachegeheugen en HBM2-geheugen, en ze zullen niet met elkaar concurreren om bandbreedte.
Het is vermeldenswaard dat de anatomie van de DGX A100, vergeleken met eerdere DGX-systemen, enkele veranderingen heeft ondergaan. Het aantal heatpipes in de radiatoren van de SXM3-modules, waarop A100 grafische processors met HBM2-geheugen zijn geïnstalleerd, is aanzienlijk toegenomen in vergelijking met de Tesla V100-modules van de Volta-generatie, hoewel hun uiteinden voor de gemiddelde persoon verborgen zijn door de bovenste deksels. De praktische limiet voor dit ontwerp is 400 W thermische energie. Dit wordt ook bevestigd door de officiële kenmerken van de A100 in de vandaag gepubliceerde SXM3-versie.
Naast de A100 GPU's op het moederbord bevinden zich zes NVLink-interfaceswitches van de derde generatie, die samen zorgen voor tweerichtingsdata-uitwisseling met een snelheid van 4,8 TB/s. NVIDIA zorgde ook serieus voor hun koeling, getuige de full-profile radiatoren met heatpipes. Elke GPU krijgt 12 kanalen van de NVLink-interface toegewezen; naburige GPU's kunnen gegevens uitwisselen met een snelheid van 600 GB/s.
Het DGX A100-systeem herbergt ook negen Mellanox ConnectX-6 HDR-netwerkcontrollers, die informatie kunnen verzenden met snelheden tot 200 Gbit/s. In totaal biedt de DGX A100 tweerichtingsgegevensoverdracht met een snelheid van 3,6 TB/s. Het systeem maakt ook gebruik van eigen Mellanox-technologieën die gericht zijn op het efficiënt schalen van computersystemen met een dergelijke architectuur. PCI Express 4.0-ondersteuning op platformniveau wordt bepaald door AMD EPYC Rome-generatieprocessors; als gevolg hiervan wordt deze interface niet alleen gebruikt door A100 grafische versnellers, maar ook door solid-state drives met het NVMe-protocol.
Naast de DGX A100 is NVIDIA begonnen haar partners te voorzien van HGX A100-kaarten, een van de componenten van serversystemen die andere fabrikanten zelf zullen produceren. Eén HGX A100-bord biedt plaats aan vier of acht NVIDIA A100 GPU's. Bovendien heeft NVIDIA voor zijn eigen behoeften al DGX SuperPOD samengesteld - een cluster van 140 DGX A100-systemen, die prestaties leveren op 700 petaflops met vrij bescheiden algemene afmetingen. Het bedrijf beloofde methodologische hulp te bieden aan partners die soortgelijke computerclusters willen bouwen op basis van de DGX A100. Trouwens, het kostte NVIDIA niet meer dan een maand om de DGX SuperPOD te bouwen, in plaats van enkele maanden of zelfs jaren die normaal zijn voor dergelijke taken.
Volgens NVIDIA zijn de leveringen van de DGX A100 al begonnen voor een prijs van $199 per exemplaar. De partners van het bedrijf hosten deze systemen al in hun cloudclusters en het ecosysteem bestrijkt al 000 landen, waaronder Vietnam en de VAE. Bovendien zullen grafische oplossingen met Ampere-architectuur vrij voorspelbaar deel uitmaken van het Perlmutter-supercomputersysteem, gemaakt door Cray voor het Amerikaanse ministerie van Energie. Het zal bestaan uit NVIDIA Ampere grafische processors naast AMD EPYC Milanese generatie centrale processors met Zen 26-architectuur. Supercomputernodes gebaseerd op NVIDIA Ampere zullen de klant in de tweede helft van het jaar bereiken, hoewel de eerste exemplaren al zijn aangekomen in het gespecialiseerde laboratorium van de Amerikaanse afdeling.
Bron: 3dnews.ru