DGX A100-systemet, baseret på hvilket Jen-Hsun Huang for nylig , inkluderer otte A100 GPU'er, seks NVLink 3.0-switche, ni Mellanox-netværkscontrollere, to AMD EPYC Rome-generationsprocessorer med 64 kerner, 1 TB RAM og 15 TB SSD'er med NVMe-understøttelse.
NVIDIA DGX A100 er tredje generation af virksomhedens computersystemer, designet primært til at løse kunstig intelligens problemer. Nu er sådanne systemer bygget på de nyeste A100-grafikprocessorer fra Ampere-familien, hvilket forårsager en kraftig stigning i deres ydeevne, som har nået 5 petaflops. Takket være dette er DGX A100 i stand til at håndtere meget mere komplekse AI-modeller og meget større datamængder.
For DGX A100-systemet angiver NVIDIA kun den samlede mængde HBM2-hukommelse, som når 320 GB. Simple aritmetiske beregninger giver os mulighed for at bestemme, at hver GPU har 40 GB hukommelse, og billeder af det nye produkt gør det klart, at dette volumen er fordelt på seks stakke. Grafikhukommelsesbåndbredden er også nævnt - 12,4 TB/s for hele DGX A100 systemet i alt.
I betragtning af, at DGX-1-systemet, baseret på otte Tesla V100'ere, producerede én petaflops i beregninger med blandet præcision, og DGX A100 hævdes at yde ved fem petaflops, kan vi antage, at i specifikke beregninger er en Ampere GPU fem gange hurtigere end sin forgænger med Volta-arkitektur. I nogle tilfælde bliver fordelen tyvedobbelt.
I alt giver DGX A8-systemet en maksimal ydeevne på 100 operationer pr. sekund i heltal operationer (INT1016), i halvpræcision flydende komma operationer (FP16) - 5 petaflops, i dobbelt præcision flydende komma operationer (FP64) - 156 teraflops . Derudover opnår DGX A32 en maksimal ydeevne på 100 petaflops i TF2,5 tensor computing. Lad os huske på, at en teraflops er 1012 flydende kommaoperationer per sekund, en petaflops er 1015 flydende kommaoperationer per sekund.
En vigtig egenskab ved NVIDIA A100-acceleratorer er evnen til at opdele ressourcerne i en GPU i syv virtuelle segmenter. Dette giver dig mulighed for markant at øge konfigurationsfleksibiliteten i det samme skysegment. For eksempel kan et DGX A100-system med otte fysiske GPU'er fungere som 56 virtuelle GPU'er. Multi-Instance GPU (MIG) teknologi giver dig mulighed for at vælge segmenter af forskellig størrelse både blandt computerkernerne og som en del af cache-hukommelse og HBM2-hukommelse, og de vil ikke konkurrere med hinanden om båndbredde.
Det er værd at bemærke, at sammenlignet med tidligere DGX-systemer har anatomien af DGX A100 undergået nogle ændringer. Antallet af varmerør i radiatorerne på SXM3-modulerne, hvorpå der er installeret A100-grafikprocessorer med HBM2-hukommelse, er steget markant sammenlignet med Tesla V100-modulerne i Volta-generationen, selvom deres ender er skjult for den gennemsnitlige persons syn. ved de øverste dæksler. Den praktiske grænse for dette design er 400 W termisk energi. Dette bekræftes også af de officielle karakteristika for A100 i SXM3-versionen, offentliggjort i dag.
Ved siden af A100 GPU'erne på bundkortet er der seks tredjegenerations NVLink-interfaceswitche, som tilsammen giver tovejs dataudveksling med en hastighed på 4,8 TB/s. NVIDIA tog sig også seriøst af deres afkøling, at dømme efter de fuldprofils radiatorer med varmerør. Hver GPU er tildelt 12 kanaler af NVLink-grænsefladen; nabo-GPU'er kan udveksle data med en hastighed på 600 GB/s.
DGX A100-systemet rummer også ni Mellanox ConnectX-6 HDR-netværkscontrollere, der er i stand til at transmittere information med hastigheder på op til 200 Gbit/s. I alt giver DGX A100 tovejs dataoverførsel med en hastighed på 3,6 TB/s. Systemet bruger også proprietære Mellanox-teknologier rettet mod effektiv skalering af computersystemer med en sådan arkitektur. PCI Express 4.0-understøttelse på platformsniveau bestemmes af AMD EPYC Rome-generationsprocessorer; som følge heraf bruges denne grænseflade ikke kun af A100-grafikacceleratorer, men også af solid-state-drev med NVMe-protokollen.
Udover DGX A100 er NVIDIA begyndt at forsyne sine partnere med HGX A100-kort, som er en af komponenterne i serversystemer, som andre producenter vil producere på egen hånd. Et enkelt HGX A100-kort kan rumme enten fire eller otte NVIDIA A100 GPU'er. Derudover har NVIDIA allerede til sine egne behov samlet DGX SuperPOD - en klynge af 140 DGX A100-systemer, der giver ydeevne ved 700 petaflops med forholdsvis beskedne overordnede dimensioner. Virksomheden lovede at yde metodisk bistand til partnere, der ønsker at bygge lignende computerklynger baseret på DGX A100. Forresten tog det NVIDIA ikke mere end en måned at bygge DGX SuperPOD'en i stedet for flere måneder eller endda år typiske for sådanne opgaver.
Ifølge NVIDIA er leverancerne af DGX A100 allerede begyndt til en pris på 199 $ pr. Derudover vil grafikløsninger med Ampere-arkitektur ganske forudsigeligt være en del af Perlmutter-supercomputersystemet, skabt af Cray for det amerikanske energiministerium. Den kommer til at bestå af NVIDIA Ampere grafikprocessorer sammen med AMD EPYC Milan generation centralprocessorer med Zen 000-arkitektur. Supercomputer noder baseret på NVIDIA Ampere vil nå kunden i andet halvår, selvom de første kopier allerede er ankommet til det specialiserede laboratorium af den amerikanske afdeling.
Kilde: 3dnews.ru