DGX A100-systemet, baserat på vilket Jen-Hsun Huang nyligen , inkluderar åtta A100 GPU: er, sex NVLink 3.0-switchar, nio Mellanox-nätverkskontroller, två AMD EPYC Rome-generationsprocessorer med 64 kärnor, 1 TB RAM och 15 TB SSD med NVMe-stöd.
NVIDIA DGX A100 är den tredje generationen av företagets datorsystem, designade främst för att lösa artificiell intelligensproblem. Nu är sådana system byggda på de senaste A100-grafikprocessorerna från Ampere-familjen, vilket orsakar en kraftig ökning av deras prestanda, som har nått 5 petaflops. Tack vare detta kan DGX A100 hantera mycket mer komplexa AI-modeller och mycket större datavolymer.
För DGX A100-systemet anger NVIDIA endast den totala mängden HBM2-minne, som når 320 GB. Enkla aritmetiska beräkningar tillåter oss att fastställa att varje GPU har 40 GB minne, och bilder av den nya produkten gör det tydligt att denna volym är fördelad på sex stackar. Grafikminnets bandbredd nämns också - 12,4 TB/s för hela DGX A100-systemet totalt.
Med tanke på att DGX-1-systemet, baserat på åtta Tesla V100:or, producerade en petaflops i beräkningar med blandad precision, och DGX A100 påstås prestera vid fem petaflops, kan vi anta att i specifika beräkningar är en Ampere GPU fem gånger snabbare än dess föregångare med Volta-arkitektur. I vissa fall blir fördelen tjugofaldig.
Totalt ger DGX A8-systemet en toppprestanda på 100 operationer per sekund i heltalsoperationer (INT1016), i halvprecisions flyttalsoperationer (FP16) - 5 petaflops, i dubbelprecisions flyttalsoperationer (FP64) - 156 teraflops . Dessutom uppnår DGX A32 en toppprestanda på 100 petaflops i TF2,5-tensorberäkningar. Låt oss komma ihåg att en teraflops är 1012 flyttalsoperationer per sekund, en petaflops är 1015 flyttalsoperationer per sekund.
En viktig egenskap hos NVIDIA A100-acceleratorer är möjligheten att dela upp resurserna för en GPU i sju virtuella segment. Detta gör att du avsevärt kan öka konfigurationsflexibiliteten i samma molnsegment. Till exempel kan ett DGX A100-system med åtta fysiska GPU:er fungera som 56 virtuella GPU:er. Multi-Instance GPU (MIG)-teknik låter dig välja segment av olika storlekar både bland datorkärnorna och som en del av cacheminne och HBM2-minne, och de kommer inte att konkurrera med varandra om bandbredd.
Det är värt att notera att jämfört med tidigare DGX-system har anatomin hos DGX A100 genomgått vissa förändringar. Antalet värmerör i radiatorerna till SXM3-modulerna, på vilka A100-grafikprocessorer med HBM2-minne är installerade, har ökat avsevärt jämfört med Tesla V100-modulerna i Volta-generationen, även om deras ändar är dolda från den genomsnittliga personens syn på vid de övre omslagen. Den praktiska gränsen för denna design är 400 W värmeenergi. Detta bekräftas också av de officiella egenskaperna hos A100 i SXM3-versionen, publicerad idag.
Bredvid A100 GPU:erna på moderkortet finns sex tredje generationens NVLink-gränssnittsswitchar, som tillsammans ger tvåvägs datautbyte med en hastighet av 4,8 TB/s. NVIDIA tog också seriöst hand om deras kylning, att döma av fullprofilsradiatorerna med värmerör. Varje GPU tilldelas 12 kanaler av NVLink-gränssnittet; angränsande GPU:er kan utbyta data med en hastighet av 600 GB/s.
DGX A100-systemet innehåller också nio Mellanox ConnectX-6 HDR-nätverkskontroller, som kan överföra information med hastigheter upp till 200 Gbit/s. Totalt ger DGX A100 tvåvägsdataöverföring med en hastighet av 3,6 TB/s. Systemet använder även egenutvecklade Mellanox-teknologier som syftar till effektiv skalning av datorsystem med en sådan arkitektur. PCI Express 4.0-stöd på plattformsnivå bestäms av AMD EPYC Rome-generationsprocessorer; som ett resultat används detta gränssnitt inte bara av A100-grafikacceleratorer utan också av solid-state-enheter med NVMe-protokollet.
Utöver DGX A100 har NVIDIA börjat förse sina partners med HGX A100-kort, som är en av komponenterna i serversystem som andra tillverkare kommer att producera på egen hand. Ett enda HGX A100-kort kan rymma antingen fyra eller åtta NVIDIA A100 GPU:er. Dessutom, för sina egna behov, har NVIDIA redan satt ihop DGX SuperPOD - ett kluster av 140 DGX A100-system, som ger prestanda vid 700 petaflops med ganska blygsamma totala dimensioner. Företaget lovade att ge metodstöd till partners som vill bygga liknande datorkluster baserade på DGX A100. Förresten, det tog NVIDIA inte mer än en månad att bygga DGX SuperPOD istället för flera månader eller till och med år typiska för sådana uppgifter.
Enligt NVIDIA har leveranser av DGX A100 redan börjat till ett pris av 199 000 $ per exemplar, företagets partners är redan värd för dessa system i sina molnkluster, ekosystemet täcker redan 26 länder, inklusive Vietnam och Förenade Arabemiraten. Dessutom kommer grafiklösningar med Ampere-arkitektur ganska förutsägbart att vara en del av superdatorsystemet Perlmutter, skapat av Cray för det amerikanska energidepartementet. Den kommer att bestå av NVIDIA Ampere grafikprocessorer tillsammans med AMD EPYC Milan generationens centralprocessorer med Zen 3-arkitektur. Superdatornoder baserade på NVIDIA Ampere kommer att nå kunden under andra halvåret, även om de första exemplaren redan har anlänt till det specialiserade laboratoriet av den amerikanska avdelningen.
Källa: 3dnews.ru