Systém DGX A100, na jehož základě nedávno Jen-Hsun Huang , zahrnuje osm GPU A100, šest přepínačů NVLink 3.0, devět síťových řadičů Mellanox, dva procesory AMD EPYC Rome generace se 64 jádry, 1 TB RAM a 15 TB SSD s podporou NVMe.
NVIDIA DGX A100 je třetí generací firemních výpočetních systémů, určených především pro řešení problémů umělé inteligence. Nyní jsou takové systémy postaveny na nejnovějších grafických procesorech A100 z rodiny Ampere, což způsobuje prudký nárůst jejich výkonu, který dosáhl 5 petaflopů. Díky tomu je DGX A100 schopen zvládnout mnohem složitější modely AI a mnohem větší objemy dat.
U systému DGX A100 NVIDIA udává pouze celkové množství paměti HBM2, které dosahuje 320 GB. Jednoduché aritmetické výpočty nám umožňují určit, že každý GPU má 40 GB paměti, a obrázky nového produktu jasně ukazují, že tento objem je rozdělen mezi šest zásobníků. Zmíněna je také šířka pásma grafické paměti – 12,4 TB/s pro celý systém DGX A100 celkem.
Vezmeme-li v úvahu, že systém DGX-1, založený na osmi Tesla V100, vyprodukoval jeden petaflop ve výpočtech se smíšenou přesností a DGX A100 má výkon při pěti petaflopech, můžeme předpokládat, že ve specifických výpočtech je jeden Ampere GPU pětkrát rychlejší než jeho předchůdce s architekturou Volta. V některých případech se výhoda stává dvacetinásobnou.
Celkově systém DGX A8 poskytuje špičkový výkon 100 operací za sekundu v celočíselných operacích (INT1016), v operacích s plovoucí desetinnou čárkou s poloviční přesností (FP16) - 5 petaflopů, v operacích s pohyblivou řádovou čárkou s dvojitou přesností (FP64) - 156 teraflopů . DGX A32 navíc dosahuje špičkového výkonu 100 petaflops v TF2,5 tensor computingu. Připomeňme, že jeden teraflops je 1012 operací s plovoucí řádovou čárkou za sekundu, jeden petaflops je 1015 operací s plovoucí řádovou čárkou za sekundu.
Důležitou vlastností akcelerátorů NVIDIA A100 je možnost rozdělit zdroje jednoho GPU do sedmi virtuálních segmentů. To vám umožní výrazně zvýšit flexibilitu konfigurace ve stejném cloudovém segmentu. Například jeden systém DGX A100 s osmi fyzickými GPU může fungovat jako 56 virtuálních GPU. Technologie Multi-Instance GPU (MIG) umožňuje vybrat segmenty různých velikostí jak mezi výpočetními jádry, tak jako součást mezipaměti a paměti HBM2 a nebudou si konkurovat o šířku pásma.
Stojí za zmínku, že ve srovnání s předchozími systémy DGX doznala anatomie DGX A100 některých změn. Počet tepelných trubic v radiátorech modulů SXM3, na kterých jsou instalovány grafické procesory A100 s pamětí HBM2, se oproti modulům Tesla V100 generace Volta výrazně zvýšil, i když jejich konce jsou pohledu běžného člověka skryty. u horních krytů. Praktický limit pro toto provedení je 400 W tepelné energie. To potvrzují i dnes zveřejněné oficiální charakteristiky A100 ve verzi SXM3.
Vedle GPU A100 na základní desce je šest přepínačů rozhraní NVLink třetí generace, které dohromady zajišťují obousměrnou výměnu dat rychlostí 4,8 TB/s. NVIDIA se také vážně postarala o jejich chlazení, soudě podle plnoprofilových radiátorů s tepelnými trubicemi. Každému GPU je přiděleno 12 kanálů rozhraní NVLink, sousední GPU si mohou vyměňovat data rychlostí 600 GB/s.
Systém DGX A100 také obsahuje devět síťových řadičů Mellanox ConnectX-6 HDR, schopných přenášet informace rychlostí až 200 Gbit/s. Celkem DGX A100 poskytuje obousměrný přenos dat rychlostí 3,6 TB/s. Systém také využívá proprietární technologie Mellanox zaměřené na efektivní škálování výpočetních systémů s takovou architekturou. Podporu PCI Express 4.0 na úrovni platformy určují procesory AMD EPYC Rome generace, ve výsledku toto rozhraní využívají nejen grafické akcelerátory A100, ale také SSD s protokolem NVMe.
Kromě DGX A100 začala NVIDIA svým partnerům dodávat desky HGX A100, které jsou jednou z komponent serverových systémů, které si ostatní výrobci budou vyrábět sami. Jedna deska HGX A100 pojme čtyři nebo osm GPU NVIDIA A100. Navíc pro vlastní potřeby NVIDIA již sestavila DGX SuperPOD – shluk 140 systémů DGX A100, poskytujících výkon při 700 petaflopech s celkem skromnými celkovými rozměry. Společnost přislíbila, že poskytne metodickou pomoc partnerům, kteří chtějí vybudovat podobné výpočetní clustery založené na DGX A100. Mimochodem, NVIDIA netrvalo déle než měsíc, než postavila DGX SuperPOD místo několika měsíců nebo dokonce let typických pro takové úkoly.
Podle NVIDIA již začaly dodávky DGX A100 za cenu 199 000 $ za kopii, partneři společnosti již tyto systémy hostují ve svých cloudových clusterech, ekosystém již pokrývá 26 zemí včetně Vietnamu a Spojených arabských emirátů. Grafická řešení s architekturou Ampere budou navíc celkem předvídatelně součástí superpočítačového systému Perlmutter, který vytvořil Cray pro americké ministerstvo energetiky. Jeho součástí budou GPU NVIDIA Ampere vedle centrálních procesorů AMD EPYC Milan generace s architekturou Zen 3. Superpočítačové uzly založené na NVIDIA Ampere dorazí k zákazníkovi v druhé polovině roku, i když první kopie již dorazily do specializované laboratoře amerického oddělení.
Zdroj: 3dnews.ru