Системата DGX A100, базирана на Jen-Hsun Huang наскоро , включва осем графични процесора A100, шест превключвателя NVLink 3.0, девет мрежови контролера Mellanox, два процесора от поколение AMD EPYC Rome с 64 ядра, 1 TB RAM и 15 TB SSD с поддръжка на NVMe.
NVIDIA DGX A100 е третото поколение изчислителни системи на компанията, предназначени предимно за решаване на проблеми с изкуствения интелект. Сега такива системи са изградени върху най-новите графични процесори A100 от семейството Ampere, което води до рязко увеличение на тяхната производителност, която достигна 5 петафлопа. Благодарение на това DGX A100 може да обработва много по-сложни AI модели и много по-големи обеми от данни.
За системата DGX A100 NVIDIA посочва само общото количество памет HBM2, което достига 320 GB. Простите аритметични изчисления ни позволяват да определим, че всеки GPU има 40 GB памет, а изображенията на новия продукт ясно показват, че този обем е разпределен между шест стека. Споменава се и пропускателната способност на графичната памет - 12,4 TB/s общо за цялата система DGX A100.
Като се има предвид, че системата DGX-1, базирана на осем Tesla V100, произведе един петафлопс при изчисления със смесена точност, а за DGX A100 се твърди, че работи при пет петафлопа, можем да предположим, че при конкретни изчисления един Ampere GPU е пет пъти по-бърз от неговият предшественик с архитектура Volta. В някои случаи предимството става двадесеткратно.
Като цяло системата DGX A8 осигурява пикова производителност от 100 операции в секунда при цели числа (INT1016), при операции с плаваща запетая с половин точност (FP16) - 5 петафлопа, при операции с плаваща запетая с двойна точност (FP64) - 156 терафлопа . Освен това DGX A32 постига пикова производителност от 100 петафлопа при тензорни изчисления TF2,5. Нека припомним, че един терафлопс е 1012 операции с плаваща запетая в секунда, един петафлопс е 1015 операции с плаваща запетая в секунда.
Важна характеристика на ускорителите NVIDIA A100 е възможността ресурсите на един GPU да се разделят на седем виртуални сегмента. Това ви позволява значително да увеличите гъвкавостта на конфигурацията в същия облачен сегмент. Например, една система DGX A100 с осем физически GPU може да действа като 56 виртуални GPU. Технологията Multi-Instance GPU (MIG) ви позволява да избирате сегменти с различни размери както между изчислителните ядра, така и като част от кеш паметта и HBM2 паметта, като те няма да се конкурират помежду си за честотна лента.
Струва си да се отбележи, че в сравнение с предишните системи DGX, анатомията на DGX A100 е претърпяла някои промени. Броят на топлинните тръби в радиаторите на модулите SXM3, на които са инсталирани графични процесори A100 с памет HBM2, се е увеличил значително в сравнение с модулите Tesla V100 от поколението Volta, въпреки че техните краища са скрити от погледа на обикновения човек. от горните капаци. Практическата граница за този дизайн е 400 W топлинна енергия. Това се потвърждава и от официалните характеристики на A100 във версия SXM3, публикувани днес.
До графичните процесори A100 на дънната платка има шест NVLink интерфейсни превключвателя от трето поколение, които заедно осигуряват двупосочен обмен на данни със скорост от 4,8 TB/s. NVIDIA също са се погрижили сериозно за тяхното охлаждане, съдейки по пълнопрофилните радиатори с топлинни тръби. На всеки GPU са разпределени 12 канала на интерфейса NVLink; съседните GPU могат да обменят данни със скорост от 600 GB/s.
Системата DGX A100 включва и девет мрежови контролера Mellanox ConnectX-6 HDR, способни да предават информация със скорост до 200 Gbit/s. Като цяло DGX A100 осигурява двупосочен трансфер на данни със скорост от 3,6 TB/s. Системата също така използва собствени технологии Mellanox, насочени към ефективно мащабиране на изчислителни системи с такава архитектура. Поддръжката на PCI Express 4.0 на ниво платформа се определя от процесорите от поколение AMD EPYC Rome; в резултат на това този интерфейс се използва не само от графични ускорители A100, но и от твърди дискове с протокол NVMe.
В допълнение към DGX A100, NVIDIA започна да доставя на своите партньори платки HGX A100, които са един от компонентите на сървърни системи, които други производители ще произвеждат сами. Една платка HGX A100 може да побере четири или осем графични процесора NVIDIA A100. В допълнение, за собствените си нужди NVIDIA вече е сглобила DGX SuperPOD - клъстер от 140 системи DGX A100, осигуряващи производителност от 700 петафлопа с доста скромни общи размери. Компанията обеща да предостави методическа помощ на партньори, които желаят да изградят подобни изчислителни клъстери на базата на DGX A100. Между другото, NVIDIA отне повече от месец, за да създаде DGX SuperPOD, вместо няколко месеца или дори години, типични за подобни задачи.
Според NVIDIA доставките на DGX A100 вече са започнали на цена от $199 000 за копие, партньорите на компанията вече хостват тези системи в своите облачни клъстери, екосистемата вече покрива 26 страни, включително Виетнам и ОАЕ. В допълнение, графичните решения с архитектура Ampere съвсем очаквано ще бъдат част от суперкомпютърната система Perlmutter, създадена от Cray за Министерството на енергетиката на САЩ. Той ще се състои от графични процесори NVIDIA Ampere заедно с централни процесори от поколение AMD EPYC Milan с архитектура Zen 3. Суперкомпютърните възли, базирани на NVIDIA Ampere, ще достигнат до клиента през втората половина на годината, въпреки че първите копия вече са пристигнали в специализираната лаборатория на американският отдел.
Източник: 3dnews.ru