Ang DGX A100 system, batay sa kung aling Jen-Hsun Huang kamakailan , kasama ang walong A100 GPU, anim na NVLink 3.0 switch, siyam na Mellanox network controller, dalawang AMD EPYC Rome-generation processor na may 64 core, 1 TB ng RAM at 15 TB ng SSD na may suporta sa NVMe.
Ang NVIDIA DGX A100 ay ang ikatlong henerasyon ng mga computing system ng kumpanya, na pangunahing idinisenyo para sa paglutas ng mga problema sa artificial intelligence. Ngayon ang mga naturang sistema ay binuo sa pinakabagong A100 graphics processors mula sa pamilyang Ampere, na nagiging sanhi ng isang matalim na pagtaas sa kanilang pagganap, na umabot sa 5 petaflops. Dahil dito, nagagawa ng DGX A100 na pangasiwaan ang mas kumplikadong mga modelo ng AI at mas malalaking volume ng data.
Para sa DGX A100 system, ang NVIDIA ay nagpapahiwatig lamang ng kabuuang halaga ng HBM2 memory, na umaabot sa 320 GB. Ang mga simpleng kalkulasyon ng aritmetika ay nagbibigay-daan sa amin upang matukoy na ang bawat GPU ay may 40 GB ng memorya, at ang mga larawan ng bagong produkto ay nagpapalinaw na ang volume na ito ay ipinamamahagi sa anim na stack. Nabanggit din ang bandwidth ng memorya ng graphics - 12,4 TB / s para sa buong sistema ng DGX A100 sa kabuuan.
Isinasaalang-alang na ang DGX-1 system, batay sa walong Tesla V100s, ay gumawa ng isang petaflops sa mixed-precision calculations, at ang DGX A100 ay sinasabing gumaganap sa limang petaflops, maaari nating ipagpalagay na sa mga partikular na kalkulasyon ang isang Ampere GPU ay limang beses na mas mabilis kaysa sa ang hinalinhan nito sa arkitektura ng Volta. Sa ilang mga kaso, ang kalamangan ay nagiging dalawampung ulit.
Sa kabuuan, ang sistema ng DGX A8 ay nagbibigay ng pinakamataas na pagganap ng 100 na operasyon sa bawat segundo sa mga operasyon ng integer (INT1016), sa mga operasyon ng half-precision na floating point (FP16) - 5 petaflops, sa mga operasyon ng double-precision na floating point (FP64) - 156 na mga teraflop . Bukod pa rito, nakakamit ng DGX A32 ang pinakamataas na pagganap ng 100 petaflops sa TF2,5 tensor computing. Alalahanin natin na ang isang teraflop ay 1012 floating point operations bawat segundo, isang petaflops ay 1015 floating point operations bawat segundo.
Ang isang mahalagang tampok ng NVIDIA A100 accelerators ay ang kakayahang hatiin ang mga mapagkukunan ng isang GPU sa pitong virtual na segment. Nagbibigay-daan ito sa iyo na makabuluhang taasan ang flexibility ng configuration sa parehong cloud segment. Halimbawa, ang isang DGX A100 system na may walong pisikal na GPU ay maaaring kumilos bilang 56 na virtual na GPU. Binibigyang-daan ka ng teknolohiyang Multi-Instance GPU (MIG) na pumili ng mga segment na may iba't ibang laki kapwa sa mga core ng computing at bilang bahagi ng memorya ng cache at memorya ng HBM2, at hindi sila makikipagkumpitensya sa isa't isa para sa bandwidth.
Kapansin-pansin na kumpara sa mga nakaraang sistema ng DGX, ang anatomy ng DGX A100 ay sumailalim sa ilang mga pagbabago. Ang bilang ng mga heat pipe sa mga radiator ng SXM3 modules, kung saan naka-install ang A100 graphics processors na may HBM2 memory, ay tumaas nang malaki kumpara sa Tesla V100 modules ng Volta generation, kahit na ang kanilang mga dulo ay nakatago mula sa pananaw ng karaniwang tao. sa pamamagitan ng itaas na mga pabalat. Ang praktikal na limitasyon para sa disenyong ito ay 400 W ng thermal energy. Kinumpirma din ito ng mga opisyal na katangian ng A100 sa bersyon ng SXM3, na inilathala ngayon.
Sa tabi ng mga A100 GPU sa motherboard ay may anim na third-generation NVLink interface switch, na magkakasamang nagbibigay ng two-way na data exchange sa bilis na 4,8 TB/s. Seryoso ring inalagaan ng NVIDIA ang kanilang paglamig, ayon sa mga full-profile na radiator na may mga heat pipe. Ang bawat GPU ay inilalaan ng 12 channel ng NVLink interface; ang mga kalapit na GPU ay maaaring makipagpalitan ng data sa bilis na 600 GB/s.
Ang DGX A100 system ay naglalaman din ng siyam na Mellanox ConnectX-6 HDR network controllers, na may kakayahang magpadala ng impormasyon sa bilis na hanggang 200 Gbit/s. Sa kabuuan, ang DGX A100 ay nagbibigay ng two-way na paglipat ng data sa bilis na 3,6 TB/s. Gumagamit din ang system ng pagmamay-ari na teknolohiya ng Mellanox na naglalayong mahusay na pag-scale ng mga sistema ng computing na may ganitong arkitektura. Ang suporta ng PCI Express 4.0 sa antas ng platform ay tinutukoy ng mga processor ng henerasyon ng AMD EPYC Rome; bilang resulta, ang interface na ito ay ginagamit hindi lamang ng mga A100 graphics accelerators, kundi pati na rin ng mga solid-state drive na may NVMe protocol.
Bilang karagdagan sa DGX A100, sinimulan ng NVIDIA ang pagbibigay sa mga kasosyo nito ng mga HGX A100 boards, na isa sa mga bahagi ng mga server system na gagawin ng ibang mga manufacturer sa kanilang sarili. Ang isang HGX A100 board ay maaaring tumanggap ng alinman sa apat o walong NVIDIA A100 GPU. Bilang karagdagan, para sa sarili nitong mga pangangailangan, binuo na ng NVIDIA ang DGX SuperPOD - isang kumpol ng 140 DGX A100 system, na nagbibigay ng pagganap sa 700 petaflop na may medyo katamtamang pangkalahatang mga sukat. Nangako ang kumpanya na magbibigay ng metodolohikal na tulong sa mga kasosyo na nagnanais na bumuo ng mga katulad na cluster ng computing batay sa DGX A100. Siyanga pala, inabot ng NVIDIA ng hindi hihigit sa isang buwan upang mabuo ang DGX SuperPOD sa halip na ilang buwan o kahit taon na karaniwan para sa mga naturang gawain.
Ayon sa NVIDIA, ang mga paghahatid ng DGX A100 ay nagsimula na sa presyong $199 bawat kopya, ang mga kasosyo ng kumpanya ay nagho-host na ng mga sistemang ito sa kanilang mga cloud cluster, ang ecosystem ay sumasaklaw na sa 000 na bansa, kabilang ang Vietnam at UAE. Bilang karagdagan, ang mga solusyon sa graphics na may arkitektura ng Ampere ay magiging bahagi ng Perlmutter supercomputer system, na nilikha ni Cray para sa US Department of Energy. Ito ay bubuuin ng NVIDIA Ampere graphics processors kasama ng AMD EPYC Milan generation central processors na may Zen 26 architecture. Ang mga supercomputer node na batay sa NVIDIA Ampere ay makakarating sa customer sa ikalawang kalahati ng taon, bagama't ang mga unang kopya ay dumating na sa espesyal na laboratoryo ng ang departamento ng Amerika.
Pinagmulan: 3dnews.ru