Sustav DGX A100, na kojem je Jen-Hsun Huang nedavno , uključuje osam A100 GPU-ova, šest NVLink 3.0 preklopnika, devet Mellanox mrežnih kontrolera, dva procesora AMD EPYC Rome generacije sa 64 jezgre, 1 TB RAM-a i 15 TB SSD-ova s NVMe podrškom.
NVIDIA DGX A100 je treća generacija kompanijskog računalnog sustava, dizajniranog prvenstveno za rješavanje problema umjetne inteligencije. Sada su takvi sustavi izgrađeni na najnovijim A100 grafičkim procesorima iz obitelji Ampere, što uzrokuje nagli porast njihove performanse, koja je dosegla 5 petaflopa. Zahvaljujući tome, DGX A100 može se nositi s puno složenijim AI modelima i puno većim količinama podataka.
Za sustav DGX A100, NVIDIA označava samo ukupnu količinu HBM2 memorije, koja doseže 320 GB. Jednostavni aritmetički izračuni omogućuju nam da utvrdimo da svaki GPU ima 40 GB memorije, a slike novog proizvoda jasno pokazuju da je taj volumen raspoređen na šest hrpa. Spominje se i propusnost grafičke memorije – 12,4 TB/s za cijeli DGX A100 sustav ukupno.
Uzimajući u obzir da je sustav DGX-1, temeljen na osam Tesla V100, proizveo jedan petaflops u izračunima mješovite preciznosti, a za DGX A100 se tvrdi da radi na pet petaflopa, možemo pretpostaviti da je u određenim izračunima jedan Ampere GPU pet puta brži od njegov prethodnik s Volta arhitekturom. U nekim slučajevima prednost postaje dvadeseterostruka.
Ukupno, DGX A8 sustav pruža vršnu izvedbu od 100 operacija u sekundi u cjelobrojnim operacijama (INT1016), u operacijama s pomičnim zarezom polupreciznosti (FP16) - 5 petaflopa, u operacijama s pomičnim zarezom dvostruke preciznosti (FP64) - 156 teraflopsa . Dodatno, DGX A32 postiže vršnu izvedbu od 100 petaflopa u TF2,5 tenzorskom računanju. Podsjetimo se da je jedan teraflops 1012 operacija s pomičnim zarezom u sekundi, jedan petaflops je 1015 operacija s pomičnim zarezom u sekundi.
Važna značajka NVIDIA A100 akceleratora je mogućnost dijeljenja resursa jednog GPU-a u sedam virtualnih segmenata. To vam omogućuje značajno povećanje fleksibilnosti konfiguracije u istom segmentu oblaka. Na primjer, jedan DGX A100 sustav s osam fizičkih GPU-a može djelovati kao 56 virtualnih GPU-a. Multi-Instance GPU (MIG) tehnologija omogućuje odabir segmenata različitih veličina kako među računalnim jezgrama tako i kao dio predmemorije i HBM2 memorije, a oni se neće međusobno natjecati za propusnost.
Vrijedno je napomenuti da je u usporedbi s prethodnim DGX sustavima, anatomija DGX A100 doživjela neke promjene. Broj toplinskih cijevi u radijatorima modula SXM3, na koje su ugrađeni A100 grafički procesori s HBM2 memorijom, znatno je povećan u odnosu na Tesla V100 module Volta generacije, iako su njihovi krajevi skriveni od pogleda prosječne osobe. po gornjim koricama. Praktična granica za ovaj dizajn je 400 W toplinske energije. To potvrđuju i danas objavljene službene karakteristike A100 u SXM3 verziji.
Uz A100 GPU-ove na matičnoj ploči nalazi se šest NVLink sučelja prekidača treće generacije koji zajedno omogućuju dvosmjernu razmjenu podataka brzinom od 4,8 TB/s. NVIDIA se ozbiljno pobrinula i za njihovo hlađenje, sudeći po radijatorima punog profila s toplinskim cijevima. Svakom GPU-u dodijeljeno je 12 kanala NVLink sučelja; susjedni GPU-ovi mogu razmjenjivati podatke brzinom od 600 GB/s.
Sustav DGX A100 sadrži i devet Mellanox ConnectX-6 HDR mrežnih kontrolera, sposobnih za prijenos informacija brzinama do 200 Gbit/s. Ukupno, DGX A100 omogućuje dvosmjerni prijenos podataka brzinom od 3,6 TB/s. Sustav također koristi vlastite Mellanox tehnologije usmjerene na učinkovito skaliranje računalnih sustava s takvom arhitekturom. Podrška za PCI Express 4.0 na razini platforme određena je procesorima generacije AMD EPYC Rome; kao rezultat, ovo sučelje koriste ne samo A100 grafički akceleratori, već i solid-state diskovi s NVMe protokolom.
Osim DGX A100, NVIDIA je svojim partnerima počela isporučivati HGX A100 ploče, koje su jedna od komponenti poslužiteljskih sustava koje će drugi proizvođači proizvoditi sami. Jedna HGX A100 ploča može primiti četiri ili osam NVIDIA A100 GPU-a. Osim toga, NVIDIA je za vlastite potrebe već sastavila DGX SuperPOD - klaster od 140 DGX A100 sustava, koji pružaju performanse od 700 petaflopsa uz prilično skromne ukupne dimenzije. Tvrtka je obećala pružiti metodološku pomoć partnerima koji žele izgraditi slične računalne klastere temeljene na DGX A100. Usput, NVIDIA-i nije trebalo više od mjesec dana da napravi DGX SuperPOD umjesto nekoliko mjeseci ili čak godina tipičnih za takve zadatke.
Prema NVIDIA-i, isporuke DGX A100 već su počele po cijeni od 199 dolara po primjerku, partneri tvrtke već ugošćuju ove sustave u svojim klasterima oblaka, ekosustav već pokriva 000 zemalja, uključujući Vijetnam i UAE. Osim toga, grafička rješenja s Ampere arhitekturom će sasvim predvidljivo biti dio Perlmutter superračunalnog sustava, koji je kreirao Cray za US Department of Energy. Uključivat će NVIDIA Ampere GPU-ove uz AMD EPYC Milan generaciju središnjih procesora s arhitekturom Zen 26. Superračunalni čvorovi temeljeni na NVIDIA Ampere stići će do kupaca u drugoj polovici godine, iako su prvi primjerci već stigli u specijalizirani laboratorij američkog odjelu.
Izvor: 3dnews.ru