Sistem DGX A100, berdasarkan Jen-Hsun Huang baru-baru ini , mencakup delapan GPU A100, enam sakelar NVLink 3.0, sembilan pengontrol jaringan Mellanox, dua prosesor AMD EPYC generasi Roma dengan 64 inti, RAM 1 TB, dan SSD 15 TB dengan dukungan NVMe.
NVIDIA DGX A100 adalah sistem komputasi perusahaan generasi ketiga, yang dirancang terutama untuk memecahkan masalah kecerdasan buatan. Kini sistem tersebut dibangun di atas prosesor grafis A100 terbaru dari keluarga Ampere, yang menyebabkan peningkatan tajam pada kinerjanya hingga mencapai 5 petaflops. Berkat ini, DGX A100 mampu menangani model AI yang jauh lebih kompleks dan volume data yang jauh lebih besar.
Untuk sistem DGX A100, NVIDIA hanya menunjukkan jumlah total memori HBM2 yang mencapai 320 GB. Perhitungan aritmatika sederhana memungkinkan kami menentukan bahwa setiap GPU memiliki memori 40 GB, dan gambar produk baru memperjelas bahwa volume ini didistribusikan ke enam tumpukan. Bandwidth memori grafis juga disebutkan - 12,4 TB/s untuk keseluruhan sistem DGX A100 secara total.
Mengingat sistem DGX-1, berdasarkan delapan Tesla V100, menghasilkan satu petaflops dalam penghitungan presisi campuran, dan DGX A100 diklaim bekerja pada lima petaflops, kita dapat berasumsi bahwa dalam penghitungan spesifik, satu GPU Ampere lima kali lebih cepat daripada pendahulunya dengan arsitektur Volta. Dalam beberapa kasus, keuntungannya menjadi dua puluh kali lipat.
Secara total, sistem DGX A8 memberikan kinerja puncak 100 operasi per detik dalam operasi integer (INT1016), dalam operasi floating point presisi setengah (FP16) - 5 petaflops, dalam operasi floating point presisi ganda (FP64) - 156 teraflops . Selain itu, DGX A32 mencapai kinerja puncak 100 petaflops dalam komputasi tensor TF2,5. Mari kita ingat bahwa satu teraflops adalah 1012 operasi floating point per detik, satu petaflops adalah 1015 operasi floating point per detik.
Fitur penting dari akselerator NVIDIA A100 adalah kemampuan untuk membagi sumber daya satu GPU menjadi tujuh segmen virtual. Hal ini memungkinkan Anda meningkatkan fleksibilitas konfigurasi secara signifikan di segmen cloud yang sama. Misalnya, satu sistem DGX A100 dengan delapan GPU fisik dapat bertindak sebagai 56 GPU virtual. Teknologi Multi-Instance GPU (MIG) memungkinkan Anda memilih segmen dengan ukuran berbeda baik di antara inti komputasi maupun sebagai bagian dari memori cache dan memori HBM2, dan keduanya tidak akan bersaing satu sama lain untuk mendapatkan bandwidth.
Perlu dicatat bahwa dibandingkan sistem DGX sebelumnya, anatomi DGX A100 telah mengalami beberapa perubahan. Jumlah pipa panas di radiator modul SXM3, tempat prosesor grafis A100 dengan memori HBM2 dipasang, telah meningkat secara signifikan dibandingkan dengan modul Tesla V100 generasi Volta, meskipun ujungnya tersembunyi dari pandangan orang kebanyakan. oleh penutup atas. Batasan praktis untuk desain ini adalah 400 W energi panas. Hal ini juga diperkuat dengan ciri resmi A100 dalam versi SXM3 yang dipublikasikan hari ini.
Di samping GPU A100 pada motherboard terdapat enam switch antarmuka NVLink generasi ketiga, yang bersama-sama menyediakan pertukaran data dua arah dengan kecepatan 4,8 TB/s. NVIDIA juga sangat memperhatikan pendinginannya, dilihat dari radiator profil lengkap dengan pipa panas. Setiap GPU dialokasikan 12 saluran antarmuka NVLink; GPU tetangga dapat bertukar data dengan kecepatan 600 GB/s.
Sistem DGX A100 juga menampung sembilan pengontrol jaringan Mellanox ConnectX-6 HDR, yang mampu mentransmisikan informasi dengan kecepatan hingga 200 Gbit/s. Secara total, DGX A100 menyediakan transfer data dua arah dengan kecepatan 3,6 TB/s. Sistem ini juga menggunakan teknologi milik Mellanox yang ditujukan untuk penskalaan sistem komputasi yang efisien dengan arsitektur seperti itu. Dukungan PCI Express 4.0 pada tingkat platform ditentukan oleh prosesor AMD EPYC generasi Roma, sebagai hasilnya, antarmuka ini tidak hanya digunakan oleh akselerator grafis A100, tetapi juga oleh solid-state drive dengan protokol NVMe.
Selain DGX A100, NVIDIA telah mulai memasok papan HGX A100 kepada mitranya, yang merupakan salah satu komponen sistem server yang akan diproduksi sendiri oleh produsen lain. Satu papan HGX A100 dapat menampung empat atau delapan GPU NVIDIA A100. Selain itu, untuk kebutuhannya sendiri, NVIDIA telah merakit DGX SuperPOD - cluster yang terdiri dari 140 sistem DGX A100, memberikan kinerja pada 700 petaflops dengan dimensi keseluruhan yang cukup sederhana. Perusahaan berjanji untuk memberikan bantuan metodologis kepada mitra yang ingin membangun cluster komputasi serupa berdasarkan DGX A100. Omong-omong, NVIDIA membutuhkan waktu tidak lebih dari sebulan untuk membuat DGX SuperPOD, bukan beberapa bulan atau bahkan bertahun-tahun yang biasa dilakukan untuk tugas semacam itu.
Menurut NVIDIA, pengiriman DGX A100 telah dimulai dengan harga $199 per salinan, mitra perusahaan sudah menghosting sistem ini di cluster cloud mereka, ekosistemnya sudah mencakup 000 negara, termasuk Vietnam dan UEA. Selain itu, solusi grafis dengan arsitektur Ampere diperkirakan akan menjadi bagian dari sistem superkomputer Perlmutter, yang dibuat oleh Cray untuk Departemen Energi AS. Ini akan terdiri dari prosesor grafis NVIDIA Ampere bersama dengan prosesor sentral generasi AMD EPYC Milan dengan arsitektur Zen 26. Node superkomputer berbasis NVIDIA Ampere akan menjangkau pelanggan pada paruh kedua tahun ini, meskipun salinan pertama telah tiba di laboratorium khusus departemen Amerika.
Sumber: 3dnews.ru