ระบบ DGX A100 อ้างอิงจาก Jen-Hsun Huang เมื่อเร็วๆ นี้ ประกอบด้วย A100 GPU แปดตัว, สวิตช์ NVLink 3.0 หกตัว, ตัวควบคุมเครือข่าย Mellanox เก้าตัว, โปรเซสเซอร์ AMD EPYC Rome สองตัวที่มี 64 คอร์, RAM ขนาด 1 TB และ SSD ขนาด 15 TB พร้อมรองรับ NVMe
NVIDIA DGX A100 เป็นระบบคอมพิวเตอร์รุ่นที่สามของบริษัท ซึ่งออกแบบมาเพื่อการแก้ปัญหาปัญญาประดิษฐ์เป็นหลัก ขณะนี้ระบบดังกล่าวสร้างขึ้นจากโปรเซสเซอร์กราฟิก A100 ล่าสุดจากตระกูล Ampere ซึ่งทำให้ประสิทธิภาพเพิ่มขึ้นอย่างมากถึง 5 petaflops ด้วยเหตุนี้ DGX A100 จึงสามารถจัดการกับโมเดล AI ที่ซับซ้อนมากขึ้นและข้อมูลปริมาณมากขึ้นได้
สำหรับระบบ DGX A100 นั้น NVIDIA ระบุเฉพาะจำนวนหน่วยความจำ HBM2 ทั้งหมดซึ่งสูงถึง 320 GB การคำนวณทางคณิตศาสตร์อย่างง่ายช่วยให้เราระบุได้ว่า GPU แต่ละตัวมีหน่วยความจำ 40 GB และรูปภาพของผลิตภัณฑ์ใหม่ทำให้ชัดเจนว่าวอลุ่มนี้กระจายอยู่ในหกสแต็ก แบนด์วิดท์หน่วยความจำกราฟิกยังกล่าวถึง - 12,4 TB / s สำหรับระบบ DGX A100 ทั้งหมดโดยรวม
เมื่อพิจารณาว่าระบบ DGX-1 ซึ่งใช้ Tesla V100 จำนวน 100 ตัว ทำให้เกิดหนึ่งเพตาฟล็อปในการคำนวณแบบผสมความแม่นยำ และ DGX AXNUMX ได้รับการอ้างว่าทำงานได้ที่ห้าเพตาฟล็อป เราสามารถสรุปได้ว่าในการคำนวณเฉพาะ Ampere GPU หนึ่งตัวจะเร็วกว่าห้าเท่า รุ่นก่อนที่มีสถาปัตยกรรม Volta ในบางกรณีความได้เปรียบก็เพิ่มขึ้นเป็นยี่สิบเท่า
โดยรวมแล้ว ระบบ DGX A8 ให้ประสิทธิภาพสูงสุดที่ 100 การดำเนินการต่อวินาทีในการดำเนินการจำนวนเต็ม (INT1016) ในการดำเนินการจุดลอยตัวแบบความแม่นยำครึ่งหนึ่ง (FP16) - 5 เพตาฟล็อปส์ ในการดำเนินการจุดลอยตัวที่มีความแม่นยำสองเท่า (FP64) - 156 เทราฟลอป . นอกจากนี้ DGX A32 ยังบรรลุประสิทธิภาพสูงสุดที่ 100 petaflops ในการประมวลผลเทนเซอร์ TF2,5 ขอให้เราระลึกว่า 1012 เทราฟลอปคือ 1015 การดำเนินการของจุดลอยตัวต่อวินาที และ XNUMX petaflops คือ XNUMX การดำเนินการของจุดลอยตัวต่อวินาที
คุณสมบัติที่สำคัญของตัวเร่งความเร็ว NVIDIA A100 คือความสามารถในการแบ่งทรัพยากรของ GPU หนึ่งตัวออกเป็นเจ็ดส่วนเสมือน สิ่งนี้ช่วยให้คุณเพิ่มความยืดหยุ่นในการกำหนดค่าได้อย่างมากในกลุ่มคลาวด์เดียวกัน ตัวอย่างเช่น ระบบ DGX A100 หนึ่งระบบที่มี GPU จริงแปดตัวสามารถทำหน้าที่เป็น GPU เสมือนได้ 56 ตัว เทคโนโลยี Multi-Instance GPU (MIG) ช่วยให้คุณสามารถเลือกเซ็กเมนต์ที่มีขนาดแตกต่างกันทั้งระหว่างคอร์ประมวลผลและเป็นส่วนหนึ่งของหน่วยความจำแคชและหน่วยความจำ HBM2 และจะไม่แข่งขันกันในเรื่องแบนด์วิธ
เป็นที่น่าสังเกตว่าเมื่อเทียบกับระบบ DGX รุ่นก่อนๆ กายวิภาคของ DGX A100 มีการเปลี่ยนแปลงบางอย่าง จำนวนท่อความร้อนในหม้อน้ำของโมดูล SXM3 ซึ่งติดตั้งโปรเซสเซอร์กราฟิก A100 พร้อมหน่วยความจำ HBM2 เพิ่มขึ้นอย่างมีนัยสำคัญเมื่อเทียบกับโมดูล Tesla V100 ของรุ่น Volta แม้ว่าปลายของพวกเขาจะถูกซ่อนจากมุมมองของคนทั่วไป โดยฝาด้านบน ขีดจำกัดในทางปฏิบัติสำหรับการออกแบบนี้คือพลังงานความร้อน 400 วัตต์ นอกจากนี้ยังได้รับการยืนยันจากคุณสมบัติอย่างเป็นทางการของ A100 ในเวอร์ชัน SXM3 ซึ่งเผยแพร่ในวันนี้
ถัดจาก A100 GPU บนเมนบอร์ดคือสวิตช์อินเทอร์เฟซ NVLink รุ่นที่สามหกตัว ซึ่งร่วมกันให้การแลกเปลี่ยนข้อมูลแบบสองทางที่ความเร็ว 4,8 TB/s NVIDIA ยังให้ความสำคัญกับการระบายความร้อนอย่างจริงจังโดยตัดสินโดยหม้อน้ำแบบเต็มโปรไฟล์พร้อมท่อความร้อน GPU แต่ละตัวได้รับการจัดสรรอินเทอร์เฟซ NVLink 12 ช่อง โดย GPU ใกล้เคียงสามารถแลกเปลี่ยนข้อมูลด้วยความเร็ว 600 GB/s
ระบบ DGX A100 ยังมีตัวควบคุมเครือข่าย Mellanox ConnectX-6 HDR จำนวน 200 ตัว ซึ่งสามารถส่งข้อมูลด้วยความเร็วสูงถึง 100 Gbit/s โดยรวมแล้ว DGX A3,6 ให้การถ่ายโอนข้อมูลสองทางด้วยความเร็ว 4.0 TB/s ระบบยังใช้เทคโนโลยี Mellanox ที่เป็นกรรมสิทธิ์ซึ่งมุ่งเป้าไปที่การปรับขนาดระบบคอมพิวเตอร์อย่างมีประสิทธิภาพด้วยสถาปัตยกรรมดังกล่าว การสนับสนุน PCI Express 100 ในระดับแพลตฟอร์มถูกกำหนดโดยโปรเซสเซอร์รุ่น AMD EPYC Rome ดังนั้นอินเทอร์เฟซนี้ไม่เพียงใช้โดยตัวเร่งกราฟิก AXNUMX เท่านั้น แต่ยังรวมถึงไดรฟ์โซลิดสเตตที่มีโปรโตคอล NVMe ด้วย
นอกจาก DGX A100 แล้ว NVIDIA ยังได้เริ่มจัดหาบอร์ด HGX A100 ให้กับพันธมิตร ซึ่งเป็นหนึ่งในองค์ประกอบของระบบเซิร์ฟเวอร์ที่ผู้ผลิตรายอื่นจะผลิตเอง บอร์ด HGX A100 หนึ่งบอร์ดสามารถรองรับ NVIDIA A100 GPU ได้สี่หรือแปดตัว นอกจากนี้ ตามความต้องการของตัวเอง NVIDIA ยังได้ประกอบ DGX SuperPOD ซึ่งเป็นคลัสเตอร์ของระบบ 140 DGX A100 ซึ่งให้ประสิทธิภาพที่ 700 petaflops ด้วยขนาดโดยรวมที่ค่อนข้างเรียบง่าย บริษัทสัญญาว่าจะให้ความช่วยเหลือด้านระเบียบวิธีแก่พันธมิตรที่ต้องการสร้างคลัสเตอร์การประมวลผลที่คล้ายกันโดยใช้ DGX A100 อย่างไรก็ตาม NVIDIA ใช้เวลาไม่เกินหนึ่งเดือนในการสร้าง DGX SuperPOD แทนที่จะใช้เวลาหลายเดือนหรือหลายปีสำหรับงานดังกล่าว
จากข้อมูลของ NVIDIA การส่งมอบ DGX A100 ได้เริ่มต้นแล้วในราคา 199 ดอลลาร์ต่อสำเนา พันธมิตรของบริษัทได้โฮสต์ระบบเหล่านี้ไว้ในคลัสเตอร์คลาวด์ของตนแล้ว ระบบนิเวศครอบคลุม 000 ประเทศแล้ว รวมถึงเวียดนามและสหรัฐอาหรับเอมิเรตส์ นอกจากนี้ โซลูชันกราฟิกที่มีสถาปัตยกรรม Ampere จะค่อนข้างคาดเดาได้ว่าจะเป็นส่วนหนึ่งของระบบซูเปอร์คอมพิวเตอร์ Perlmutter ซึ่งสร้างโดย Cray สำหรับกระทรวงพลังงานของสหรัฐอเมริกา จะประกอบด้วยโปรเซสเซอร์กราฟิก NVIDIA Ampere ควบคู่ไปกับโปรเซสเซอร์กลางรุ่น AMD EPYC Milan พร้อมสถาปัตยกรรม Zen 26 โหนดซูเปอร์คอมพิวเตอร์ที่ใช้ NVIDIA Ampere จะเข้าถึงลูกค้าในช่วงครึ่งหลังของปีแม้ว่าสำเนาชุดแรกจะมาถึงห้องปฏิบัติการเฉพาะทางแล้วก็ตาม แผนกอเมริกัน
ที่มา: 3dnews.ru