새로운 벤치마크 - 새로운 기록: NVIDIA는 MLPerf Inference에서 선두 위치를 확인했습니다.

NVIDIA는 MLPerf Inference 4.0 벤치마크에서 LLM(대형 언어 모델) 작업 분야에서 새롭고 더욱 인상적인 결과를 발표했습니다. 지난 200개월 동안 추론 시나리오에서 Hopper 아키텍처가 보여준 높은 결과는 거의 XNUMX배 향상되었습니다. HXNUMX 가속기의 하드웨어 개선과 소프트웨어 최적화 덕분에 이러한 인상적인 결과를 얻을 수 있었습니다. 생성 AI는 문자 그대로 업계를 폭발적으로 성장시켰습니다. 지난 XNUMX년 동안 신경망 훈련에 사용된 컴퓨팅 성능은 XNUMX배나 증가했으며 XNUMX조 개의 매개변수를 가진 LLM은 더 이상 드문 일이 아닙니다. 그러나 그러한 모델의 추론은 어려운 작업이기도 합니다. NVIDIA는 그 자체로 "다차원 최적화"를 사용하여 포괄적으로 접근합니다.
출처 : 3dnews.ru