NVIDIA 在 MLPerf Inference 4.0 基准测试中的大型语言模型 (LLM) 领域发布了新的、更令人印象深刻的结果。在过去的六个月里，Hopper 架构在推理场景中表现出的本来就很高的结果几乎提高了三倍。取得如此令人印象深刻的成绩得益于 H200 加速器的硬件改进和软件优化。生成式人工智能确实爆炸了整个行业：在过去十年中，用于训练神经网络的计算能力增长了六个数量级，拥有万亿参数的法学硕士不再罕见。然而，此类模型的推理也是一项艰巨的任务，NVIDIA 对此进行了全面的处理，用它自己的话来说就是“多维优化”。
来源： 3dnews.ru