NVIDIA публикува нови, още по-впечатляващи резултати в областта на работата с големи езикови модели (LLM) в бенчмарка MLPerf Inference 4.0. През последните шест месеца вече високите резултати, демонстрирани от Hopper архитектурата в сценарии за изводи, бяха подобрени почти три пъти. Такъв впечатляващ резултат беше постигнат благодарение както на хардуерните подобрения в ускорителите H200, така и на софтуерните оптимизации. Generative AI буквално взриви индустрията: през последните десет години изчислителната мощност, изразходвана за обучение на невронни мрежи, е нараснала с шест порядъка и LLM с трилион параметри вече не са необичайни. Въпреки това, извеждането на такива модели също е трудна задача, към която NVIDIA подхожда всеобхватно, използвайки, по собствените си думи, „многоизмерна оптимизация“.
Източник: 3dnews.ru
