Компанія NVIDIA опублікувала нові, ще більш вражаючі результати роботи з великими мовними моделями (LLM) в бенчмарку MLPerf Inference 4.0. За минулі півроку і так високі результати, демонстровані архітектурою Hopper в інференс-сценаріях, вдалося поліпшити практично втричі. Такий значний результат досягнуто завдяки як апаратним поліпшенням в прискорювачах H200, так і програмним оптимізаціям. Генеративний ІІ буквально підірвав індустрію: за останні десять років обчислювальна потужність, що витрачається на навчання нейромереж, зросла на шість порядків, а LLM із трильйоном параметрів уже не є чимось незвичайним. Однак і інференс подібних моделей теж є непростим завданням, до якого NVIDIA підходить комплексно, використовуючи, за її словами, «багатомірну оптимізацію».
Джерело: 3dnews.ru