NVIDIA opublikowała nowe, jeszcze bardziej imponujące wyniki w zakresie pracy z dużymi modelami językowymi (LLM) w benchmarku MLPerf Inference 4.0. W ciągu ostatnich sześciu miesięcy i tak już wysokie wyniki, jakie wykazuje architektura Hoppera w scenariuszach wnioskowania, uległy niemal trzykrotnej poprawie. Tak imponujący wynik udało się osiągnąć zarówno dzięki ulepszeniom sprzętowym w akceleratorach H200, jak i optymalizacji oprogramowania. Generatywna sztuczna inteligencja dosłownie eksplodowała w branży: w ciągu ostatnich dziesięciu lat moc obliczeniowa wydawana na szkolenie sieci neuronowych wzrosła o sześć rzędów wielkości, a LLM z bilionem parametrów nie są już niczym niezwykłym. Jednak wnioskowanie z takich modeli to także trudne zadanie, do którego NVIDIA podchodzi kompleksowo, stosując, jak sama mówi, „optymalizację wielowymiarową”.
Źródło: 3dnews.ru