NVIDIA zverejnila nové, ešte pôsobivejšie výsledky v oblasti práce s veľkými jazykovými modelmi (LLM) v benchmarku MLPerf Inference 4.0. Za posledných šesť mesiacov sa už aj tak vysoké výsledky, ktoré preukázala architektúra Hopper v scenároch odvodzovania, zlepšili takmer trojnásobne. Takýto pôsobivý výsledok bol dosiahnutý vďaka hardvérovým vylepšeniam v akcelerátoroch H200 a optimalizácii softvéru. Generatívna AI doslova explodovala v odvetví: za posledných desať rokov vzrástol výpočtový výkon vynaložený na trénovanie neurónových sietí o šesť rádov a LLM s biliónom parametrov už nie sú ničím výnimočným. Vyvodenie takýchto modelov je však tiež náročnou úlohou, ku ktorej NVIDIA pristupuje komplexne, pričom podľa jej vlastných slov používa „multidimenzionálnu optimalizáciu“.
Zdroj: 3dnews.ru