Az új nyelvi modell architektúrája hasonló a Llama vagy Qwen architektúrájához, de teljesen nulláról tanult. A hasonlóság lehetővé teszi ugyanazon eszközkészlet használatát. A YandexGPT 5 Lite nagy nyelvi modell pretrain verziója 8B paraméterrel és 32k tokenes kontextushosszal rendelkezik. A modell tanítása során különös figyelmet fordítottak a orosz nyelvre, az orosz anyagok több mint 70%-át képezték a datasetnek.
A YandexGPT 5 idősebb modellje elérhető az Alisában és a Yandex webhelyén, de szabad hozzáférésben nem lesz elérhető.
Kategóriájában a modell parity-t ér el a világ SOTA-jával számos kulcsfontosságú benchmark esetében a pretrain modellek számára, és sok másban túlszárnyalja azokat. Például a belső vak párhuzamos összehasonlítás (side-by-side) eredményei szerint a YandexGPT 5 Pro a széleslekérdezésekre 67%-ban felülmúlja a YandexGPT 4 Pro-t, és nem marad el a GPT-4o-tól.
Forrás: linux.org.ru
