Arkitekturen af den nye sprogmodel ligner Llama eller Qwen, men den blev trænet helt fra bunden. Ligheden gør det muligt at bruge de samme værktøjer. Pretrain-versionen af den store sprogmodel YandexGPT 5 Lite med 8B parametre har en kontekstlængde på 32k tokens. Under træningen blev der lagt særlig vægt på det russiske sprog, idet materialer på russisk udgjorde mere end 70% af datasættet.
Den ældre model YandexGPT 5 er tilgængelig i Alice og på Yandex-webstedet, men den vil ikke blive gjort tilgængelig for offentligt brug.
Inden for sin kategori opnår modellen paritet med verdens SOTA på en række nøgle benchmarks for pretrain-modeller og overgår dem i mange andre. For eksempel, ifølge resultaterne af en intern blind parvis sammenligning (side-by-side) for en bred vifte af forespørgsler overgår YandexGPT 5 Pro YandexGPT 4 Pro i 67% af tilfældene og er ikke dårligere end GPT-4o.
Kilde: linux.org.ru
