De architectuur van het nieuwe taalmodel lijkt op Llama of Qwen, maar het is volledig vanaf nul getraind. Deze gelijkenis maakt het mogelijk om dezelfde tools te gebruiken. De pretrain-versie van het grote taalmodel YandexGPT 5 Lite heeft 8 miljard parameters met een contextlengte van 32.000 tokens. Tijdens het trainen van het model kreeg de Russische taal bijzondere aandacht; materialen in het Russisch vormden meer dan 70% van de dataset.
Het geavanceerde model YandexGPT 5 is beschikbaar in Alice en op de website van Yandex, maar het zal niet openbaar toegankelijk zijn.
In zijn categorie bereikt het model pariteit met de wereldwijde SOTA op verschillende belangrijke benchmarks voor pretrain-modellen, en in veel andere overtreft het hen. Bijvoorbeeld, volgens de resultaten van interne blinde comparatieve tests (side-by-side) voor een breed scala aan verzoeken, overtreft YandexGPT 5 Pro YandexGPT 4 Pro in 67% van de gevallen en doet het niet onder voor GPT-4o.
Bron: linux.org.ru
