Architektúra novej jazykovej modelu je podobná Llama alebo Qwen, ale bola trénovaná úplne od nuly. Podobnosť umožňuje použitie toho istého nástroja. Pretrain verzia veľkého jazykového modelu YandexGPT 5 Lite na 8B parametrov s dĺžkou kontextu 32k tokenov. Počas trénovania modelu bola osobitná pozornosť venovaná ruštine, materiály v ruštine tvorili viac ako 70% datasetu.
Starší model YandexGPT 5 je dostupný v Alice a na webovej stránke Yandexu, ale nebude sprístupnený verejnosti.
Vo svojej kategórii model dosahuje paritu so svetovými SOTA v niekoľkých kľúčových benchmarkoch pre pretrain modely, a v mnohých ďalších ich prevyšuje. Napríklad, podľa výsledkov vnútorného slepého porovnania (side-by-side) pre široký prúd dopytov YandexGPT 5 Pro prekonáva YandexGPT 4 Pro v 67% prípadov a nezaostáva za GPT-4o.
Zdroj: linux.org.ru
