Architektura nového jazykového modelu je podobná modelům Llama nebo Qwen, ale byla zcela nový. Tato podobnost umožňuje použití stejných nástrojů. Pretrain-varianta velkého jazykového modelu YandexGPT 5 Lite s 8 miliardami parametrů a délkou kontextu 32k tokenů. Při trénování modelu byla zvláštní pozornost věnována ruštině, materiály v ruštině tvořily více než 70 % datasetu.
Starší model YandexGPT 5 je dostupný v Alise a na webu Yandexu, ale nebude zveřejněn v otevřeném přístupu.
Ve své kategorii model dosahuje paritní úrovně se světovými SOTA v řadě klíčových benchmarků pro pretrain-modely, a v mnoha dalších je překonává. Například podle výsledků interního slepého párového srovnání (side-by-side) pro široký tok dotazů YandexGPT 5 Pro překonává YandexGPT 4 Pro v 67 % případů a nezaostává za GPT-4o.
Zdroj: linux.org.ru
