Архитектура на новата езикова модель е подобна на Llama или Qwen, но е обучавана от нулата. Подобността позволява да се използва същият инструментариум. Pretrain версията на голямата езикова модел YandexGPT 5 Lite с 8B параметри и дължина на контекста 32k токени. При обучението на модела специално внимание е отделено на руския език, материалите на руски съставляват над 70% от датасета.
По-старшата модел YandexGPT 5 е налична в Алиса и на сайта на Яндекс, но тя няма да бъде предоставена в открит достъп.
В своята категория моделът постига паритет с глобалните SOTA по редица ключови бенчмаркове за pretrain модели, а по много други ги надминава. Например, според резултатите от вътрешното сляпо двойно сравнение (side-by-side) за широк поток от запитвания YandexGPT 5 Pro надминава YandexGPT 4 Pro в 67% от случаите и не отстъпва на GPT-4o.
Източник: linux.org.ru
