Яндекс публикува в открит достъп езиковата модел YandexGPT-5-Lite

Архитектура на новата езикова модел е подобна на Llama или Qwen, но е била обучавана изцяло от нула. Подобността позволява използването на същите инструменти. Pretrain версията на голямата езикова модел YandexGPT 5 Lite е с 8B параметри и дължина на контекста от 32k токена. При обучението на модела специално внимание е обърнато на руския език, като материалите на руски са съставили над 70% от набора данни.

Старица модел YandexGPT 5 е наличен в Алиса и на сайта на Яндекса, но той няма да бъде достъпен в открит достъп.

В своята категория моделът достига паритет с глобалните SOTA по редица ключови бенчмаркове за pretrain модели, а по много други ги надминава. Например, според резултатите от вътрешно слепо сравнение (side-by-side) за широк поток запитвания, YandexGPT 5 Pro превъзхожда YandexGPT 4 Pro в 67% от случаите и не отстъпва на GPT-4o.

Източник: linux.org.ru