Яндекс выложила в открытый доступ языковую модель YandexGPT-5-Lite

Архитектура новой языковой модели похожа на Llama или Qwen, но она обучалась полностью с нуля. Похожесть позволяет использовать тот же инструментарий. Pretrain-версия большой языковой модели YandexGPT 5 Lite на 8B параметров с длиной контекста 32k токенов. При обучении модели особое внимание уделялось русскому языку, материалы на русском составили более 70% датасета.

Старшая модель YandexGPT 5 доступна в Алисе и на сайте Яндекса, но она в открытый доступ выложена не будет.

В своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их. Например, по результатам внутреннего слепого попарного сравнения (side-by-side) для широкого потока запросов YandexGPT 5 Pro превосходит YandexGPT 4 Pro в 67% случаев и не уступает GPT-4o.

Источник: linux.org.ru