Яндекс публикува в открит достъп езиковата модел YandexGPT-5-Lite
Архитектурата на новия езиков модел е подобна на Llama или Qwen, но той е обучаван напълно от нулата. Подобността позволява използването на същия инструментариум. Pretrain-версията на голямия езиков модел YandexGPT 5 Lite с 8B параметри и дължина на контекста от 32k токена. При обучението на модела специфично внимание е обърнато на руския език, материалите на руски съставляват над 70% от набора от данни. По-старата версия на YandexGPT 5 […]
