Яндекс издаде в отворен достъп езиковата модел YandexGPT-5-Lite.
Архитектурата на новия езиков модел е подобна на Llama или Qwen, но той е обучен изцяло от нулата. Подобностите позволяват използването на същите инструменти. Pretrain версията на голям езиков модел YandexGPT 5 Lite с 8B параметри и дължина на контекста от 32k токена. При обучението на модела специално внимание е отделено на руския език, а материалите на руски са съставили над 70% от набора данни. По-голямата версия YandexGPT 5 […]
