Yandex a făcut disponibilă în mod public modelul lingvistic YandexGPT-5-Lite
Arhitectura noului model lingvistic este similară cu Llama sau Qwen, dar a fost antrenată complet de la zero. Similaritatea permite utilizarea aceleași unelte. Versiunea de pretraining a modelului lingvistic mare YandexGPT 5 Lite cu 8B parametri și o lungime a contextului de 32k de tokeni. În timpul antrenării modelului, s-a acordat o atenție specială limbii ruse, materialele în rusă constituind peste 70% din setul de date. Modelul mai mare YandexGPT 5 […]
