Arhitectura noului model lingvistic este similară cu Llama sau Qwen, dar a fost antrenată complet de la zero. Similaritatea permite utilizarea aceleași unelte. Versiunea de preantrenare a modelului lingvistic mare YandexGPT 5 Lite cu 8 miliarde de parametri și o lungime a contextului de 32k tokeni. În timpul antrenării modelului, s-a acordat o atenție deosebită limbii ruse, materialele în limba rusă constituind peste 70% din setul de date.
Modelul senior YandexGPT 5 este disponibil în Alice și pe site-ul Yandex, dar nu va fi disponibil public.
În categoria sa, modelul atinge paritatea cu SOTA internațional în mai multe benchmark-uri cheie pentru modelele de preantrenare, și în multe altele le depășește. De exemplu, conform rezultatelor unui comparativ intern orb (side-by-side) pentru un flux larg de cereri, YandexGPT 5 Pro depășește YandexGPT 4 Pro în 67% din cazuri și nu se lasă mai prejos față de GPT-4o.
Sursa: linux.org.ru
