Yandex je objavio jezičnu model YandexGPT-5-Lite u otvorenom pristupu
Arhitektura novog jezičnog modela slična je Llama ili Qwen, ali je potpuno obučena ispočetka. Sličnost omogućuje korištenje istog alata. Pretrain verzija velikog jezičnog modela YandexGPT 5 Lite s 8B parametara i duljinom konteksta od 32k tokena. Tijekom obuke modela posebna pozornost posvećena je ruskom jeziku, a materijali na ruskom činili su više od 70% skupa podataka. Stariji model YandexGPT 5 […]
