Yandex je objavio jezički model YandexGPT-5-Lite kao otvoren izvor.
Arhitektura novog jezičkog modela slična je Llama ili Qwen, ali je potpuno obučena od nule. Sličnost omogućava korišćenje istog alata. Pretrain verzija velikog jezičkog modela YandexGPT 5 Lite sa 8B parametara i dužinom konteksta od 32k tokena. Prilikom obuke modela, posebno je obraćena pažnja na ruski jezik, a materijali na ruskom su činili više od 70% skupa podataka. Starija verzija YandexGPT 5 […]
