Yandex har gjort språkmodellen YandexGPT-5-Lite tilgjengelig for offentligheten
Arkitekturen til den nye språkmodellen ligner på Llama eller Qwen, men den ble trent helt fra bunnen av. Likheten gjør det mulig å bruke de samme verktøyene. Pretrain-versjonen av den store språkmodellen YandexGPT 5 Lite har 8B parametere med en kontekstdimensjon på 32k tokens. Under opplæringen av modellen ble det lagt særlig vekt på russisk, og materiell på russisk utgjorde mer enn 70% av datasettet. Den større modellen YandexGPT 5 […]
