Arhitektura novog jezičnog modela slična je Llama ili Qwen, ali je u potpunosti trenirana od nule. Sličnost omogućuje korištenje istog alata. Pretrain verzija velikog jezičnog modela YandexGPT 5 Lite ima 8B parametara s dužinom konteksta od 32k tokena. Tijekom treniranja modela posebna pažnja posvećena je hrvatskom jeziku, a materijali na hrvatskom predstavljaju više od 70% dataset-a.
Stariji model YandexGPT 5 dostupan je u Alisi i na web stranici Yandexa, ali neće biti javno dostupan.
U svojoj kategoriji model postiže paritet s globalnim SOTA u nizu ključnih benchmarka za pre-trenirane modele, a po mnogim drugim ih nadmašuje. Na primjer, prema rezultatima internog slijepog uporednog testiranja (side-by-side) za širok spektar upita, YandexGPT 5 Pro nadmašuje YandexGPT 4 Pro u 67% slučajeva i ne zaostaje za GPT-4o.
Izvor: linux.org.ru
