Uue keelemudeli arhitektuur on sarnane Llama või Qweniga, kuid see on õpetatud täiesti nullist. Sarnasus võimaldab kasutada samu tööriistu. YandexGPT 5 Lite pretrain-versioon suurest keelemudelist, millel on 8B parameetrit ja konteksti pikkus 32k tokenit. Mudeli koolitamisel pöörati erilist tähelepanu vene keelele, vene keeles olnud materjalide osakaal oli enam kui 70% andmestikust.
Eakate mudel YandexGPT 5 on saadaval Alicas ja Yandexi veebilehel, kuid see ei ole avatud juurdepääsuks kergesti kätte saadav.
Oma kategoorias saavutab mudel pariteedi maailma SOTA-ga mitmete võtme- pretrain-mudelite benchmarkide osas, samas kui paljude teiste puhul ületab seda. Näiteks, YandexGPT 5 Pro ületab YandexGPT 4 Pro 67% juhtudest laia päringute voos ning ei jää alla GPT-4o-le.
Allikas: linux.org.ru
