L'architettura del nuovo modello linguistico è simile a quella di Llama o Qwen, ma è stata addestrata completamente da zero. Questa somiglianza permette di utilizzare gli stessi strumenti. La versione Pretrain del grande modello linguistico YandexGPT 5 Lite conta 8 miliardi di parametri con una lunghezza del contesto di 32k token. Durante l'addestramento del modello, è stata data particolare attenzione alla lingua russa, con materiali in russo che hanno costituito oltre il 70% del dataset.
Il modello avanzato YandexGPT 5 è disponibile in Alice e sul sito di Yandex, ma non sarà rilasciato in accesso aperto.
Nella sua categoria, il modello raggiunge parità con i migliori SOTA mondiali su vari importanti benchmark per modelli pre-addestrati e li supera in molti altri. Ad esempio, dai risultati di un confronto cieco diretto (side-by-side) per un ampio flusso di richieste, YandexGPT 5 Pro supera YandexGPT 4 Pro nel 67% dei casi e non è inferiore a GPT-4o.
Fonte: linux.org.ru
