L'architettura del nuovo modello linguistico è simile a quella di Llama o Qwen, ma è stata addestrata completamente da zero. Questa somiglianza consente di utilizzare gli stessi strumenti. La versione Pretrain del grande modello linguistico YandexGPT 5 Lite ha 8 miliardi di parametri e una lunghezza del contesto di 32.000 token. Durante l'addestramento del modello, è stata prestata particolare attenzione alla lingua russa, con materiali in russo che hanno costituito oltre il 70% del dataset.
Il modello senior YandexGPT 5 è disponibile in Alice e sul sito di Yandex, ma non sarà reso disponibile al pubblico.
Nella sua categoria, il modello raggiunge la parità con i principali SOTA mondiali su vari benchmark chiave per i modelli preaddestrati e in molti altri casi li supera. Ad esempio, dai risultati di un confronto cieco interno (side-by-side) per un ampio flusso di richieste, YandexGPT 5 Pro supera YandexGPT 4 Pro nel 67% dei casi e non è inferiore a GPT-4o.
Fonte: linux.org.ru
