L'architettura del nuovo modello linguistico è simile a Llama o Qwen, ma è stato addestrato interamente da zero. La somiglianza consente l'utilizzo degli stessi strumenti. Versione pre-addestrata del modello linguistico di grandi dimensioni YandexGPT 5 Lite con 8B di parametri e una lunghezza del contesto di 32k token. Durante l'addestramento del modello è stata prestata particolare attenzione alla lingua russa: i materiali in russo costituivano oltre il 70% del set di dati.
Il modello più vecchio YandexGPT 5 è disponibile in Alice e sul sito web Yandex, ma non sarà reso pubblico.
Nella sua categoria, il modello raggiunge la parità con i SOTA globali in una serie di parametri di riferimento chiave per i modelli di pre-addestramento e li supera in molti altri. Ad esempio, secondo i risultati di un confronto cieco interno a coppie (affiancato) per un ampio flusso di query, YandexGPT 5 Pro supera YandexGPT 4 Pro nel 67% dei casi e non è inferiore a GPT-4o.
Fonte: linux.org.ru
