A arquitetura do novo modelo de linguagem é semelhante à Llama ou Qwen, mas foi treinada completamente do zero. Esta semelhança permite utilizar as mesmas ferramentas. A versão Pretrain do grande modelo de linguagem YandexGPT 5 Lite tem 8 bilhões de parâmetros e um comprimento de contexto de 32k tokens. Durante o treinamento do modelo, uma atenção especial foi dada ao idioma russo, com materiais em russo constituindo mais de 70% do conjunto de dados.
O modelo avançado YandexGPT 5 está disponível na Alice e no site da Yandex, mas não será disponibilizado ao público.
Na sua categoria, o modelo alcança paridade com os SOTA mundiais em diversos benchmarks-chave para modelos pretrain, e em muitos outros, supera-os. Por exemplo, com base nos resultados de uma comparação interna cega (side-by-side) para um amplo fluxo de consultas, YandexGPT 5 Pro supera YandexGPT 4 Pro em 67% dos casos e não fica atrás do GPT-4o.
Fonte: linux.org.ru
