O Yandex lançou em acesso aberto o modelo de linguagem YandexGPT-5-Lite
A arquitetura do novo modelo de linguagem é semelhante à Llama ou Qwen, mas foi treinada completamente do zero. Essa semelhança permite o uso das mesmas ferramentas. A versão de pré-treinamento do grande modelo de linguagem YandexGPT 5 Lite possui 8B parâmetros e um comprimento de contexto de 32k tokens. Durante o treinamento do modelo, uma atenção especial foi dada ao idioma russo, com materiais em russo representando mais de 70% do conjunto de dados. A versão avançada do YandexGPT 5 […]