A empresa Databricks anunciou o lançamento do grande modelo de linguagem DBRX, que pode ser usado para criar chatbots que respondem a perguntas em linguagem natural, resolvem problemas matemáticos propostos, geram conteúdo sobre temas determinados e criam códigos em várias linguagens de programação. O modelo foi desenvolvido pela Mosaic ML, que foi adquirida pela Databricks por 1,3 bilhões de dólares. Para o treinamento, foi utilizado um cluster de 3072 GPU NVIDIA H100 Tensor Core. Para executar o modelo pronto, recomenda-se 320GB de memória.
Durante o treinamento do modelo, foi utilizada a arquitetura MoE (Mistura de Especialistas), que permite obter uma avaliação mais precisa por especialistas, e uma coleção de textos e códigos com tamanho de 12 TB. O tamanho do contexto que o modelo DBRX considera é de 32 mil tokens (número de tokens que o modelo pode processar e lembrar ao gerar texto). Para comparação, o tamanho do contexto dos modelos Google Gemini e OpenAI GPT-4 é de 32 mil tokens, o Google Gemma — 8 mil, e o modelo GPT-4 Turbo — 128 mil.
O modelo abrange 132 bilhões de parâmetros e é dividida em 16 redes especializadas, das quais podem ser utilizadas no máximo 4 durante o processamento de uma solicitação (abrangendo no máximo 36 bilhões de parâmetros para cada token). Para comparação, o modelo GPT-4 supostamente inclui 1,76 trilhão de parâmetros, o modelo recentemente revelado Grok (X/Twitter) — 314 bilhões, GPT-3.5 — 175 bilhões, YaLM (Yandex) — 100 bilhões, LLaMA (Meta) — 65 bilhões, GigaChat (Sber) — 29 bilhões, Gemma (Google) — 7 bilhões.
O modelo e os componentes relacionados são distribuídos sob a licença Databricks Open Model License, que permite o uso, reprodução, cópia, modificação e criação de produtos derivados, mas com algumas restrições. Por exemplo, a licença proíbe o uso do DBRX, dos modelos derivados e de qualquer saída baseada neles para aprimorar outros modelos de linguagem que não sejam o DBRX. A licença também proíbe o uso do modelo em áreas que violem leis e regulamentações. Modelos derivados devem ser distribuídos sob a mesma licença. Quando usados em produtos e serviços que atendem a mais de 700 milhões de usuários por mês, é necessário obter uma autorização separada.
Segundo os criadores do modelo, em termos de características e capacidades, o DBRX supera o modelo GPT-3.5 da OpenAI e o Grok-1 do Twitter, podendo competir com o modelo Gemini 1.0 Pro em testes de compreensão da linguagem, habilidades de programação e resolução de problemas matemáticos. Em algumas aplicações, como a geração de consultas SQL, o DBRX se aproxima da eficiência do modelo GPT-4 Turbo, que lidera o mercado. Além disso, o modelo se distingue de serviços concorrentes por sua rápida performance, permitindo gerar respostas quase instantaneamente. Em particular, o DBRX pode produzir texto a uma velocidade de até 150 tokens por segundo por usuário, o que é aproximadamente duas vezes mais rápido que o modelo LLaMA2-70B.
Adicionalmente, é importante notar a publicação da descrição técnica do modelo de linguagem de grande escala InternLM2, que é distribuído sob a licença Apache 2.0 e está disponível em variantes com 20, 7 e 1,8 bilhões de parâmetros. O modelo está sendo desenvolvido pelo laboratório de inteligência artificial de Xangai em colaboração com várias universidades chinesas e é notável por considerar até 200K tokens de contexto e por suportar não apenas o inglês, mas também o chinês. Em muitos testes, o modelo se mostra próximo ao GPT-4.
Além disso, foi relatada a criação de 84 novos núcleos de multiplicação de matrizes para o conjunto de ferramentas llamafile, desenvolvido pela Mozilla e que permite criar arquivos executáveis universais para rodar grandes modelos de linguagem de machine learning (LLM). As mudanças permitiram acelerar significativamente o desempenho dos modelos no llamafile quando executados em CPU. Por exemplo, a execução de modelos utilizando o llamafile agora é de 30% a 500% mais rápida em comparação ao uso do llama.cpp, dependendo do ambiente, e em comparação à biblioteca MKL, operações matriciais que cabem no cache L2 são executadas duas vezes mais rápido na nova implementação.
Fonte: opennet.ru
