{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"A Databricks lan\u00e7ou um grande modelo de linguagem DBRX, que superou as avalia\u00e7\u00f5es do GPT-3.5","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
A empresa Databricks anunciou o lan\u00e7amento do grande modelo de linguagem DBRX, que pode ser usado para criar chatbots que respondem a perguntas em linguagem natural, resolvem problemas matem\u00e1ticos propostos, geram conte\u00fado sobre temas determinados e criam c\u00f3digos em v\u00e1rias linguagens de programa\u00e7\u00e3o. O modelo foi desenvolvido pela Mosaic ML, que foi adquirida pela Databricks por 1,3 bilh\u00f5es de d\u00f3lares. Para o treinamento, foi utilizado um cluster de 3072 GPU NVIDIA H100 Tensor Core. Para executar o modelo pronto, recomenda-se 320GB de mem\u00f3ria. <\/p>\n
Durante o treinamento do modelo, foi aplicada a arquitetura MoE (Mistura de Especialistas), permitindo obter uma avalia\u00e7\u00e3o mais precisa dos especialistas, e uma cole\u00e7\u00e3o de textos e c\u00f3digos com um tamanho de 12 TB. O tamanho do contexto considerado pelo modelo DBRX \u00e9 de 32 mil tokens (a quantidade de tokens que o modelo pode processar e armazenar ao gerar texto). Para compara\u00e7\u00e3o, o tamanho do contexto dos modelos Google Gemini e OpenAI GPT-4 \u00e9 de 32 mil tokens, o Google Gemma \u2014 8 mil, enquanto o modelo GPT-4 Turbo \u2014 128 mil. <\/p>\n
O modelo abrange 132 bilh\u00f5es de par\u00e2metros e \u00e9 dividido em 16 redes especializadas, das quais, ao processar um pedido, podem ser utilizadas no m\u00e1ximo 4 (com uma cobertura de at\u00e9 36 bilh\u00f5es de par\u00e2metros para cada token). Para compara\u00e7\u00e3o, o modelo GPT-4 supostamente inclui 1,76 trilh\u00e3o de par\u00e2metros, o modelo Grok (X\/Twitter) recentemente lan\u00e7ado possui 314 bilh\u00f5es, GPT-3.5 \u2014 175 bilh\u00f5es, YaLM (Yandex) \u2014 100 bilh\u00f5es, LLaMA (Meta) \u2014 65 bilh\u00f5es, GigaChat (Sber) \u2014 29 bilh\u00f5es, Gemma (Google) \u2014 7 bilh\u00f5es. <\/p>\n
O modelo e os componentes relacionados s\u00e3o distribu\u00eddos sob a licen\u00e7a Databricks Open Model License, que permite o uso, reprodu\u00e7\u00e3o, c\u00f3pia, modifica\u00e7\u00e3o e cria\u00e7\u00e3o de produtos derivados, mas com algumas restri\u00e7\u00f5es. Por exemplo, a licen\u00e7a pro\u00edbe o uso do DBRX, dos modelos derivados e de qualquer sa\u00edda baseada neles para aprimorar outros modelos de linguagem que n\u00e3o sejam o DBRX. A licen\u00e7a tamb\u00e9m pro\u00edbe o uso do modelo em \u00e1reas que violem leis e regulamenta\u00e7\u00f5es. Modelos derivados devem ser distribu\u00eddos sob a mesma licen\u00e7a. Quando usados em produtos e servi\u00e7os que atendem a mais de 700 milh\u00f5es de usu\u00e1rios por m\u00eas, \u00e9 necess\u00e1rio obter uma autoriza\u00e7\u00e3o separada. <\/p>\n
Segundo os criadores do modelo, em termos de caracter\u00edsticas e capacidades, o DBRX supera o modelo GPT-3.5 da OpenAI e o Grok-1 do Twitter, podendo competir com o modelo Gemini 1.0 Pro em testes de compreens\u00e3o da linguagem, habilidades de programa\u00e7\u00e3o e resolu\u00e7\u00e3o de problemas matem\u00e1ticos. Em algumas aplica\u00e7\u00f5es, como a gera\u00e7\u00e3o de consultas SQL, o DBRX se aproxima da efici\u00eancia do modelo GPT-4 Turbo, que lidera o mercado. Al\u00e9m disso, o modelo se distingue de servi\u00e7os concorrentes por sua r\u00e1pida performance, permitindo gerar respostas quase instantaneamente. Em particular, o DBRX pode produzir texto a uma velocidade de at\u00e9 150 tokens por segundo por usu\u00e1rio, o que \u00e9 aproximadamente duas vezes mais r\u00e1pido que o modelo LLaMA2-70B.
<\/center>
<\/center> <\/p>\n
Adicionalmente, \u00e9 importante notar a publica\u00e7\u00e3o da descri\u00e7\u00e3o t\u00e9cnica do modelo de linguagem de grande escala InternLM2, que \u00e9 distribu\u00eddo sob a licen\u00e7a Apache 2.0 e est\u00e1 dispon\u00edvel em variantes com 20, 7 e 1,8 bilh\u00f5es de par\u00e2metros. O modelo est\u00e1 sendo desenvolvido pelo laborat\u00f3rio de intelig\u00eancia artificial de Xangai em colabora\u00e7\u00e3o com v\u00e1rias universidades chinesas e \u00e9 not\u00e1vel por considerar at\u00e9 200K tokens de contexto e por suportar n\u00e3o apenas o ingl\u00eas, mas tamb\u00e9m o chin\u00eas. Em muitos testes, o modelo se mostra pr\u00f3ximo ao GPT-4.
<\/center>
<\/center>
<\/center> <\/p>\n
Al\u00e9m disso, foi relatada a cria\u00e7\u00e3o de 84 novos n\u00facleos de multiplica\u00e7\u00e3o de matrizes para o conjunto de ferramentas llamafile, desenvolvido pela Mozilla e que permite criar arquivos execut\u00e1veis universais para rodar grandes modelos de linguagem de machine learning (LLM). As mudan\u00e7as permitiram acelerar significativamente o desempenho dos modelos no llamafile quando executados em CPU. Por exemplo, a execu\u00e7\u00e3o de modelos utilizando o llamafile agora \u00e9 de 30% a 500% mais r\u00e1pida em compara\u00e7\u00e3o ao uso do llama.cpp, dependendo do ambiente, e em compara\u00e7\u00e3o \u00e0 biblioteca MKL, opera\u00e7\u00f5es matriciais que cabem no cache L2 s\u00e3o executadas duas vezes mais r\u00e1pido na nova implementa\u00e7\u00e3o. \n Fonte: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"A](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"A](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"A](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"A](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"A](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n