{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/news\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"Databricks ha lanzado un gran modelo de lenguaje DBRX, superando en las pruebas a GPT-3.5","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
La empresa Databricks ha anunciado la apertura de un gran modelo de lenguaje DBRX, que puede ser utilizado para crear chatbots que respondan preguntas en lenguaje natural, resolver problemas matem\u00e1ticos propuestos, generar contenido sobre un tema espec\u00edfico y crear c\u00f3digo en varios lenguajes de programaci\u00f3n. Este modelo fue desarrollado por Mosaic ML, que fue adquirida por Databricks por 1.3 mil millones de d\u00f3lares. Para su entrenamiento se utiliz\u00f3 un cl\u00faster de 3072 GPU NVIDIA H100 Tensor Core. Se recomienda 320GB de memoria para ejecutar el modelo listo. <\/p>\n
Al entrenar el modelo, se aplic\u00f3 una arquitectura MoE (mezcla de expertos) que permite obtener una evaluaci\u00f3n experta m\u00e1s precisa, y una colecci\u00f3n de textos y c\u00f3digo de 12 Tb. El tama\u00f1o del contexto considerado por el modelo DBRX es de 32 mil tokens (n\u00famero de tokens que el modelo puede procesar y recordar al generar texto). Para comparaci\u00f3n, el tama\u00f1o del contexto en los modelos Google Gemini y OpenAI GPT-4 es de 32 mil tokens, Google Gemma \u2014 8 mil, y el modelo GPT-4 Turbo \u2014 128 mil. <\/p>\n
El modelo abarca 132 mil millones de par\u00e1metros y est\u00e1 dividido en 16 redes de expertos, de las cuales se pueden utilizar un m\u00e1ximo de 4 al procesar una solicitud (cobertura de hasta 36 mil millones de par\u00e1metros para cada token). A modo de comparaci\u00f3n, se presume que el modelo GPT-4 incluye 1.76 billones de par\u00e1metros, el modelo Grok (X\/Twitter) reci\u00e9n revelado \u2014 314 mil millones, GPT-3.5 \u2014 175 mil millones, YaLM (Yandex) \u2014 100 mil millones, LLaMA (Meta) \u2014 65 mil millones, GigaChat (Sber) \u2014 29 mil millones, Gemma (Google) \u2014 7 mil millones. <\/p>\n
El modelo y los componentes relacionados se distribuyen bajo la licencia Databricks Open Model License, que permite usar, reproducir, copiar, modificar y crear productos derivados, pero con algunas restricciones. Por ejemplo, la licencia proh\u00edbe usar DBRX, modelos derivados y cualquier salida basada en ellos para mejorar otros modelos de lenguaje distintos a DBRX. La licencia tambi\u00e9n proh\u00edbe usar el modelo en \u00e1reas que violen leyes y regulaciones. Los modelos derivados deben distribuirse bajo la misma licencia. Al ser utilizados en productos y servicios que cuentan con m\u00e1s de 700 millones de usuarios al mes, se requiere obtener un permiso separado. <\/p>\n
Seg\u00fan los creadores del modelo, por sus caracter\u00edsticas y capacidades, DBRX supera a los modelos GPT-3.5 de OpenAI y Grok-1 de Twitter, y puede competir con el modelo Gemini 1.0 Pro en pruebas de comprensi\u00f3n del lenguaje, habilidades de escritura de c\u00f3digo en lenguajes de programaci\u00f3n y resoluci\u00f3n de problemas matem\u00e1ticos. En algunas aplicaciones, como la generaci\u00f3n de consultas SQL, DBRX se acerca en eficiencia al modelo GPT-4 Turbo, que lidera el mercado. Adem\u00e1s, el modelo se distingue de los servicios competidores por su rapidez, permitiendo la generaci\u00f3n de respuestas casi instant\u00e1neamente. En particular, DBRX puede generar texto a una velocidad de hasta 150 tokens por segundo por usuario, lo que es aproximadamente el doble de r\u00e1pido que el modelo LLaMA2-70B.
<\/center>
<\/center> <\/p>\n
Adicionalmente, se puede destacar la publicaci\u00f3n de la descripci\u00f3n t\u00e9cnica del modelo de lenguaje grande abierto InternLM2, que se distribuye bajo la licencia Apache 2.0, disponible en versiones con 20, 7 y 1.8 mil millones de par\u00e1metros. El modelo est\u00e1 siendo desarrollado por un laboratorio de inteligencia artificial en Shangh\u00e1i con la participaci\u00f3n de varias universidades chinas y es notable por considerar hasta 200K tokens de contexto y por soportar no solo el ingl\u00e9s, sino tambi\u00e9n el chino. En muchas pruebas, el modelo est\u00e1 cerca de GPT-4.
<\/center>
<\/center>
<\/center> <\/p>\n
Adem\u00e1s, se informa sobre el desarrollo de 84 nuevos n\u00facleos de multiplicaci\u00f3n de matrices para la herramienta llamafile, desarrollada por Mozilla, que permite crear archivos ejecutables universales para ejecutar grandes modelos de lenguaje de aprendizaje autom\u00e1tico (LLM). Los cambios han permitido acelerar significativamente el rendimiento de los modelos en llamafile al ejecutarse en CPU. Por ejemplo, la ejecuci\u00f3n de modelos utilizando llamafile ahora es m\u00e1s r\u00e1pida que al usar llama.cpp entre un 30% y un 500% dependiendo del entorno, y en comparaci\u00f3n con la biblioteca MKL, las operaciones de matriz que caben en la cach\u00e9 L2 se realizan en la nueva implementaci\u00f3n dos veces m\u00e1s r\u00e1pido. \n Fuente: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n