{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/news\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"Databricks a lanc\u00e9 un grand mod\u00e8le linguistique DBRX, surpassant les tests de GPT-3.5","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
La soci\u00e9t\u00e9 Databricks a annonc\u00e9 le lancement d'un grand mod\u00e8le linguistique, DBRX, qui peut \u00eatre utilis\u00e9 pour cr\u00e9er des chatbots capables de r\u00e9pondre \u00e0 des questions en langage naturel, de r\u00e9soudre des probl\u00e8mes math\u00e9matiques propos\u00e9s, de g\u00e9n\u00e9rer du contenu sur des sujets donn\u00e9s et de coder dans diff\u00e9rents langages de programmation. Le mod\u00e8le a \u00e9t\u00e9 d\u00e9velopp\u00e9 par Mosaic ML, qui a \u00e9t\u00e9 acquise par Databricks pour 1,3 milliard de dollars. Un cluster de 3072 GPU NVIDIA H100 Tensor Core a \u00e9t\u00e9 utilis\u00e9 pour son entra\u00eenement. Pour le d\u00e9ploiement du mod\u00e8le final, 320 Go de m\u00e9moire sont recommand\u00e9s. <\/p>\n
Lors de l'entra\u00eenement du mod\u00e8le, une architecture MoE (Mixture of Experts) a \u00e9t\u00e9 utilis\u00e9e, permettant d'obtenir une \u00e9valuation experte plus pr\u00e9cise, ainsi qu'une collection de textes et de codes de 12 To. La taille du contexte consid\u00e9r\u00e9e par le mod\u00e8le DBRX est de 32 000 tokens (le nombre de tokens que le mod\u00e8le peut traiter et m\u00e9moriser lors de la g\u00e9n\u00e9ration de texte). Pour comparaison, la taille du contexte des mod\u00e8les Google Gemini et OpenAI GPT-4 est de 32 000 tokens, celle de Google Gemma est de 8 000, tandis que le mod\u00e8le GPT-4 Turbo atteint 128 000 tokens. <\/p>\n
Le mod\u00e8le comprend 132 milliards de param\u00e8tres et est r\u00e9parti sur 16 r\u00e9seaux experts, dont un maximum de 4 peut \u00eatre utilis\u00e9 pour le traitement d'une demande (couvrant jusqu'\u00e0 36 milliards de param\u00e8tres pour chaque token). Pour comparaison, le mod\u00e8le GPT-4 comprend probablement 1,76 trillion de param\u00e8tres, le mod\u00e8le Grok r\u00e9cemment d\u00e9voil\u00e9 par X\/Twitter comprend 314 milliards, GPT-3.5 a 175 milliards, YaLM (Yandex) a 100 milliards, LLaMA (Meta) a 65 milliards, GigaChat (Sber) a 29 milliards, et Gemma (Google) a 7 milliards. <\/p>\n
Le mod\u00e8le et ses composants associ\u00e9s sont distribu\u00e9s sous la licence Databricks Open Model License, qui permet d'utiliser, de reproduire, de copier, de modifier et de cr\u00e9er des produits d\u00e9riv\u00e9s, mais avec certaines restrictions. Par exemple, la licence interdit d'utiliser DBRX, les mod\u00e8les d\u00e9riv\u00e9s et toute sortie bas\u00e9e sur eux pour am\u00e9liorer d'autres mod\u00e8les de langage, \u00e0 l'exception de DBRX. La licence interdit \u00e9galement l'utilisation du mod\u00e8le dans des domaines enfreignant des lois et des r\u00e8glements. Les mod\u00e8les d\u00e9riv\u00e9s doivent \u00eatre distribu\u00e9s sous la m\u00eame licence. Lorsqu'ils sont utilis\u00e9s dans des produits et services qui comptent plus de 700 millions d'utilisateurs par mois, une autorisation distincte est requise. <\/p>\n
Selon les cr\u00e9ateurs du mod\u00e8le, les caract\u00e9ristiques et les capacit\u00e9s de DBRX surpassent celles des mod\u00e8les GPT-3.5 de la soci\u00e9t\u00e9 OpenAI et Grok-1 de Twitter, et peuvent rivaliser avec le mod\u00e8le Gemini 1.0 Pro lors des tests de compr\u00e9hension linguistique, de r\u00e9daction de code en langages de programmation et de r\u00e9solution de probl\u00e8mes math\u00e9matiques. Dans certaines applications, comme la g\u00e9n\u00e9ration de requ\u00eates SQL, DBRX s'approche en efficacit\u00e9 du mod\u00e8le GPT-4 Turbo, qui est le leader du march\u00e9. De plus, le mod\u00e8le se distingue des services concurrents par sa rapidit\u00e9 d'ex\u00e9cution, permettant de fournir des r\u00e9ponses presque instantan\u00e9ment. En particulier, DBRX peut g\u00e9n\u00e9rer du texte \u00e0 une vitesse allant jusqu'\u00e0 150 jetons par seconde par utilisateur, ce qui est environ deux fois plus rapide que le mod\u00e8le LLaMA2-70B.
<\/center>
<\/center> <\/p>\n
Il convient \u00e9galement de noter la publication de la description technique du grand mod\u00e8le de langage ouvert InternLM2, qui est distribu\u00e9 sous licence Apache 2.0, disponible en versions avec 20, 7 et 1,8 milliards de param\u00e8tres. Le mod\u00e8le est d\u00e9velopp\u00e9 par un laboratoire d'intelligence artificielle \u00e0 Shanghai, en collaboration avec plusieurs universit\u00e9s chinoises, et se distingue par sa prise en compte de jusqu'\u00e0 200K jetons de contexte et par son support non seulement de l'anglais, mais aussi du chinois. Dans de nombreux tests, le mod\u00e8le se rapproche de GPT-4.
<\/center>
<\/center>
<\/center> <\/p>\n
De plus, il est signal\u00e9 que 84 nouveaux c\u0153urs de multiplication de matrices ont \u00e9t\u00e9 d\u00e9velopp\u00e9s pour l'outil llamafile, en cours de d\u00e9veloppement par Mozilla et permettant de cr\u00e9er des fichiers ex\u00e9cutables universels pour ex\u00e9cuter de grands mod\u00e8les de langage d'apprentissage machine (LLM). Les modifications ont permis d'acc\u00e9l\u00e9rer consid\u00e9rablement le fonctionnement des mod\u00e8les dans llamafile lorsqu'ils sont ex\u00e9cut\u00e9s sur CPU. Par exemple, l'ex\u00e9cution des mod\u00e8les en utilisant llamafile est d\u00e9sormais plus rapide que celle utilisant llama.cpp de 30 % \u00e0 500 % selon l'environnement, et en comparaison avec la biblioth\u00e8que MKL, les op\u00e9rations matricielles qui tiennent dans le cache L2 sont ex\u00e9cut\u00e9es deux fois plus vite dans la nouvelle impl\u00e9mentation. \n Source : opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n