{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"Databricks ha lanciato un grande modello linguistico DBRX, superando nei test GPT-3.5.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
L'azienda Databricks ha annunciato il lancio del grande modello linguistico DBRX, che pu\u00f2 essere utilizzato per creare chatbot in grado di rispondere a domande in linguaggio naturale, risolvere problemi matematici proposti, generare contenuti su un argomento specifico e scrivere codice in vari linguaggi di programmazione. Il modello \u00e8 stato sviluppato da Mosaic ML, acquistata da Databricks per 1,3 miliardi di dollari. Per il suo addestramento \u00e8 stato utilizzato un cluster di 3072 GPU NVIDIA H100 Tensor Core. Si raccomanda un avvio della modello completo con 320GB di memoria. <\/p>\n
Il modello copre 132 miliardi di parametri ed \u00e8 suddiviso in 16 reti esperte, delle quali possono essere utilizzate al massimo 4 durante l'elaborazione della richiesta (con una copertura massima di 36 miliardi di parametri per ogni token). A titolo di confronto, si stima che il modello GPT-4 includa 1,76 trilioni di parametri, il recentemente lanciato modello Grok di X\/Twitter \u2014 314 miliardi, GPT-3.5 \u2014 175 miliardi, YaLM (Yandex) \u2014 100 miliardi, LLaMA (Meta) \u2014 65 miliardi, GigaChat (Sber) \u2014 29 miliardi, Gemma (Google) \u2014 7 miliardi. <\/p>\n
Il modello e i componenti ad esso correlati sono distribuiti sotto la licenza Databricks Open Model License, che consente di utilizzare, riprodurre, copiare, modificare e creare prodotti derivati, ma con alcune restrizioni. Ad esempio, la licenza vieta di utilizzare DBRX, i modelli derivati e qualsiasi output basato su di essi per migliorare altri modelli linguistici, diversi da DBRX. La licenza vieta inoltre l'uso del modello in ambiti che violano leggi e normative. I modelli derivati devono essere distribuiti sotto la stessa licenza. L'uso in prodotti e servizi utilizzati da oltre 700 milioni di utenti al mese richiede un'autorizzazione separata. <\/p>\n
Secondo i creatori del modello, per caratteristiche e capacit\u00e0, DBRX supera i modelli GPT-3.5 di OpenAI e Grok-1 di Twitter, e pu\u00f2 competere con il modello Gemini 1.0 Pro in test di comprensione del linguaggio, capacit\u00e0 di scrittura di codice in linguaggi di programmazione e risoluzione di problemi matematici. In alcune applicazioni, ad esempio nella generazione di query SQL, DBRX raggiunge un'efficacia paragonabile a quella del modello GPT-4 Turbo, attualmente leader nel mercato. Inoltre, il modello si distingue dai servizi concorrenti per la sua elevata rapidit\u00e0 e consente di generare risposte quasi istantaneamente. In particolare, DBRX pu\u00f2 generare testo a una velocit\u00e0 di fino a 150 token al secondo per utente, che \u00e8 circa il doppio pi\u00f9 veloce rispetto al modello LLaMA2-70B.
<\/center>
<\/center> <\/p>\n
Si segnala inoltre la pubblicazione della descrizione tecnica del grande modello linguistico open source InternLM2, distribuito con licenza Apache 2.0, disponibile nelle varianti da 20, 7 e 1.8 miliardi di parametri. Il modello \u00e8 sviluppato dal laboratorio di intelligenza artificiale di Shanghai con la partecipazione di diverse universit\u00e0 cinesi ed \u00e8 notevole per la sua capacit\u00e0 di gestire fino a 200K token di contesto e per il supporto non solo dell'inglese, ma anche del cinese. In molti test, il modello \u00e8 paragonabile a GPT-4.
<\/center>
<\/center>
<\/center> <\/p>\n
Inoltre, si riporta lo sviluppo di 84 nuovi core per la moltiplicazione di matrici per l'toolkit llamafile, sviluppato da Mozilla, che consente di creare file eseguibili universali per l'esecuzione di grandi modelli linguistici di machine learning (LLM). Le modifiche hanno consentito di accelerare significativamente il funzionamento dei modelli in llamafile quando eseguiti su CPU. Ad esempio, l'esecuzione dei modelli utilizzando llamafile \u00e8 ora pi\u00f9 veloce rispetto all'utilizzo di llama.cpp da 30% a 500%, a seconda dell'ambiente, mentre le operazioni matriciali che rientrano nella cache L2 vengono eseguite nella nuova implementazione con il doppio della velocit\u00e0 rispetto alla libreria MKL. \n Fonte: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n