{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/news\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"Databricks ha lanciato un grande modello linguistico DBRX, che supera nei test GPT-3.5","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
L'azienda Databricks ha annunciato il lancio del grande modello linguistico DBRX, che pu\u00f2 essere utilizzato per creare chatbot in grado di rispondere a domande in linguaggio naturale, risolvere problemi matematici proposti, generare contenuti su argomenti specifici e scrivere codice in vari linguaggi di programmazione. Il modello \u00e8 stato sviluppato dall'azienda Mosaic ML, acquisita da Databricks per 1,3 miliardi di dollari. Per l'addestramento \u00e8 stato utilizzato un cluster di 3072 GPU NVIDIA H100 Tensor Core. Per l'esecuzione del modello finale si raccomandano 320 GB di memoria. <\/p>\n
Durante l'addestramento del modello \u00e8 stata utilizzata l'architettura MoE (Mixture of Experts), che consente di ottenere una valutazione esperta pi\u00f9 precisa, e una raccolta di testi e codici di dimensioni pari a 12 TB. La dimensione del contesto considerato dal modello DBRX \u00e8 di 32.000 token (il numero di token che il modello pu\u00f2 elaborare e memorizzare durante la generazione del testo). A titolo di confronto, la dimensione del contesto dei modelli Google Gemini e OpenAI GPT-4 \u00e8 di 32.000 token, Google Gemma \u00e8 di 8.000, mentre il modello GPT-4 Turbo \u00e8 di 128.000. <\/p>\n
Il modello comprende 132 miliardi di parametri ed \u00e8 suddiviso in 16 reti esperte, di cui possono essere utilizzate al massimo 4 durante l'elaborazione della richiesta (con una copertura di non oltre 36 miliardi di parametri per ciascun token). A titolo di confronto, il modello GPT-4 include presumibilmente 1,76 trilioni di parametri, il recente modello Grok (X\/Twitter) \u00e8 di 314 miliardi, GPT-3.5 \u00e8 di 175 miliardi, YaLM (Yandex) \u00e8 di 100 miliardi, LLaMA (Meta) \u00e8 di 65 miliardi, GigaChat (Sber) \u00e8 di 29 miliardi e Gemma (Google) \u00e8 di 7 miliardi. <\/p>\n
Il modello e i relativi componenti sono distribuiti sotto la licenza Databricks Open Model License, che consente l'utilizzo, la riproduzione, la copia, la modifica e la creazione di prodotti derivati, ma con alcune restrizioni. Ad esempio, la licenza proibisce di utilizzare DBRX, i modelli derivati e qualsiasi output basato su di essi per migliorare altri modelli linguistici diversi da DBRX. La licenza vieta inoltre l'uso del modello in aree che violano le leggi e i regolamenti. I modelli derivati devono essere distribuiti sotto la stessa licenza. Nel caso di utilizzo in prodotti e servizi utilizzati da oltre 700 milioni di utenti al mese, \u00e8 necessario ottenere un'autorizzazione separata. <\/p>\n
Secondo quanto dichiarato dagli sviluppatori del modello, per le sue caratteristiche e capacit\u00e0, DBRX supera i modelli GPT-3.5 di OpenAI e Grok-1 di Twitter, e pu\u00f2 competere con il modello Gemini 1.0 Pro nei test di comprensione del linguaggio, capacit\u00e0 di scrivere codice nei linguaggi di programmazione e risoluzione di problemi matematici. In alcune applicazioni, ad esempio nella generazione di query SQL, DBRX si avvicina all'efficienza del modello GPT-4 Turbo, che \u00e8 leader nel mercato. Inoltre, il modello si distingue dai servizi concorrenti per la sua rapidit\u00e0, permettendo di generare risposte quasi istantaneamente. In particolare, DBRX pu\u00f2 generare testo a una velocit\u00e0 di fino a 150 token al secondo per singolo utente, circa due volte pi\u00f9 veloce del modello LLaMA2-70B.
<\/center>
<\/center> <\/p>\n
In aggiunta, va segnalata la pubblicazione di una descrizione tecnica del modello linguistico open source InternLM2, che viene distribuito sotto licenza Apache 2.0, disponibile nelle varianti con 20, 7 e 1,8 miliardi di parametri. Il modello \u00e8 sviluppato da un laboratorio di intelligenza artificiale di Shanghai con il contributo di diverse universit\u00e0 cinesi e si distingue per la capacit\u00e0 di gestire fino a 200K token di contesto e per il supporto non solo della lingua inglese, ma anche di quella cinese. In molti test, il modello si avvicina a GPT-4.
<\/center>
<\/center>
<\/center> <\/p>\n
Inoltre, si segnala lo sviluppo di 84 nuovi core per la moltiplicazione di matrici per l'toolset llamafile, sviluppato da Mozilla, che consente di creare eseguibili universali per l'esecuzione di modelli linguistici di apprendimento automatico (LLM). Le modifiche hanno permesso di accelerare significativamente il funzionamento dei modelli su llamafile quando eseguiti su CPU. Ad esempio, l'esecuzione di modelli utilizzando llamafile \u00e8 ora pi\u00f9 veloce rispetto a llama.cpp da 30% a 500% a seconda dell'ambiente, e rispetto alla libreria MKL le operazioni matriciali che rientrano nella cache L2 vengono eseguite due volte pi\u00f9 velocemente nella nuova implementazione. \n Fonte: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n