L'azienda Databricks ha annunciato il lancio del grande modello linguistico DBRX, che può essere utilizzato per creare chatbot in grado di rispondere a domande in linguaggio naturale, risolvere problemi matematici proposti, generare contenuti su un argomento specifico e scrivere codice in vari linguaggi di programmazione. Il modello è stato sviluppato da Mosaic ML, acquistata da Databricks per 1,3 miliardi di dollari. Per il suo addestramento è stato utilizzato un cluster di 3072 GPU NVIDIA H100 Tensor Core. Si raccomanda un avvio della modello completo con 320GB di memoria.
Durante l'addestramento del modello è stata applicata l'architettura MoE (Mixture of Experts), che consente di ottenere una valutazione esperta più accurata, nonché una raccolta di testi e codici di dimensioni pari a 12 TB. La dimensione del contesto considerato dal modello DBRX è di 32.000 token (il numero di token che il modello può elaborare e memorizzare durante la generazione del testo). A titolo di confronto, la dimensione del contesto per i modelli Google Gemini e OpenAI GPT-4 è di 32.000 token, Google Gemma di 8.000 token e per il modello GPT-4 Turbo è di 128.000 token.
Il modello comprende 132 miliardi di parametri ed è suddiviso in 16 reti esperte, delle quali possono essere utilizzate non più di 4 durante l'elaborazione di una richiesta (coprendo non più di 36 miliardi di parametri per ogni token). In confronto, si stima che il modello GPT-4 includa 1,76 trilioni di parametri, il recentemente lanciato modello Grok (X/Twitter) di 314 miliardi, GPT-3.5 di 175 miliardi, YaLM (Yandex) di 100 miliardi, LLaMA (Meta) di 65 miliardi, GigaChat (Sber) di 29 miliardi e Gemma (Google) di 7 miliardi.
Il modello e i componenti ad esso correlati sono distribuiti sotto la licenza Databricks Open Model License, che consente di utilizzare, riprodurre, copiare, modificare e creare prodotti derivati, ma con alcune restrizioni. Ad esempio, la licenza vieta di utilizzare DBRX, i modelli derivati e qualsiasi output basato su di essi per migliorare altri modelli linguistici, diversi da DBRX. La licenza vieta inoltre l'uso del modello in ambiti che violano leggi e normative. I modelli derivati devono essere distribuiti sotto la stessa licenza. L'uso in prodotti e servizi utilizzati da oltre 700 milioni di utenti al mese richiede un'autorizzazione separata.
Secondo i creatori del modello, per caratteristiche e capacità, DBRX supera i modelli GPT-3.5 di OpenAI e Grok-1 di Twitter, e può competere con il modello Gemini 1.0 Pro in test di comprensione del linguaggio, capacità di scrittura di codice in linguaggi di programmazione e risoluzione di problemi matematici. In alcune applicazioni, ad esempio nella generazione di query SQL, DBRX raggiunge un'efficacia paragonabile a quella del modello GPT-4 Turbo, attualmente leader nel mercato. Inoltre, il modello si distingue dai servizi concorrenti per la sua elevata rapidità e consente di generare risposte quasi istantaneamente. In particolare, DBRX può generare testo a una velocità di fino a 150 token al secondo per utente, che è circa il doppio più veloce rispetto al modello LLaMA2-70B.
Si segnala inoltre la pubblicazione della descrizione tecnica del grande modello linguistico open source InternLM2, distribuito con licenza Apache 2.0, disponibile nelle varianti da 20, 7 e 1.8 miliardi di parametri. Il modello è sviluppato dal laboratorio di intelligenza artificiale di Shanghai con la partecipazione di diverse università cinesi ed è notevole per la sua capacità di gestire fino a 200K token di contesto e per il supporto non solo dell'inglese, ma anche del cinese. In molti test, il modello è paragonabile a GPT-4.
Inoltre, si riporta lo sviluppo di 84 nuovi core per la moltiplicazione di matrici per l'toolkit llamafile, sviluppato da Mozilla, che consente di creare file eseguibili universali per l'esecuzione di grandi modelli linguistici di machine learning (LLM). Le modifiche hanno consentito di accelerare significativamente il funzionamento dei modelli in llamafile quando eseguiti su CPU. Ad esempio, l'esecuzione dei modelli utilizzando llamafile è ora più veloce rispetto all'utilizzo di llama.cpp da 30% a 500%, a seconda dell'ambiente, mentre le operazioni matriciali che rientrano nella cache L2 vengono eseguite nella nuova implementazione con il doppio della velocità rispetto alla libreria MKL.
Fonte: opennet.ru
