Google ha annunciato la pubblicazione di Gemma, un grande modello di linguaggio di apprendimento automatico costruito utilizzando le tecnologie utilizzate per costruire il modello di chatbot Gemini, che tenta di competere con ChatGPT. Il modello è disponibile in quattro varianti, che coprono 2 e 7 miliardi di parametri, in visualizzazioni di base e ottimizzate per i dialoghi. Le opzioni con 2 miliardi di parametri sono adatte per l'uso in applicazioni consumer e dispongono di CPU sufficiente per elaborarle. Le opzioni con 7 miliardi di parametri richiedono hardware più potente e una GPU o TPU.
Tra gli ambiti di applicazione del modello Gemma vi sono la creazione di sistemi di dialogo e assistenti virtuali, generazione di testi, generazione di risposte a domande poste in linguaggio naturale, sintesi e generalizzazione dei contenuti, spiegazione dell'essenza di concetti e termini, correzione di errori nel testo, assistenza nell'apprendimento delle lingue. Supporta la creazione di vari tipi di dati di testo, tra cui poesia, codice nei linguaggi di programmazione, riscrittura di opere in altre parole e generazione di lettere utilizzando un modello. Allo stesso tempo, il modello ha dimensioni relativamente ridotte, che ne consentono l'utilizzo sulla propria attrezzatura con risorse limitate, ad esempio su normali laptop e PC.
Il modello di licenza consente l'uso e la distribuzione gratuiti non solo nella ricerca e nei progetti personali, ma anche nei prodotti commerciali. È inoltre consentita la creazione e pubblicazione di versioni modificate del modello. Allo stesso tempo, i termini di utilizzo vietano l'uso del modello per eseguire azioni dannose e richiedono, quando possibile, di utilizzare la versione più recente di Gemma nei propri prodotti.
Il supporto per lavorare con i modelli Gemma è già stato aggiunto al toolkit Transformers e al Responsible Generative AI Toolkit. Per ottimizzare il modello, è possibile utilizzare il framework Keras e i backend per TensorFlow, JAX e PyTorch. È anche possibile utilizzare Gemma con i framework MaxText, NVIDIA NeMo e TensorRT-LLM.
La dimensione del contesto presa in considerazione dal modello Gemma è di 8mila token (il numero di token che il modello può elaborare e ricordare durante la generazione del testo). Per fare un confronto, la dimensione del contesto per i modelli Gemini e GPT-4 è di 32mila token e per il modello GPT-4 Turbo è di 128mila. Il modello supporta solo l'inglese. In termini di prestazioni, il modello Gemma-7B è leggermente inferiore al modello LLama 2 70B Chat e leggermente superiore ai modelli DeciLM-7B, PHI-2 (2.7B) e Mistral-7B-v0.1. Nel confronto di Google il modello Gemma-7B è leggermente avanti rispetto al LLama 2 7B/13B e al Mistral-7B.
Fonte: opennet.ru