Google hà publicatu una nova famiglia di mudelli linguistichi à grande scala, Gemma 4, basati annantu à u mudellu Gemini 3. Gemma 4 hè distribuitu sottu a Licenza Apache in varianti cù 2.3, 4.5, 25.2 è 30.7 miliardi di parametri (E2B, E4B, 31B è 26B A4B). E varianti E2B è E4B sò adatte per l'usu nantu à i dispusitivi mobili, i sistemi Internet of Things (IoT) è e schede di tipu Raspberry Pi, mentre chì l'altre varianti sò adatte per l'usu nantu à e stazioni di travagliu è i sistemi cù GPU di cunsumu. A dimensione di u cuntestu cunsiderata da u mudellu hè di 128 gettoni per i mudelli E2B è E4B, è 256 gettoni per i mudelli 31B è 26B A4B.
I mudelli sò multilingue è multimodali: 35 lingue sò supportate da u principiu (più di 140 lingue sò state aduprate durante a furmazione), è u testu è l'imagine ponu esse trattati cum'è input (i mudelli E2B è E4B supportanu ancu u trattamentu audio). U mudellu 26B A4B hè basatu annantu à l'architettura Mixture-of-Experts (MoE), in a quale u mudellu hè divisu in una seria di rete di esperti (a generazione di risposte pò aduprà solu 3.8 miliardi di parametri, ma a velocità hè significativamente più alta di quella di i mudelli classici di grandi dimensioni), mentre chì l'altre varianti utilizanu un'architettura monolitica classica.
I mudelli supportanu u ragiunamentu è i modi di deliberazione persunalizabili, è supportanu un Rolu di Sistema per u trattamentu di l'istruzzioni (regule, vincoli) separatamente da i dati. I mudelli ponu esse aduprati per scrive codice, ricunnosce oggetti in immagini, analisi video quadru per quadru, analizà documenti è PDF, ricunoscimentu otticu di caratteri (OCR) di testu stampatu è scrittu à manu, ricunoscimentu vocale è traduzzione trà lingue. Puderanu ancu esse aduprati cum'è agenti autonomi chì interagiscenu cù diversi strumenti è API.
In a maiò parte di i testi, i mudelli Gemma 4 anu superatu significativamente u mudellu Gemma 3 di 27 miliardi di parametri. Gemma 4 supporta LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM è NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix è Keras.
Source: opennet.ru
