Google ha publicat una nova família de models de llenguatge a gran escala, Gemma 4, basats en el model Gemini 3. Gemma 4 es distribueix sota la llicència Apache en variants amb 2.3, 4.5, 25.2 i 30.7 milions de paràmetres (E2B, E4B, 31B i 26B A4B). Les variants E2B i E4B són adequades per al seu ús en dispositius mòbils, sistemes d'Internet de les Coses (IoT) i plaques tipus Raspberry Pi, mentre que les altres variants són adequades per al seu ús en estacions de treball i sistemes amb GPU de consum. La mida del context considerada pel model és de 128 tokens per als models E2B i E4B, i de 256 tokens per als models 31B i 26B A4B.
Els models són multilingües i multimodals: s'admeten 35 idiomes de fàbrica (es van utilitzar més de 140 idiomes durant l'entrenament), i es poden processar text i imatges com a entrada (els models E2B i E4B també admeten el processament d'àudio). El model 26B A4B es basa en l'arquitectura Mixture-of-Experts (MoE), en què el model es divideix en una sèrie de xarxes d'experts (la generació de respostes només pot utilitzar 3.8 milions de paràmetres, però la velocitat és significativament més alta que la dels models grans clàssics), mentre que les altres variants utilitzen una arquitectura monolítica clàssica.
Els models admeten modes de raonament i deliberació personalitzables, i admeten un rol de sistema per processar instruccions (regles, restriccions) per separat de les dades. Els models es poden utilitzar per escriure codi, reconèixer objectes en imatges, anàlisi de vídeo fotograma a fotograma, analitzar documents i PDF, reconeixement òptic de caràcters (OCR) de text imprès i manuscrit, reconeixement de veu i traducció entre idiomes. També es poden utilitzar com a agents autònoms que interactuen amb diverses eines i API.
En la majoria de proves, els models Gemma 4 van superar significativament el model Gemma 3 de 27 milions de paràmetres. Gemma 4 admet LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM i NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix i Keras.
Font: opennet.ru
