Google publicou unha nova familia de modelos de linguaxe a grande escala, Gemma 4, baseada no modelo Gemini 3. Gemma 4 distribúese baixo a licenza Apache en variantes con 2.3, 4.5, 25.2 e 30.7 millóns de parámetros (E2B, E4B, 31B e 26B A4B). As variantes E2B e E4B son axeitadas para o seu uso en dispositivos móbiles, sistemas da Internet das Cousas (IoT) e placas tipo Raspberry Pi, mentres que as outras variantes son axeitadas para o seu uso en estacións de traballo e sistemas con GPU de consumo. O tamaño de contexto considerado polo modelo é de 128 tokens para os modelos E2B e E4B, e de 256 tokens para os modelos 31B e 26B A4B.
Os modelos son multilingües e multimodais: admítense 35 idiomas de fábrica (usáronse máis de 140 idiomas durante o adestramento) e pódense procesar texto e imaxes como entrada (os modelos E2B e E4B admiten ademais o procesamento de audio). O modelo 26B A4B baséase na arquitectura Mixture-of-Experts (MoE), na que o modelo se divide nunha serie de redes de expertos (a xeración de respostas só pode usar 3.8 millóns de parámetros, pero a velocidade é significativamente maior que a dos modelos grandes clásicos), mentres que as outras variantes usan unha arquitectura monolítica clásica.
Os modelos admiten razoamento e modos de deliberación personalizables, e admiten un rol de sistema para procesar instrucións (regras, restricións) por separado dos datos. Os modelos pódense usar para escribir código, recoñecer obxectos en imaxes, análise de vídeo fotograma a fotograma, analizar documentos e PDF, recoñecemento óptico de caracteres (OCR) de texto impreso e escrito a man, recoñecemento de voz e tradución entre idiomas. Tamén se poden usar como axentes autónomos que interactúan con varias ferramentas e API.
Na maioría das probas, os modelos Gemma 4 superaron significativamente o modelo Gemma 3 de 27 millóns de parámetros. Gemma 4 admite LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM e NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix e Keras.
Fonte: opennet.ru
