A empresa Google lançou uma nova família de grandes modelos de linguagem, Gemma 4, baseados nas tecnologias do modelo Gemini 3. A Gemma 4 é distribuída sob a licença Apache nas versões com 2,3, 4,5, 25,2 e 30,7 bilhões de parâmetros (E2B, E4B, 31B e 26B A4B). As versões E2B e E4B são adequadas para uso em dispositivos móveis, sistemas de Internet das Coisas (IoT) e placas do tipo Raspberry Pi, enquanto as demais versões são indicadas para estações de trabalho e sistemas com GPUs consumidores. O tamanho do contexto considerado pelo modelo é de 128 mil tokens para os modelos E2B e E4B, e 256 mil tokens para os modelos 31B e 26B A4B.
Os modelos são multilíngues e multimodais: suportam 35 idiomas por padrão (mais de 140 idiomas foram usados no treinamento), e podem processar texto e imagens (os modelos E2B e E4B também suportam a entrada de áudio). O modelo 26B A4B é baseado na arquitetura MoE (Mixture-of-Experts), onde o modelo é dividido em uma série de redes de especialistas (somente 3,8 bilhões de parâmetros podem ser usados na geração de respostas, mas a velocidade é significativamente superior em comparação com grandes modelos tradicionais), enquanto as outras versões utilizam a arquitetura monolítica clássica.
Os modelos suportam raciocínios e modos de pensamento personalizáveis, apresentando um papel de sistema (System Role) para processar instruções (regras, restrições) separadamente dos dados. Os modelos podem ser usados para escrever código, reconhecer objetos em imagens, análise quadro a quadro de vídeos, análise de documentos e PDFs, reconhecimento óptico de texto impresso e manuscrito (OCR), reconhecimento de fala e tradução entre idiomas. É possível utilizá-los como agentes autônomos, interagindo com várias ferramentas e APIs.
Na maioria dos testes, os modelos da série Gemma 4 superaram significativamente o modelo Gemma 3, que possui 27 bilhões de parâmetros. O uso da Gemma 4 com as ferramentas e bibliotecas LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM e NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix e Keras é suportado.
Fonte: opennet.ru
