Google a publié Gemma 4, une nouvelle famille de modèles de langage à grande échelle, basée sur Gemini 3. Gemma 4 est distribué sous licence Apache et se décline en plusieurs variantes : E2B (2.3 milliards de paramètres), E4B (4.5 milliards de paramètres), 31B (25.2 milliards de paramètres) et A4B (26 milliards de paramètres). Les variantes E2B et E4B sont adaptées aux appareils mobiles, aux systèmes IoT et aux cartes de type Raspberry Pi, tandis que les autres variantes conviennent aux stations de travail et aux systèmes équipés de GPU grand public. La taille du contexte prise en compte par le modèle est de 128 000 tokens pour les modèles E2B et E4B, et de 256 000 tokens pour les modèles A4B 31B et 26B.
Les modèles sont multilingues et multimodaux : 35 langues sont prises en charge nativement (plus de 140 langues ont été utilisées lors de l’entraînement), et le traitement de texte et d’images est possible en entrée (les modèles E2B et E4B prennent également en charge le traitement audio). Le modèle A4B 26B repose sur l’architecture Mixture-of-Experts (MoE), dans laquelle le modèle est divisé en une série de réseaux d’experts (la génération de réponses ne peut utiliser que 3.8 milliards de paramètres, mais la vitesse est nettement supérieure à celle des grands modèles classiques), tandis que les autres variantes utilisent une architecture monolithique classique.
Ces modèles prennent en charge le raisonnement et des modes de délibération personnalisables, ainsi qu'un rôle système permettant de traiter les instructions (règles, contraintes) indépendamment des données. Ils peuvent être utilisés pour l'écriture de code, la reconnaissance d'objets dans des images, l'analyse vidéo image par image, l'analyse syntaxique de documents et de fichiers PDF, la reconnaissance optique de caractères (OCR) de textes imprimés et manuscrits, la reconnaissance vocale et la traduction automatique. Ils peuvent également servir d'agents autonomes interagissant avec divers outils et API.
Dans la plupart des tests, les modèles Gemma 4 ont largement surpassé le modèle Gemma 3 à 27 milliards de paramètres. Gemma 4 prend en charge LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM et NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix et Keras.
Source: opennet.ru
