La société Google a publié une nouvelle famille de grands modèles linguistiques Gemma 4, basés sur les technologies du modèle Gemini 3. Gemma 4 est disponible sous la licence Apache dans des variantes de 2,3, 4,5, 25,2 et 30,7 milliards de paramètres (E2B, E4B, 31B et 26B A4B). Les variantes E2B et E4B conviennent à une utilisation sur des appareils mobiles, des systèmes Internet des objets (IoT) et des cartes de type Raspberry Pi, tandis que les autres variantes sont adaptées aux stations de travail et aux systèmes avec des GPU grand public. La taille du contexte considérée par le modèle est de 128 000 jetons pour les modèles E2B et E4B, et de 256 000 jetons pour les modèles 31B et 26B A4B.
Les modèles sont multilingues et multimodaux : 35 langues sont prises en charge d'emblée (plus de 140 langues ont été utilisées lors de l'apprentissage), et les entrées peuvent inclure du texte et des images (les modèles E2B et E4B prennent également en charge le traitement des sons). Le modèle 26B A4B est basé sur l'architecture MoE (Mixture-of-Experts), où le modèle est divisé en une série de réseaux d'experts (lors de la génération de réponses, seuls 3,8 milliards de paramètres peuvent être utilisés, mais la vitesse est considérablement plus élevée que celle des grands modèles classiques), tandis que les autres variantes utilisent l'architecture monolithique classique.
Les modèles prennent en charge le raisonnement et les modes de réflexion personnalisables, ainsi que le rôle système (System Role) pour traiter les instructions (règles, restrictions) séparément des données. Les modèles peuvent être utilisés pour écrire du code, reconnaître des objets dans des images, faire une analyse image par image de vidéos, traiter des documents et des PDF, la reconnaissance optique de caractères (OCR) pour le texte imprimé et manuscrit, la reconnaissance vocale et la traduction entre les langues. Ils peuvent être utilisés comme agents autonomes interagissant avec divers outils et API.
Dans la plupart des tests, les modèles de la série Gemma 4 ont largement surpassé le modèle Gemma 3 avec 27 milliards de paramètres. L'utilisation de Gemma 4 avec les outils et bibliothèques LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM et NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix et Keras est prise en charge.
Source : opennet.ru
