Google hat mit Gemma 4 eine neue Familie von Sprachmodellen für große Datenmengen veröffentlicht, die auf dem Gemini-3-Modell basiert. Gemma 4 wird unter der Apache-Lizenz in Varianten mit 2.3, 4.5, 25.2 und 30.7 Milliarden Parametern (E2B, E4B, 31B und 26B A4B) vertrieben. Die Varianten E2B und E4B eignen sich für den Einsatz auf Mobilgeräten, IoT-Systemen und Raspberry-Pi-ähnlichen Boards, während die anderen Varianten für Workstations und Systeme mit Consumer-GPUs geeignet sind. Die vom Modell berücksichtigte Kontextgröße beträgt 128 Token für die Modelle E2B und E4B und 256 Token für die Modelle 31B und 26B A4B.
Die Modelle sind mehrsprachig und multimodal: 35 Sprachen werden standardmäßig unterstützt (über 140 Sprachen wurden im Training verwendet), und Text sowie Bilder können als Eingabe verarbeitet werden (die Modelle E2B und E4B unterstützen zusätzlich die Audioverarbeitung). Das 26B-A4B-Modell basiert auf der Mixture-of-Experts-Architektur (MoE), bei der das Modell in eine Reihe von Expertennetzwerken unterteilt ist (die Antwortgenerierung kann zwar nur 3.8 Milliarden Parameter verwenden, ist aber deutlich schneller als bei klassischen großen Modellen), während die anderen Varianten eine klassische monolithische Architektur verwenden.
Die Modelle unterstützen logisches Denken und anpassbare Entscheidungsmodi und ermöglichen die Verarbeitung von Anweisungen (Regeln, Einschränkungen) getrennt von den Daten mithilfe einer Systemrolle. Sie eignen sich für die Programmierung, die Objekterkennung in Bildern, die Einzelbild-Videoanalyse, das Parsen von Dokumenten und PDFs, die optische Zeichenerkennung (OCR) von gedrucktem und handgeschriebenem Text, die Spracherkennung und die Übersetzung zwischen Sprachen. Darüber hinaus können sie als autonome Agenten mit verschiedenen Tools und APIs interagieren.
In den meisten Tests schnitten die Gemma-4-Modelle deutlich besser ab als das Gemma-3-Modell mit seinen 27 Milliarden Parametern. Gemma 4 unterstützt LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM und NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix und Keras.
Source: opennet.ru
