谷歌發布了基於 Gemini 3 模型的新型大規模語言模型 Gemma 4。 Gemma 4 採用 Apache 授權發布，並提供四種參數規模的變體（E2B、E4B、31B 和 26B A4B），分別對應 2.3 億、4.5 億、25.2 億和 30.7 億參數。其中，E2B 和 E4B 變體適用於行動裝置、物聯網 (IoT) 系統和類似 Raspberry Pi 的開發板，而其他變體則適用於工作站和配備消費級 GPU 的系統。 E2B 和 E4B 模型考慮的上下文規模為 128 萬個詞元，而 31B 和 26B A4B 模型考慮的上下文規模為 256 萬個詞元。
這些模型支援多語言和多模態：開箱即用支援 35 種語言（訓練過程中使用了超過 140 種語言），並且可以處理文字和圖像作為輸入（E2B 和 E4B 模型還支援音訊處理）。 26B A4B 模型基於混合專家 (MoE) 架構，該架構將模型劃分為一系列專家網路（響應生成僅使用 3.8 億個參數，但速度遠高於傳統的大型模型），而其他變體則使用傳統的單體架構。
這些模型支援推理和可自訂的思考模式，並支援系統角色，用於將指令（規則、約束）的處理與資料的處理分開。這些模型可用於編寫程式碼、識別圖像中的物件、逐幀視訊分析、解析文件和PDF、對印刷體和手寫體文字進行光學字元辨識（OCR）、語音辨識以及語言翻譯。它們也可以用作與各種工具和API互動的自主代理。
在大多數測試中，Gemma 4 模型的性能顯著優於 27 億參數的 Gemma 3 模型。 Gemma 4 支援 LiteRT-LM、vLLM、llama.cpp、MLX、Ollama、NVIDIA NIM 和 NeMo、LM Studio、Unsloth、SGLang、Cactus、Basetan、MaxText、Tunix 和 Keras。
來源： opennet.ru
