Google har publicerat en ny familj av stora sprÄkliga modeller Gemma 4, baserade pÄ Gemini 3-modellen. Gemma 4 distribueras under Apache-licens i varianter med 2,3, 4,5, 25,2 och 30,7 miljarder parametrar (E2B, E4B, 31B och 26B A4B). E2B- och E4B-varianterna Àr lÀmpliga för anvÀndning pÄ mobila enheter, Internet of Things (IoT)-system och Raspberry Pi-kort, medan de andra varianterna Àr anvÀndbara pÄ datorer med konsument-GPU:er. Den modellens kontextstorlek Àr 128 000 tokens för E2B- och E4B-modellerna, och 256 000 tokens för 31B och 26B A4B-modellerna.
Modellerna Àr flersprÄkiga och multimodala: de stöder 35 sprÄk direkt (mer Àn 140 sprÄk anvÀndes vid trÀningen), och kan bearbeta text och bilder (E2B- och E4B-modellerna stöder dessutom ljudbearbetning). 26B A4B-modellen bygger pÄ MoE-arkitektur (Mixture-of-Experts), dÀr modellen delas upp i en serie expert-nÀtverk (vid svarsgenerering kan endast 3,8 miljarder parametrar anvÀndas, men hastigheten Àr avsevÀrt högre Àn klassiska stora modeller), medan övriga varianter anvÀnder en klassisk monolitisk arkitektur.
Modellerna stöder resonemang och anpassningsbara tankesÀtt, och de har en systemroll (System Role) för att bearbeta instruktioner (regler, begrÀnsningar) separat frÄn data. Modellerna kan anvÀndas för att skriva kod, kÀnna igen objekt pÄ bilder, göra frame-by-frame analys av video, bearbeta dokument och PDF-filer, utföra optisk teckenigenkÀnning (OCR) för tryckt och handskriven text, kÀnna igen tal och översÀtta mellan sprÄk. Det Àr möjligt att anvÀnda dem som autonoma agenter som interagerar med olika verktyg och API:er.
I de flesta tester övertrÀffade modellerna i Gemma 4-serien modellen Gemma 3 med 27 miljarder parametrar avsevÀrt. Det stöds anvÀndning av Gemma 4 med verktyg och bibliotek som LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM och NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix och Keras.
KĂ€lla: opennet.ru
