Google har publicerat en ny familj av storskaliga språkmodeller, Gemma 4, baserad på Gemini 3-modellen. Gemma 4 distribueras under Apache-licensen i varianter med 2.3, 4.5, 25.2 och 30.7 miljarder parametrar (E2B, E4B, 31B och 26B A4B). E2B- och E4B-varianterna är lämpliga för användning på mobila enheter, sakernas internet (IoT)-system och Raspberry Pi-liknande kort, medan de andra varianterna är lämpliga för användning på arbetsstationer och system med konsument-GPU:er. Kontextstorleken som beaktas av modellen är 128 000 tokens för E2B- och E4B-modellerna och 256 000 tokens för 31B- och 26B A4B-modellerna.
Modellerna är flerspråkiga och multimodala: 35 språk stöds direkt (över 140 språk användes under träningen), och text och bilder kan bearbetas som indata (E2B- och E4B-modellerna stöder dessutom ljudbehandling). 26B A4B-modellen är baserad på Mixture-of-Experts (MoE)-arkitekturen, där modellen är uppdelad i en serie expertnätverk (responsgenerering kan endast använda 3.8 miljarder parametrar, men hastigheten är betydligt högre än för klassiska stora modeller), medan de andra varianterna använder en klassisk monolitisk arkitektur.
Modellerna stöder resonemang och anpassningsbara överläggningslägen, och stöder en systemroll för att bearbeta instruktioner (regler, begränsningar) separat från data. Modellerna kan användas för att skriva kod, känna igen objekt i bilder, bildruta-för-bildruta-videoanalys, analysera dokument och PDF-filer, optisk teckenigenkänning (OCR) av tryckt och handskriven text, taligenkänning och översättning mellan språk. De kan också användas som autonoma agenter som interagerar med olika verktyg och API:er.
I de flesta tester överträffade Gemma 4-modellerna Gemma 3-modellen med sina 27 miljarder parametrar avsevärt. Gemma 4 stöder LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM och NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix och Keras.
Källa: opennet.ru
