Google hat in nije famylje fan grutskalige taalmodellen publisearre, Gemma 4, basearre op it Gemini 3-model. Gemma 4 wurdt ferspraat ûnder de Apache-lisinsje yn farianten mei 2.3, 4.5, 25.2, en 30.7 miljard parameters (E2B, E4B, 31B, en 26B A4B). De E2B- en E4B-farianten binne geskikt foar gebrûk op mobile apparaten, Internet of Things (IoT)-systemen, en Raspberry Pi-achtige boards, wylst de oare farianten geskikt binne foar gebrûk op wurkstasjons en systemen mei konsuminte-GPU's. De kontekstgrutte dy't troch it model beskôge wurdt, is 128 tokens foar de E2B- en E4B-modellen, en 256 tokens foar de 31B- en 26B A4B-modellen.
De modellen binne meartalich en multimodaal: 35 talen wurde direkt stipe (mear as 140 talen waarden brûkt tidens de training), en tekst en ôfbyldings kinne as ynfier ferwurke wurde (de E2B- en E4B-modellen stypje ek audioferwurking). It 26B A4B-model is basearre op 'e Mixture-of-Experts (MoE)-arsjitektuer, wêryn't it model ferdield is yn in searje ekspertnetwurken (antwurdgeneraasje kin mar 3.8 miljard parameters brûke, mar de snelheid is signifikant heger as dy fan klassike grutte modellen), wylst de oare farianten in klassike monolityske arsjitektuer brûke.
De modellen stypje redenearrings- en oanpasbere oerlismodi, en stypje in Systeemrol foar it ferwurkjen fan ynstruksjes (regels, beheiningen) apart fan gegevens. De modellen kinne brûkt wurde foar it skriuwen fan koade, it werkennen fan objekten yn ôfbyldings, frame-foar-frame fideo-analyze, it parsen fan dokuminten en PDF's, optyske karakterherkenning (OCR) fan printe en mei de hân skreaune tekst, spraakherkenning en oersetting tusken talen. Se kinne ek brûkt wurde as autonome aginten dy't ynteraksje hawwe mei ferskate ark en API's.
Yn de measte testen prestearren de Gemma 4-modellen signifikant better as it Gemma 3-model mei 27 miljard parameters. Gemma 4 stipet LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM en NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix, en Keras.
Boarne: opennet.ru
