Google on avaldanud uue suure keelemudelite perekonna Gemma 4, mis põhinevad Gemini 3 mudeli tehnoloogiatel. Gemma 4 levitatakse Apache litsentsi alusel variantides, kus on 2,3, 4,5, 25,2 ja 30,7 miljardit parameetrit (E2B, E4B, 31B ja 26B A4B). Variantide E2B ja E4B puhul on need sobivad nutitelefonide, asjade interneti (IoT) süsteemide ja Raspberry Pi tüüpi plaatide jaoks, samas kui teised variandid on rakendatavad töölauakatsetes ja tarbijate GPU süsteemides. Mudeli konteksti suurus on 128 tuhat tokenit mudelite E2B ja E4B puhul ning 256 tuhat tokenit mudelite 31B ja 26B A4B puhul.
Mudelid on mitmekeelsed ja mitmeotstarbelised: see toetab 35 keelt, samas kui koolituses on kasutatud üle 140 keele, ning sisendina saab töödelda nii teksti kui ka pilte (mudelid E2B ja E4B toetavad täiendavalt heli töötlemist). Mudel 26B A4B põhineb MoE (Mixture-of-Experts) arhitektuuril, kus mudel on jagatud ekspertide võrkude seeriaks (vastuse genereerimise ajal saab kasutada ainult 3,8 miljardit parameetrit, kuid kiirus on oluliselt kõrgem kui klassikalistel suuretel mudelitel), samas kui teised variandid kasutavad klassikalist monoliitset arhitektuuri.
Mudelid toetavad arutlusi ja kohandatavaid mõtlemisrežiime, toetavad süsteemi rolli (System Role), et töödelda juhiseid (reegleid, piiranguid) eraldi andmetest. Mudeleid saab kasutada koodi kirjutamiseks, objektide tuvastamiseks piltidel, kaadrikaadrid video analüüsimiseks, dokumentide ja PDF-de lahtihakkamiseks, trükitud ja käsitsi kirjutatud teksti (OCR) optiliseks tuvastamiseks, kõnetuvastamiseks ja tõlkimiseks keelte vahel. On võimalik kasutada neid iseseisvate agentidena, mis suhtlevad erinevate tööriistade ja API-dega.
Enamikes testides on Gemma 4 seeria mudelid oluliselt ületanud Gemma 3 mudeli, millel on 27 miljardit parameetrit. Gemma 4 toetab kasutamist koos tööriistade ja raamatukogudega nagu LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM ja NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix ja Keras.
Allikas: opennet.ru
