Google on avaldanud uue laiaulatuslike keelemudelite perekonna Gemma 4, mis põhineb Gemini 3 mudelil. Gemma 4 levitatakse Apache litsentsi all variantidena, millel on 2.3, 4.5, 25.2 ja 30.7 miljardit parameetrit (E2B, E4B, 31B ja 26B A4B). E2B ja E4B variandid sobivad kasutamiseks mobiilseadmetes, asjade interneti (IoT) süsteemides ja Raspberry Pi-laadsetes plaatides, samas kui teised variandid sobivad kasutamiseks tööjaamades ja tarbijatele mõeldud GPU-dega süsteemides. Mudeli poolt arvestatud konteksti suurus on E2B ja E4B mudelite puhul 128 000 märki ning 31B ja 26B A4B mudelite puhul 256 000 märki.
Mudelid on mitmekeelsed ja multimodaalsed: karbist võttes toetatakse 35 keelt (treeningu käigus kasutati üle 140 keele) ning sisendina saab töödelda teksti ja pilte (E2B ja E4B mudelid toetavad lisaks heli töötlemist). 26B A4B mudel põhineb Mixture-of-Experts (MoE) arhitektuuril, milles mudel on jagatud ekspertide võrgustikeks (vastuste genereerimine saab kasutada ainult 3.8 miljardit parameetrit, kuid kiirus on oluliselt suurem kui klassikalistel suurtel mudelitel), samas kui teised variandid kasutavad klassikalist monoliitset arhitektuuri.
Mudelid toetavad arutluskäiku ja kohandatavaid arutelurežiime ning toetavad süsteemirolli juhiste (reeglite, piirangute) töötlemiseks andmetest eraldi. Mudeleid saab kasutada koodi kirjutamiseks, objektide tuvastamiseks piltidel, kaaderhaaval videoanalüüsiks, dokumentide ja PDF-ide parsimiseks, trükitud ja käsitsi kirjutatud teksti optiliseks märgituvastuseks (OCR), kõnetuvastuseks ja keeltevaheliseks tõlkimiseks. Neid saab kasutada ka autonoomsete agentidena, mis suhtlevad erinevate tööriistade ja API-dega.
Enamikus testides edestasid Gemma 4 mudelid oluliselt 27 miljardi parameetriga Gemma 3 mudelit. Gemma 4 toetab LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM ja NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix ja Keras.
Allikas: opennet.ru
