Kompania Google publikoi një familje të re të modeleve të mëdha gjuhësore Gemma 4, të cilat bazohen në teknologjitë e modelit Gemini 3. Gemma 4 distribuohet me licencë Apache në variantet me 2.3, 4.5, 25.2 dhe 30.7 miliard parametra (E2B, E4B, 31B dhe 26B A4B). Variantet E2B dhe E4B janë të përshtatshme për përdorim në pajisje mobile, sistemet e internetit të gjërave (IoT) dhe pllakat si Raspberry Pi, ndërsa variantet e tjera janë të përshtatshme për përdorim në stacione punësimi dhe sisteme me GPU konsumatorësh. Madhësia e kontekstit të marrë parasysh nga modeli është 128 mijë tokenë për modelet E2B dhe E4B, dhe 256 mijë tokenë për modelet 31B dhe 26B A4B.
Modelet janë shumëgjuhëshe dhe multimodale: nga kutia përfshihen 35 gjuhë (gjatë trajnimit janë përdorur më shumë se 140 gjuhë), dhe në hyrje mund të trajtohen tekst dhe imazhe (modelet E2B dhe E4B përveç kësaj mbështesin gjithashtu përpunimin e zërit). Modeli 26B A4B bazohet në arkitekturën MoE (Mixture-of-Experts), ku modeli është i ndarë në një seri rrjetesh ekspertësh (në gjenerimin e përgjigjes mund të përdoren vetëm 3.8 miliard parametra, por shpejtësia është ndjeshëm më e lartë se modelet e tjera të mëdha), ndërsa variantet e tjera përdorin arkitekturën monolitike klasike.
Modelet mbështesin arsyetimin dhe mënyrat e personalizuara të mendimit, mbështesin rolin sistemik (System Role) për të trajtuar udhëzimet (rregullat, kufizimet) veçmas nga të dhënat. Modelet mund të përdoren për të shkruar kod, për njohjen e objekteve në imazhe, analizën kadrovë të videove, analizën e dokumenteve dhe PDF-ve, njohjen optike të tekstit të shtypur dhe atij të shkruar (OCR), njohjen e zërit dhe përkthimin mes gjuhëve. E mundur të përdoret si agjentë autonomë, që ndërveprojnë me mjete dhe API të ndryshme.
Në shumicën e testeve, modelet e serisë Gemma 4 e kanë tejkaluar dukshëm modelin Gemma 3 me 27 miliard parametra. Mbështetet përdorimi i Gemma 4 me mjete dhe biblioteka si LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM dhe NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix dhe Keras.
Burimi: opennet.ru
