Kompania Google publikoi një familje të re të modeleve të mëdha gjuhësore Gemma 4, të bazuar në teknologjitë e modelit Gemini 3. Gemma 4 shpërndahen nën licencën Apache në variante me 2.3, 4.5, 25.2 dhe 30.7 miliard parametra (E2B, E4B, 31B dhe 26B A4B). Variantet E2B dhe E4B janë të përshtatshme për përdorim në pajisje celulare, sisteme të internetit të gjërave (IoT) dhe tabela si Raspberry Pi, ndërsa variantet e tjera janë të aplikueshme për stacionet e punës dhe sistemet me GPU të konsumatorëve. Madhësia e kontekstit të marrë parasysh nga modeli është 128 mijë tokena për modelet E2B dhe E4B, dhe 256 mijë tokena për modelet 31B dhe 26B A4B.
Modelet shumëgjuhësore dhe multimodale: nga paketa përkrah 35 gjuhë (në trajnimin e saj janë përdorur më shumë se 140 gjuhë), dhe në hyrje mund të përpunohen teksti dhe imazhet (modelet E2B dhe E4B gjithashtu mbështesin përpunimin e zërit). Modeli 26B A4B bazohet në arkitekturën MoE (Mixture-of-Experts), ku modeli ndahet në një seri rrjetesh ekspertësh (në gjenerimin e përgjigjeve mund të përdoren vetëm 3.8 miliard parametra, por shpejtësia është ndjeshëm më e lartë se modelet e mëdha klasike), ndërsa variantet e tjera përdorin arkitekturën klasike monolitike.
Modelet mbështesin arsyeve dhe modet e përshtatshme të mendimit, mbështesin rolin sistemik (System Role) për përpunimin e udhëzimeve (rregullave, kufizimeve) veçmas nga të dhënat. Modelet mund të përdoren për të shkruar kod, njohjen e objekteve në imazhe, analizën e skenave të videos, shqyrtimin e dokumenteve dhe PDF-ve, njohjen optike të tekstit të printuar dhe të shkruar (OCR), njohjen e zërit dhe përkthimin mes gjuhëve. E mundur përdorimi si agjentë autonomë që ndërveprojnë me mjete dhe API të ndryshme.
Në shumicën e testeve, modelet e serisë Gemma 4 e kaluan ndjeshëm modelin Gemma 3 me 27 miliard parametra. Mbështet përdorimin e Gemma 4 me mjetet dhe bibliotekat LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM dhe NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix dhe Keras.
Burimi: opennet.ru
