Google ka publikuar një familje të re modelesh gjuhësore në shkallë të gjerë, Gemma 4, bazuar në modelin Gemini 3. Gemma 4 shpërndahet sipas Licencës Apache në variante me 2.3, 4.5, 25.2 dhe 30.7 miliardë parametra (E2B, E4B, 31B dhe 26B A4B). Variantet E2B dhe E4B janë të përshtatshme për përdorim në pajisje mobile, sisteme të Internetit të Gjërave (IoT) dhe pllaka të ngjashme me Raspberry Pi, ndërsa variantet e tjera janë të përshtatshme për përdorim në stacione pune dhe sisteme me GPU të konsumatorit. Madhësia e kontekstit e marrë në konsideratë nga modeli është 128 tokena për modelet E2B dhe E4B, dhe 256 tokena për modelet 31B dhe 26B A4B.
Modelet janë shumëgjuhëshe dhe multimodale: 35 gjuhë mbështeten menjëherë (mbi 140 gjuhë u përdorën gjatë trajnimit), dhe teksti dhe imazhet mund të përpunohen si të dhëna hyrëse (modelet E2B dhe E4B mbështesin gjithashtu përpunimin e audios). Modeli 26B A4B bazohet në arkitekturën Përzierje-e-Ekspertëve (MoE), në të cilën modeli është i ndarë në një seri rrjetesh ekspertësh (gjenerimi i përgjigjeve mund të përdorë vetëm 3.8 miliardë parametra, por shpejtësia është dukshëm më e lartë se ajo e modeleve klasike të mëdha), ndërsa variantet e tjera përdorin një arkitekturë klasike monolitike.
Modelet mbështesin mënyrat e arsyetimit dhe të shqyrtimit të personalizueshëm, si dhe mbështesin një Rol Sistemi për përpunimin e udhëzimeve (rregullave, kufizimeve) veçmas nga të dhënat. Modelet mund të përdoren për shkrimin e kodit, njohjen e objekteve në imazhe, analizën e videos kornizë pas kornize, analizimin e dokumenteve dhe PDF-ve, njohjen optike të karaktereve (OCR) të tekstit të shtypur dhe të shkruar me dorë, njohjen e të folurit dhe përkthimin midis gjuhëve. Ato gjithashtu mund të përdoren si agjentë autonomë që bashkëveprojnë me mjete dhe API të ndryshme.
Në shumicën e testeve, modelet Gemma 4 ia tejkaluan ndjeshëm modelit Gemma 3 me 27 miliardë parametra. Gemma 4 mbështet LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM dhe NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix dhe Keras.
Burimi: opennet.ru
