Google hefur gefið út nýja fjölskyldu stórra tungumálamódela, Gemma 4, sem byggir á Gemini 3 líkaninu. Gemma 4 er dreift undir Apache leyfinu í afbrigðum með 2.3, 4.5, 25.2 og 30.7 milljörðum breytna (E2B, E4B, 31B og 26B A4B). Afbrigðin E2B og E4B henta til notkunar á snjalltækjum, kerfum sem tengjast hlutunum í internetinu (IoT) og borðum sem líkjast Raspberry Pi, en hin afbrigðin henta til notkunar á vinnustöðvum og kerfum með neytendaskjákortum. Samhengisstærðin sem líkanið tekur tillit til er 128 tákn fyrir E2B og E4B gerðirnar og 256 tákn fyrir 31B og 26B A4B gerðirnar.
Líkanin eru fjöltyngd og fjölþætt: 35 tungumál eru studd strax (yfir 140 tungumál voru notuð við þjálfun) og hægt er að vinna úr texta og myndum sem inntak (E2B og E4B líkönin styðja einnig hljóðvinnslu). 26B A4B líkanið er byggt á Mixture-of-Experts (MoE) arkitektúr, þar sem líkanið er skipt í röð sérfræðinganeta (svörunarmyndun getur aðeins notað 3.8 milljarða breytur, en hraðinn er mun meiri en í hefðbundnum stórum líkönum), en hinar útgáfurnar nota klassíska einhliða arkitektúr.
Líkönin styðja rökhugsun og sérsniðnar íhugunaraðferðir og styðja kerfishlutverk til að vinna úr fyrirmælum (reglum, takmörkunum) óháð gögnum. Líkönin geta verið notuð til að skrifa kóða, þekkja hluti í myndum, greina myndband ramma fyrir ramma, greina skjöl og PDF skjöl, sjónræna stafagreiningu (OCR) á prentuðum og handskrifuðum texta, talgreiningu og þýðingu milli tungumála. Þau geta einnig verið notuð sem sjálfstæðir aðilar sem hafa samskipti við ýmis verkfæri og forritaskil.
Í flestum prófunum stóðu Gemma 4 líkönin sig mun betur en Gemma 3 líkanið með 27 milljarða breytur. Gemma 4 styður LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM og NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix og Keras.
Heimild: opennet.ru
