Google je objavio novu obitelj velikih jezičnih modela, Gemma 4, temeljenu na modelu Gemini 3. Gemma 4 distribuira se pod Apache licencom u varijantama s 2.3, 4.5, 25.2 i 30.7 milijardi parametara (E2B, E4B, 31B i 26B A4B). Varijante E2B i E4B prikladne su za korištenje na mobilnim uređajima, sustavima Interneta stvari (IoT) i pločama sličnim Raspberry Pi-ju, dok su ostale varijante prikladne za korištenje na radnim stanicama i sustavima s potrošačkim GPU-ima. Veličina konteksta koju model uzima u obzir je 128 000 tokena za modele E2B i E4B te 256 000 tokena za modele 31B i 26B A4B.
Modeli su višejezični i multimodalni: 35 jezika je podržano odmah po instalaciji (tijekom obuke korišteno je preko 140 jezika), a tekst i slike mogu se obrađivati kao ulaz (modeli E2B i E4B dodatno podržavaju obradu zvuka). Model 26B A4B temelji se na arhitekturi Mixture-of-Experts (MoE), u kojoj je model podijeljen u niz ekspertnih mreža (generiranje odgovora može koristiti samo 3.8 milijardi parametara, ali je brzina znatno veća nego kod klasičnih velikih modela), dok ostale varijante koriste klasičnu monolitnu arhitekturu.
Modeli podržavaju razmišljanje i prilagodljive načine promišljanja te podržavaju sistemsku ulogu za obradu instrukcija (pravila, ograničenja) odvojeno od podataka. Modeli se mogu koristiti za pisanje koda, prepoznavanje objekata na slikama, analizu videa kadar po kadar, parsiranje dokumenata i PDF-ova, optičko prepoznavanje znakova (OCR) tiskanog i rukom pisanog teksta, prepoznavanje govora i prevođenje između jezika. Također se mogu koristiti kao autonomni agenti koji komuniciraju s raznim alatima i API-jima.
U većini testova, modeli Gemma 4 značajno su nadmašili model Gemma 3 s 27 milijardi parametara. Gemma 4 podržava LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM i NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix i Keras.
Izvor: opennet.ru
