Google ir publicÄjis jaunu liela mÄroga valodu modeļu saimi Gemma 4, kuras pamatÄ ir Gemini 3 modelis. Gemma 4 tiek izplatÄ«ts saskaÅÄ ar Apache licenci variantos ar 2.3, 4.5, 25.2 un 30.7 miljardiem parametru (E2B, E4B, 31B un 26B A4B). E2B un E4B varianti ir piemÄroti lietoÅ”anai mobilajÄs ierÄ«cÄs, lietu interneta (IoT) sistÄmÄs un Raspberry Pi lÄ«dzÄ«gÄs platÄs, savukÄrt pÄrÄjie varianti ir piemÄroti lietoÅ”anai darbstacijÄs un sistÄmÄs ar patÄrÄtÄju grafiskajiem procesoriem. ModelÄ« Åemts vÄrÄ konteksta lielums ir 128 000 žetonu E2B un E4B modeļiem un 256 000 žetonu 31B un 26B A4B modeļiem.
Modeļi ir daudzvalodu un multimodÄli: uzreiz tiek atbalstÄ«tas 35 valodas (apmÄcÄ«bas laikÄ tika izmantotas vairÄk nekÄ 140 valodas), un kÄ ievadi var apstrÄdÄt tekstu un attÄlus (E2B un E4B modeļi papildus atbalsta audio apstrÄdi). 26B A4B modelis ir balstÄ«ts uz Mixture-of-Experts (MoE) arhitektÅ«ru, kurÄ modelis ir sadalÄ«ts virknÄ ekspertu tÄ«klu (atbilžu Ä£enerÄÅ”anai var izmantot tikai 3.8 miljardus parametru, bet Ätrums ir ievÄrojami lielÄks nekÄ klasiskajiem lielajiem modeļiem), savukÄrt pÄrÄjie varianti izmanto klasisko monolÄ«tu arhitektÅ«ru.
Modeļi atbalsta sprieÅ”anas un pielÄgojamus apsprieÅ”anas režīmus, kÄ arÄ« atbalsta sistÄmas lomu instrukciju (noteikumu, ierobežojumu) apstrÄdei atseviŔķi no datiem. Modeļus var izmantot koda rakstÄ«Å”anai, objektu atpazÄ«Å”anai attÄlos, video analÄ«zei pa kadriem, dokumentu un PDF failu parsÄÅ”anai, drukÄta un ar roku rakstÄ«ta teksta optiskajai rakstzÄ«mju atpazÄ«Å”anai (OCR), runas atpazÄ«Å”anai un tulkoÅ”anai starp valodÄm. Tos var izmantot arÄ« kÄ autonomus aÄ£entus, kas mijiedarbojas ar dažÄdiem rÄ«kiem un API.
VairumÄ testu Gemma 4 modeļi ievÄrojami pÄrspÄja 27 miljardu parametru Gemma 3 modeli. Gemma 4 atbalsta LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM un NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix un Keras.
Avots: opennet.ru
