Firma Google opublikowała nową rodzinę dużych modeli językowych Gemma 4, opartych na technologii modelu Gemini 3. Gemma 4 jest dostępna na licencji Apache w wariantach z 2,3, 4,5, 25,2 i 30,7 miliardami parametrów (E2B, E4B, 31B i 26B A4B). Warianty E2B i E4B nadają się do użycia na urządzeniach mobilnych, systemach Internetu Rzeczy (IoT) oraz płytach typu Raspberry Pi, podczas gdy pozostałe warianty nadają się do zastosowania na stacjach roboczych i systemach z konsumenckimi GPU. Rozmiar kontekstu rozważanego przez model wynosi 128 tysięcy tokenów dla modeli E2B i E4B oraz 256 tysięcy tokenów dla modeli 31B i 26B A4B.
Modele są wielojęzyczne i multimodalne: w zestawie wspierają 35 języków (w trakcie szkolenia użyto ponad 140 języków), a na wejściu mogą przetwarzać tekst i obrazy (modele E2B i E4B dodatkowo wspierają przetwarzanie dźwięku). Model 26B A4B oparty jest na architekturze MoE (Mixture-of-Experts), w której model jest podzielony na serię sieci eksperckich (przy generowaniu odpowiedzi mogą być używane tylko 3,8 miliarda parametrów, ale szybkość jest znacznie wyższa niż w przypadku klasycznych dużych modeli), podczas gdy pozostałe warianty wykorzystują klasyczną monolityczną architekturę.
Modele wspierają rozumowanie i konfigurowalne tryby myślenia, obsługują rolę systemową (System Role) do przetwarzania instrukcji (reguł, ograniczeń) oddzielnie od danych. Modele mogą być używane do pisania kodu, rozpoznawania obiektów na obrazach, analizy wideo klatka po klatce, analizy dokumentów i PDF, optycznego rozpoznawania tekstu (OCR), rozpoznawania mowy oraz tłumaczenia między językami. Możliwe jest użycie jako autonomicznych agentów, którzy współdziałają z różnymi narzędziami i API.
W większości testów modele serii Gemma 4 znacząco przewyższyły model Gemma 3 z 27 miliardami parametrów. Wspierane jest użycie Gemma 4 z narzędziami i bibliotekami LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM i NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix i Keras.
Źródło: opennet.ru
