Google heeft een open AI-model Gemma 4 uitgebracht, gebouwd op Gemini 3-technologie.

Google heeft een nieuwe reeks grote taalmodeleen, Gemma 4, gepubliceerd, gebaseerd op de technologieën van het Gemini 3-model. Gemma 4 wordt gedistribueerd onder de Apache-licentie in varianten van 2.3, 4.5, 25.2 en 30.7 miljard parameters (E2B, E4B, 31B en 26B A4B). De E2B- en E4B-varianten zijn geschikt voor gebruik op mobiele apparaten, IoT-systemen en Raspberry Pi-borden, terwijl de overige varianten geschikt zijn voor gebruik op werkstations en systemen met consumenten-GPU's. De modelcontext heeft een grootte van 128.000 tokens voor de E2B- en E4B-modellen, en 256.000 tokens voor de 31B- en 26B A4B-modellen.

De modellen zijn meertalig en multimodaal: out-of-the-box ondersteunt het 35 talen (meer dan 140 talen zijn gebruikt tijdens de training), en het kan zowel tekst als afbeeldingen verwerken (de E2B- en E4B-modellen ondersteunen daarnaast ook spraakverwerking). Het 26B A4B-model is gebaseerd op de MoE-architectuur (Mixture-of-Experts), waarbij het model is verdeeld in een serie expertsystemen (bij het genereren van antwoorden kunnen alleen 3,8 miljard parameters worden gebruikt, maar de snelheid is aanzienlijk hoger dan die van klassieke grote modellen), terwijl de andere varianten een klassieke monolithische architectuur gebruiken.

De modellen ondersteunen redeneringen en aanpasbare denkmodi, en ondersteunen een systemrole voor het verwerken van instructies (regels, beperkingen) apart van de gegevens. De modellen kunnen worden gebruikt voor het schrijven van code, objectherkenning op afbeeldingen, frame-voor-frame analyse van video, document- en PDF-analyse, optische herkenning van afgedrukte en handgeschreven tekst (OCR), spraakherkenning en vertaling tussen talen. Het is mogelijk om ze als autonome agents te gebruiken, interactief met verschillende tools en API's.

In de meeste tests hebben de modellen uit de Gemma 4-reeks de Gemma 3 met 27 miljard parameters aanzienlijk overtroffen. Het gebruik van Gemma 4 met tools en bibliotheken zoals LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM en NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix en Keras wordt ondersteund.

Bron: opennet.ru