Google heeft de publicatie aangekondigd van Gemma, een groot machine learning-taalmodel dat is gebouwd met behulp van technologieën die worden gebruikt om het Gemini-chatbotmodel te bouwen, dat probeert te concurreren met ChatGPT. Het model is beschikbaar in vier varianten, die 2 en 7 miljard parameters dekken, in basis- en dialooggeoptimaliseerde weergaven. Opties met 2 miljard parameters zijn geschikt voor gebruik in consumententoepassingen en hebben voldoende CPU om deze te verwerken. Opties met 7 miljard parameters vereisen krachtigere hardware en een GPU of TPU.
Tot de toepassingsgebieden van het Gemma-model behoren het creëren van dialoogsystemen en virtuele assistenten, het genereren van tekst, het genereren van antwoorden op vragen die in natuurlijke taal worden gesteld, samenvatting en generalisatie van inhoud, uitleg van de essentie van concepten en termen, correctie van fouten in de tekst, hulp bij het leren van talen. Het ondersteunt de creatie van verschillende soorten tekstgegevens, waaronder poëzie, code in programmeertalen, het herschrijven van werken met andere woorden, en het genereren van brieven met behulp van een sjabloon. Tegelijkertijd heeft het model een relatief klein formaat, waardoor het met beperkte middelen op uw eigen apparatuur kan worden gebruikt, bijvoorbeeld op gewone laptops en pc's.
De modellicentie maakt gratis gebruik en distributie mogelijk, niet alleen in onderzoeks- en persoonlijke projecten, maar ook in commerciële producten. Het maken en publiceren van gewijzigde versies van het model is ook toegestaan. Tegelijkertijd verbieden de gebruiksvoorwaarden het gebruik van het model om kwaadaardige acties uit te voeren en vereisen ze dat, waar mogelijk, de nieuwste versie van Gemma in uw producten wordt gebruikt.
Ondersteuning voor het werken met Gemma-modellen is al toegevoegd aan de Transformers-toolkit en de Responsible Genative AI Toolkit. Om het model te optimaliseren kun je gebruik maken van het Keras framework en backends voor TensorFlow, JAX en PyTorch. Het is ook mogelijk om Gemma te gebruiken met de MaxText-, NVIDIA NeMo- en TensorRT-LLM-frameworks.
De omvang van de context waarmee het Gemma-model rekening houdt, is 8 tokens (het aantal tokens dat het model kan verwerken en onthouden bij het genereren van tekst). Ter vergelijking: de contextgrootte voor de Gemini- en GPT-4-modellen is 32 duizend tokens, en voor het GPT-4 Turbo-model is dit 128 duizend. Het model ondersteunt alleen Engels. Qua prestaties is het Gemma-7B-model iets minder dan het LLama 2 70B Chat-model en iets beter dan de DeciLM-7B-, PHI-2 (2.7B) en Mistral-7B-v0.1-modellen. In de Google-vergelijking ligt het Gemma-7B-model iets voor op de LLama 2 7B/13B en Mistral-7B.
Bron: opennet.ru