Google heeft aangekondigd een groot taalmodel voor machinelearning, Gemma, te publiceren, dat is gebouwd met behulp van technologieƫn die ook zijn toegepast voor de chatbotsysteem Gemini, dat probeert te concurreren met ChatGPT. Het model is beschikbaar in vier varianten, die 2 en 7 miljard parameters beslaan, in basis- en geoptimaliseerde versies voor dialogsystemen. De varianten met 2 miljard parameters zijn geschikt voor gebruik in consumentenapplicaties en hebben voldoende CPU-kracht voor verwerking. De varianten met 7 miljard parameters vereisen krachtigere hardware en de aanwezigheid van GPU of TPU.
Onder de toepassingsgebieden van het Gemma-model valt het creƫren van dialogsystemen en virtuele assistenten, het genereren van tekst, het formuleren van antwoorden op vragen in natuurlijke taal, samenvatten en aggregeren van inhoud, het uitleggen van concepten en termen, het corrigeren van tekstfouten en het helpen bij het leren van talen. De model ondersteunt het creƫren van verschillende soorten tekstgegevens, waaronder gedichten, code in programmeertalen, herschrijven van werken in andere woorden en het opstellen van brieven op basis van sjablonen. Bovendien heeft het model een relatief kleine omvang, waardoor het op je eigen apparatuur met beperkte middelen kan worden gebruikt, bijvoorbeeld op gewone laptops en pc's.
De licentie voor het model staat gratis gebruik en distributie toe, niet alleen in onderzoeks- en persoonlijke projecten, maar ook in commerciƫle producten. Ook is het toegestaan om gewijzigde versies van het model te creƫren en te publiceren. De gebruiksvoorwaarden verbieden echter het gebruik van het model voor schadelijke doeleinden en schrijven voor dat zo mogelijk de meest recente versie van Gemma in producten moet worden gebruikt.
Ondersteuning voor het werken met de Gemma-modellen is al toegevoegd aan de Transformers-toolkit en de Responsible Generative AI Toolkit. Voor het optimaliseren van het model kan het Keras-framework worden gebruikt, evenals backends voor TensorFlow, JAX en PyTorch. Ook is er de mogelijkheid om Gemma te gebruiken met de frameworks MaxText, NVIDIA NeMo en TensorRT-LLM.
Het contextformaat van het Gemma-model bedraagt 8000 tokens (het aantal tokens dat het model kan verwerken en onthouden bij het genereren van tekst). Ter vergelijking, de contextgrootte van de modellen Gemini en GPT-4 bedraagt 32.000 tokens, terwijl het GPT-4 Turbo-model 128.000 tokens ondersteunt. Het model ondersteunt alleen de Engelse taal. Qua prestaties is het Gemma-7B-model iets minder dan het LLama 2 70B Chat-model en iets beter dan de modellen DeciLM-7B, PHI-2 (2.7B) en Mistral-7B-v0.1. In vergelijking met Google overtreft het Gemma-7B-model lichtjes de LLama 2 7B/13B en Mistral-7B.
Bron: opennet.ru
