Google hat die Veröffentlichung eines großen Sprachmodells für maschinelles Lernen namens Gemma angekündigt, das auf Technologien basiert, die auch für das Chatbot-Modell Gemini verwendet werden, das versucht, mit ChatGPT zu konkurrieren. Das Modell ist in vier Varianten erhältlich, die 2 und 7 Milliarden Parameter in Basis- und für Dialogsysteme optimierten Versionen abdecken. Die Varianten mit 2 Milliarden Parametern eignen sich für den Einsatz in Verbraucheranwendungen und können ausreichend mit CPU verarbeitet werden. Die Varianten mit 7 Milliarden Parametern erfordern leistungsfähigere Hardware sowie einen GPU oder TPU.
Zu den Anwendungsbereichen des Modells Gemma gehören die Erstellung von Dialogsystemen und virtuellen Assistenten, die Textgenerierung, das Beantworten von Fragen in natürlicher Sprache, die Zusammenfassung und Verdichtung von Inhalten, das Erklären von Konzepten und Begriffen, das Korrigieren von Textfehlern sowie die Unterstützung beim Sprachenlernen. Es ermöglicht die Erstellung verschiedener Arten von Textdaten, einschließlich Gedichten, Programmiercode, das Umschreiben von Werken in anderen Worten und die Erstellung von Vorlagen für Briefe. Das Modell hat zudem eine vergleichsweise geringe Größe, sodass es auf eigener Hardware mit begrenzten Ressourcen eingesetzt werden kann, beispielsweise auf normalen Laptops und PCs.
Die Lizenz für das Modell erlaubt die kostenlose Nutzung und Verbreitung nicht nur in Forschungs- und Personalprojekten, sondern auch in kommerziellen Produkten. Es ist ebenfalls gestattet, modifizierte Varianten des Modells zu erstellen und zu veröffentlichen. Die Nutzungsbedingungen verbieten jedoch den Einsatz des Modells für schädliche Aktivitäten und verlangen, die neueste Version von Gemma in den eigenen Produkten zu verwenden, soweit dies möglich ist.
Die Unterstützung der Arbeit mit dem Gemma-Modell wurde bereits in das Transformers-Toolset und in das Responsible Generative AI Toolkit integriert. Zur Optimierung des Modells kann das Keras-Framework sowie Backends für TensorFlow, JAX und PyTorch verwendet werden. Es besteht auch die Möglichkeit, Gemma mit den Frameworks MaxText, NVIDIA NeMo und TensorRT-LLM zu nutzen.
Der von Gemma berücksichtigte Kontext hat eine Größe von 8.000 Tokens (die Anzahl der Tokens, die das Modell bei der Textgenerierung verarbeiten und speichern kann). Zum Vergleich beträgt die Kontextgröße bei den Modellen Gemini und GPT-4 32.000 Tokens, während das GPT-4 Turbo-Modell 128.000 Tokens unterstützt. Das Modell unterstützt nur die englische Sprache. In Bezug auf die Leistung liegt das Modell Gemma-7B etwas hinter dem Modell LLama 2 70B Chat und übertrifft leicht die Modelle DeciLM-7B, PHI-2 (2.7B) und Mistral-7B-v0.1. Im Vergleich zur Google-Modelle liegt Gemma-7B leicht vor LLama 2 7B/13B und Mistral-7B.
Quelle: opennet.ru
