Die Firma Google hat die Veröffentlichung des großen Sprachmodells für maschinelles Lernen namens Gemma angekündigt, das unter Verwendung von Technologien entwickelt wurde, die auch für das Chatbot-Modell Gemini verwendet werden, das versucht, mit ChatGPT zu konkurrieren. Das Modell ist in vier Varianten erhältlich, die 2 und 7 Milliarden Parameter abdecken, in Basis- und optimierten Darstellungen für Dialogsysteme. Die Varianten mit 2 Milliarden Parametern eignen sich für den Einsatz in Consumer-Anwendungen und erfordern CPU für deren Verarbeitung. Die Varianten mit 7 Milliarden Parametern benötigen leistungsfähigere Hardware und das Vorhandensein von GPU oder TPU.
Zu den Anwendungsbereichen des Gemma-Modells gehören die Erstellung von Dialogsystemen und virtuellen Assistenten, die Textgenerierung, die Formulierung von Antworten auf natürliche Sprachfragen, die Zusammenfassung und Verallgemeinerung von Inhalten, die Erklärung von Konzepten und Begriffen, die Korrektur von Fehlern im Text sowie die Unterstützung beim Sprachenlernen. Es wird die Erstellung verschiedener Arten von Textdaten unterstützt, einschließlich Gedichten, Code in Programmiersprachen, Rewriting von Werken in anderen Worten und der Erstellung von Briefen nach Vorlage. Das Modell hat dabei eine relativ geringe Größe, die es ermöglicht, es auf eigener Hardware mit begrenzten Ressourcen zu nutzen, zum Beispiel auf normalen Laptops und PCs.
Die Lizenz für das Modell erlaubt die kostenlose Nutzung und Verbreitung nicht nur in Forschungs- und Persönlichen Projekten, sondern auch in kommerziellen Produkten. Auch die Erstellung und Veröffentlichung von modifizierten Varianten des Modells ist erlaubt. Die Nutzungsbedingungen verbieten jedoch die Verwendung des Modells für schädliche Handlungen und verlangen, wo möglich, die neueste Version von Gemma in seinen Produkten zu verwenden.
Die Unterstützung für die Arbeit mit Modellen von Gemma wurde bereits in das Toolset Transformers und in das Responsible Generative AI Toolkit integriert. Zum Optimieren des Modells können die Frameworks Keras und Backends für TensorFlow, JAX und PyTorch verwendet werden. Zudem wird die Möglichkeit geboten, Gemma mit den Frameworks MaxText, NVIDIA NeMo und TensorRT-LLM zu verwenden.
Der von dem Modell Gemma berücksichtigte Kontext hat eine Größe von 8.000 Tokens (die Anzahl der Tokens, die das Modell bei der Textgenerierung verarbeiten und speichern kann). Zum Vergleich: Der Kontext des Modells Gemini und GPT-4 beträgt 32.000 Tokens, während das Modell GPT-4 Turbo 128.000 Tokens unterstützt. Das Modell unterstützt nur die englische Sprache. In Bezug auf die Leistung liegt das Modell Gemma-7B leicht hinter dem Modell LLama 2 70B Chat und übertrifft geringfügig die Modelle DeciLM-7B, PHI-2 (2.7B) und Mistral-7B. Im Vergleich zu Google liegt das Modell Gemma-7B leicht vor LLama 2 7B/13B und Mistral-7B.
Quelle: opennet.ru
