Google hat die Veröffentlichung von Gemma angekündigt, einem großen Sprachmodell für maschinelles Lernen, das auf Technologien basiert, die zum Aufbau des Gemini-Chatbot-Modells verwendet wurden und versucht, mit ChatGPT zu konkurrieren. Das Modell ist in vier Varianten mit 2 und 7 Milliarden Parametern in einfachen und dialogoptimierten Ansichten verfügbar. Optionen mit 2 Milliarden Parametern eignen sich für den Einsatz in Verbraucheranwendungen und verfügen über genügend CPU, um diese zu verarbeiten. Optionen mit 7 Milliarden Parametern erfordern leistungsfähigere Hardware und eine GPU oder TPU.
Zu den Anwendungsbereichen des Gemma-Modells zählen die Erstellung von Dialogsystemen und virtuellen Assistenten, die Textgenerierung, die Generierung von Antworten auf in natürlicher Sprache gestellte Fragen, die Zusammenfassung und Verallgemeinerung von Inhalten, die Erläuterung des Wesens von Konzepten und Begriffen sowie die Korrektur von Fehlern im Text, Hilfe beim Erlernen von Sprachen. Es unterstützt die Erstellung verschiedener Arten von Textdaten, einschließlich Gedichten, Code in Programmiersprachen, das Umschreiben von Werken mit anderen Worten und das Generieren von Briefen mithilfe einer Vorlage. Darüber hinaus verfügt das Modell über eine relativ geringe Größe, sodass es mit begrenzten Ressourcen auf eigenen Geräten verwendet werden kann, beispielsweise auf normalen Laptops und PCs.
Die Musterlizenz erlaubt die kostenlose Nutzung und Verbreitung nicht nur in Forschungs- und persönlichen Projekten, sondern auch in kommerziellen Produkten. Die Erstellung und Veröffentlichung geänderter Versionen des Modells ist ebenfalls zulässig. Gleichzeitig verbieten die Nutzungsbedingungen die Verwendung des Modells zur Durchführung böswilliger Aktionen und verlangen, wann immer möglich, die neueste Version von Gemma in Ihren Produkten zu verwenden.
Unterstützung für die Arbeit mit Gemma-Modellen wurde dem Transformers-Toolkit und dem Responsible Generative AI Toolkit bereits hinzugefügt. Zur Optimierung des Modells können Sie das Keras-Framework und Backends für TensorFlow, JAX und PyTorch verwenden. Es ist auch möglich, Gemma mit den Frameworks MaxText, NVIDIA NeMo und TensorRT-LLM zu verwenden.
Die vom Gemma-Modell berücksichtigte Kontextgröße beträgt 8 Token (die Anzahl der Token, die das Modell beim Generieren von Text verarbeiten und speichern kann). Zum Vergleich: Die Kontextgröße für die Modelle Gemini und GPT-4 beträgt 32 Token und für das Modell GPT-4 Turbo 128. Das Modell unterstützt nur Englisch. In Bezug auf die Leistung ist das Gemma-7B-Modell dem LLama 2 70B Chat-Modell etwas unterlegen und liegt leicht vor den Modellen DeciLM-7B, PHI-2 (2.7B) und Mistral-7B-v0.1. Im Google-Vergleich liegt das Modell Gemma-7B leicht vor dem LLama 2 7B/13B und Mistral-7B.
Source: opennet.ru