La société Google a annoncé la publication d'un grand modèle linguistique d'apprentissage automatique nommé Gemma, construit en utilisant des technologies déployées pour développer le modèle de chatbot Gemini, qui cherche à rivaliser avec ChatGPT. Le modèle est disponible en quatre variantes, couvrant 2 et 7 milliards de paramètres, dans des représentations de base et optimisées pour les systèmes de dialogue. Les variantes de 2 milliards de paramètres conviennent pour une utilisation dans des applications grand public et leur traitement nécessite uniquement un CPU. Les variantes de 7 milliards de paramètres nécessitent un matériel plus puissant et la présence d'un GPU ou TPU.
Parmi les domaines d'application du modèle Gemma, on trouve la création de systèmes de dialogue et d'assistants virtuels, la génération de texte, la formulation de réponses à des questions posées en langage naturel, le résumé et la synthèse de contenus, l'explication de concepts et de termes, la correction d'erreurs dans le texte et l'aide à l'apprentissage des langues. La création de divers types de données textuelles est prise en charge, y compris des poèmes, du code dans des langages de programmation, le réécriture d'œuvres sous d'autres formes, la génération de lettres selon des modèles. Le modèle a une taille relativement petite, permettant son utilisation sur son propre matériel avec des ressources limitées, par exemple sur des ordinateurs portables et des PC ordinaires.
La licence du modèle permet une utilisation et une distribution gratuites non seulement dans des projets de recherche et personnels, mais aussi dans des produits commerciaux. La création et la publication de variantes modifiées du modèle sont également autorisées. Cependant, les conditions d'utilisation interdisent l'emploi du modèle pour effectuer des actes malveillants et prescrivent d'utiliser, dans la mesure du possible, la version la plus récente de Gemma dans ses produits.
Le support de l'utilisation des modèles Gemma a déjà été ajouté aux outils Transformers et au Responsible Generative AI Toolkit. Pour optimiser le modèle, il est possible d'utiliser le framework Keras et des backends pour TensorFlow, JAX et PyTorch. L'utilisation de Gemma est également assurée avec les frameworks MaxText, NVIDIA NeMo et TensorRT-LLM.
La taille du contexte prise en compte par le modèle Gemma est de 8 000 tokens (le nombre de tokens que le modèle peut traiter et mémoriser lors de la génération de texte). En comparaison, la taille du contexte des modèles Gemini et GPT-4 est de 32 000 tokens, tandis que celle du modèle GPT-4 Turbo est de 128 000 tokens. Le modèle prend en charge uniquement la langue anglaise. En termes de performances, le modèle Gemma-7B est légèrement inférieur au modèle LLama 2 70B Chat et légèrement supérieur aux modèles DeciLM-7B, PHI-2 (2.7B) et Mistral-7B-v0.1. Par rapport à Google, le modèle Gemma-7B est légèrement supérieur aux modèles LLama 2 7B/13B et Mistral-7B.
Source : opennet.ru
