Google a annoncé la publication de Gemma, un grand modèle de langage d'apprentissage automatique construit à l'aide des technologies utilisées pour créer le modèle de chatbot Gemini, qui tente de concurrencer ChatGPT. Le modèle est disponible en quatre variantes, couvrant 2 et 7 milliards de paramètres, dans des vues de base et optimisées pour les dialogues. Les options avec 2 milliards de paramètres conviennent à une utilisation dans les applications grand public et disposent de suffisamment de CPU pour les traiter. Les options avec 7 milliards de paramètres nécessitent un matériel plus puissant et un GPU ou TPU.
Parmi les domaines d'application du modèle Gemma figurent la création de systèmes de dialogue et d'assistants virtuels, la génération de texte, la génération de réponses aux questions posées en langage naturel, la synthèse et la généralisation du contenu, l'explication de l'essence des concepts et des termes, la correction des erreurs. dans le texte, aide à l'apprentissage des langues. Il prend en charge la création de divers types de données textuelles, notamment la poésie, le code dans les langages de programmation, la réécriture d'œuvres et la génération de lettres à l'aide d'un modèle. De plus, le modèle a une taille relativement petite, ce qui lui permet d'être utilisé sur votre propre équipement avec des ressources limitées, par exemple sur des ordinateurs portables et PC ordinaires.
La licence modèle permet une utilisation et une distribution gratuites non seulement dans le cadre de projets de recherche et personnels, mais également dans des produits commerciaux. La création et la publication de versions modifiées du modèle sont également autorisées. Parallèlement, les conditions d'utilisation interdisent l'utilisation du modèle pour effectuer des actions malveillantes et exigent, dans la mesure du possible, d'utiliser la dernière version de Gemma dans vos produits.
La prise en charge de l'utilisation des modèles Gemma a déjà été ajoutée à la boîte à outils Transformers et à la boîte à outils Responsible Generative AI. Pour optimiser le modèle, vous pouvez utiliser le framework Keras et les backends pour TensorFlow, JAX et PyTorch. Il est également possible d'utiliser Gemma avec les frameworks MaxText, NVIDIA NeMo et TensorRT-LLM.
La taille du contexte prise en compte par le modèle Gemma est de 8 mille tokens (le nombre de tokens que le modèle peut traiter et mémoriser lors de la génération de texte). À titre de comparaison, la taille du contexte pour les modèles Gemini et GPT-4 est de 32 4 jetons, et pour le modèle GPT-128 Turbo, elle est de 7 2 jetons. Le modèle prend uniquement en charge l'anglais. En termes de performances, le modèle Gemma-70B est légèrement inférieur au modèle LLama 7 2B Chat et légèrement devant les modèles DeciLM-2.7B, PHI-7 (0.1B) et Mistral-7B-v2. Dans le comparatif de Google, le modèle Gemma-7B devance légèrement le LLama 13 7B/XNUMXB et le Mistral-XNUMXB.
Source: opennet.ru