La société Google Gemma 2 2B — un modèle de langage compact mais puissant d'intelligence artificielle (LLM), capable de rivaliser avec les leaders du secteur malgré sa taille considérablement réduite. Ce nouveau modèle de langage, comptant seulement 2,6 milliards de paramètres, offre des performances comparables à celles de modèles beaucoup plus grands, y compris OpenAI GPT-3.5 et Mistral AI Mixtral 8x7B.
Lors du test LMSYS Chatbot Arena, une plateforme en ligne populaire pour l'évaluation comparative des modèles d'intelligence artificielle, Gemma 2 2B a obtenu un score de 1130 points. Ce résultat dépasse légèrement ceux de GPT-3.5-Turbo-0613 (1117 points) et Mixtral-8x7B (1114 points), qui possèdent dix fois plus de paramètres.
Google rapporte que Gemma 2 2B a également obtenu 56,1 points au test MMLU (Massive Multitask Language Understanding) et 36,6 points au test MBPP (Mostly Basic Python Programming), ce qui représente une amélioration significative par rapport à la version précédente.
Gemma 2 2B remet en question l'idée généralement acceptée selon laquelle les modèles de langage plus grands fonctionnent mieux que les modèles compacts. Les performances de Gemma 2 2B démontrent que des méthodes d'apprentissage sophistiquées, l'efficacité de l'architecture et des ensembles de données de haute qualité peuvent compenser le manque en nombre de paramètres. Le développement de Gemma 2 2B souligne également l'importance croissante des méthodes de compression et de distillation des modèles d'IA. La capacité à compiler efficacement des informations provenant de modèles plus grands dans des modèles plus petits ouvre des perspectives pour créer des outils d'IA plus accessibles, sans compromettre leur performance.
Google a formé Gemma 2 2B sur un vaste ensemble de données de 2 trillions de tokens, en utilisant des systèmes basés sur ses accélérateurs d'IA TPU v5e. Le support de plusieurs langues élargit son potentiel d'utilisation dans des applications mondiales. Le modèle Gemma 2 2B est open source. Les chercheurs et les développeurs peuvent accéder au modèle via la plateforme . Il prend également en charge divers frameworks, y compris et .
Source :
Source : 3dnews.ru
