A empresa Google Gemma 2 2B é um modelo de linguagem compacta, mas poderoso, de inteligência artificial (LLM), que pode competir com os líderes do setor, apesar de seu tamanho significativamente menor. Este novo modelo de linguagem, que possui apenas 2,6 bilhões de parâmetros, demonstra desempenho comparável a modelos muito maiores, incluindo OpenAI GPT-3.5 e Mistral AI Mixtral 8x7B.
No teste LMSYS Chatbot Arena, uma plataforma online popular para testes comparativos e avaliação da qualidade de modelos de inteligência artificial, Gemma 2 2B obteve 1130 pontos. Esse resultado supera ligeiramente os resultados do GPT-3.5-Turbo-0613 (1117 pontos) e do Mixtral-8x7B (1114 pontos) — modelos que possuem dez vezes mais parâmetros.
O Google informa que a Gemma 2 2B também alcançou 56,1 pontos no teste MMLU (Massive Multitask Language Understanding) e 36,6 pontos no teste MBPP (Mostly Basic Python Programming), o que representa uma melhoria significativa em relação à versão anterior.
Gemma 2 2B desafia a noção comum de que modelos de linguagem maiores funcionam melhor do que os compactos. O desempenho da Gemma 2 2B mostra que métodos de treinamento sofisticados, eficiência arquitetônica e conjuntos de dados de alta qualidade podem compensar a falta de parâmetros. O desenvolvimento da Gemma 2 2B também destaca a crescente importância de métodos de compressão e destilação de modelos de IA. A capacidade de compilar informações de modelos maiores em modelos menores abre possibilidades para a criação de ferramentas de IA mais acessíveis, sem sacrificar o desempenho.
O Google treinou a Gemma 2 2B em um vasto conjunto de dados de 2 trilhões de tokens, utilizando sistemas baseados em seus aceleradores de IA TPU v5e. O suporte a vários idiomas amplia seu potencial para aplicação em diversas aplicações globais. O modelo Gemma 2 2B é de código aberto. Pesquisadores e desenvolvedores podem acessar o modelo através da plataforma . Ele também oferece suporte a várias estruturas, incluindo e .
Fonte:
Fonte: 3dnews.ru
