A Google anunciou a publicação de um grande modelo de linguagem de aprendizado de máquina chamado Gemma, construído usando tecnologias aplicadas no modelo do chatbot Gemini, que tenta competir com o ChatGPT. O modelo está disponível em quatro variantes, abrangendo 2 e 7 bilhões de parâmetros, em versões básica e otimizada para sistemas de diálogo. As variantes com 2 bilhões de parâmetros são adequadas para uso em aplicativos de consumo e seu processamento é suficiente com CPU. As variantes com 7 bilhões de parâmetros exigem hardware mais potente e a presença de GPU ou TPU.
Entre as áreas de aplicação do modelo Gemma, estão a criação de sistemas de diálogo e assistentes virtuais, geração de texto, formulação de respostas a perguntas em linguagem natural, resumo e generalização de conteúdo, explicação do significado de conceitos e termos, correção de erros no texto, e auxílio no aprendizado de idiomas. Suporta a criação de diversos tipos de dados textuais, incluindo poesias, código em linguagens de programação, reescrita de obras com outras palavras, e formulação de cartas a partir de um modelo. O modelo tem um tamanho relativamente pequeno, permitindo seu uso em equipamentos com recursos limitados, como notebooks e PCs comuns.
A licença do modelo permite o uso e distribuição gratuitos não apenas em projetos de pesquisa e pessoais, mas também em produtos comerciais. Também é permitido criar e publicar variantes modificadas do modelo. As condições de uso proíbem a aplicação do modelo para realizações de ações maliciosas e prescrevem a utilização da versão mais recente do Gemma nos seus produtos sempre que possível.
O suporte para trabalhar com modelos Gemma já foi adicionado ao conjunto de ferramentas Transformers e ao Responsible Generative AI Toolkit. Para otimizar o modelo, você pode usar o framework Keras e backends para TensorFlow, JAX e PyTorch. Também é possível utilizar o Gemma com frameworks MaxText, NVIDIA NeMo e TensorRT-LLM.
O tamanho do contexto considerado pelo modelo Gemma é de 8 mil tokens (número de tokens que o modelo pode processar e lembrar ao gerar texto). Para comparação, o tamanho do contexto dos modelos Gemini e GPT-4 é de 32 mil tokens, enquanto o modelo GPT-4 Turbo suporta 128 mil. A modelagem é suportada apenas em inglês. Em termos de desempenho, o modelo Gemma-7B é ligeiramente inferior ao modelo LLama 2 70B Chat e um pouco superior aos modelos DeciLM-7B, PHI-2 (2.7B) e Mistral-7B-v0.1. Comparado ao Google, o modelo Gemma-7B está um pouco à frente do LLama 2 7B/13B e do Mistral-7B.
Fonte: opennet.ru
