Google anunciou a publicación de Gemma, un gran modelo de linguaxe de aprendizaxe automática construído utilizando tecnoloxías utilizadas para construír o modelo de chatbot Gemini, que tenta competir con ChatGPT. O modelo está dispoñible en catro variantes, que abarcan 2 e 7 mil millóns de parámetros, en vistas básicas e optimizadas para diálogos. As opcións con 2 millóns de parámetros son adecuadas para o seu uso en aplicacións de consumo e teñen CPU suficiente para procesalas. As opcións con 7 millóns de parámetros requiren un hardware máis potente e unha GPU ou TPU.
Entre os ámbitos de aplicación do modelo Gemma están a creación de sistemas de diálogo e asistentes virtuais, xeración de textos, xeración de respostas a preguntas formuladas en linguaxe natural, resumo e xeneralización de contidos, explicación da esencia de conceptos e termos, corrección de erros. no texto, axuda na aprendizaxe de linguas. Admite a creación de varios tipos de datos de texto, incluíndo poesía, código en linguaxes de programación, reescritura de obras noutras palabras e xeración de letras mediante un modelo. Ao mesmo tempo, o modelo ten un tamaño relativamente pequeno, o que lle permite usar no seu propio equipo con recursos limitados, por exemplo, en portátiles e PCs comúns.
A licenza modelo permite o uso e distribución gratuítos non só en proxectos de investigación e persoais, senón tamén en produtos comerciais. Tamén se permite a creación e publicación de versións modificadas do modelo. Ao mesmo tempo, as condicións de uso prohiben o uso do modelo para realizar accións maliciosas e esixen, sempre que sexa posible, utilizar a versión máis recente de Gemma nos seus produtos.
O soporte para traballar con modelos Gemma xa se engadiu ao kit de ferramentas Transformers e ao kit de ferramentas de IA xerativa responsable. Para optimizar o modelo, podes usar o framework Keras e os backends para TensorFlow, JAX e PyTorch. Tamén é posible usar Gemma cos frameworks MaxText, NVIDIA NeMo e TensorRT-LLM.
O tamaño do contexto que ten en conta o modelo Gemma é de 8 mil tokens (o número de tokens que o modelo pode procesar e lembrar ao xerar texto). A modo de comparación, o tamaño do contexto para os modelos Gemini e GPT-4 é de 32 mil fichas e para o modelo GPT-4 Turbo é de 128 mil. O modelo só admite inglés. En termos de rendemento, o modelo Gemma-7B é lixeiramente inferior ao modelo LLama 2 70B Chat e lixeiramente por diante dos modelos DeciLM-7B, PHI-2 (2.7B) e Mistral-7B-v0.1. Na comparación de Google, o modelo Gemma-7B está lixeiramente por diante do LLama 2 7B/13B e do Mistral-7B.
Fonte: opennet.ru