La compañía Google anunció la publicación de un gran modelo de lenguaje de aprendizaje automático llamado Gemma, construido utilizando tecnologías aplicadas en el desarrollo del modelo de chatbot Gemini, que busca competir con ChatGPT. El modelo está disponible en cuatro variantes, abarcando 2 y 7 mil millones de parámetros, en representaciones básicas y optimizadas para sistemas de diálogo. Las variantes con 2 mil millones de parámetros son adecuadas para su uso en aplicaciones de consumo y su procesamiento requiere solo CPU. Las variantes con 7 mil millones de parámetros necesitan hardware más potente y contar con GPU o TPU.
Entre las aplicaciones del modelo Gemma se incluyen la creación de sistemas de diálogo y asistentes virtuales, generación de texto, formación de respuestas a preguntas formuladas en lenguaje natural, resumen y generalización de contenido, explicación de conceptos y términos, corrección de errores en texto, y ayuda en el aprendizaje de idiomas. Se soporta la creación de diversos tipos de datos textuales, incluidos poemas, código en lenguajes de programación, reescritura de obras con otras palabras, y creación de cartas según plantillas. Además, el modelo tiene un tamaño relativamente pequeño que permite su uso en hardware con recursos limitados, como laptops y PCs comunes.
La licencia del modelo permite su uso y distribución gratuita no solo en proyectos de investigación y personales, sino también en productos comerciales. También se permite la creación y publicación de variantes modificadas del modelo. Sin embargo, las condiciones de uso prohíben aplicar el modelo para llevar a cabo acciones maliciosas y prescriben utilizar en sus productos la versión más reciente de Gemma siempre que sea posible.
El soporte para trabajar con modelos Gemma ya se ha añadido a la caja de herramientas Transformers y al Responsible Generative AI Toolkit. Para optimizar el modelo, se puede utilizar el marco Keras y los backends para TensorFlow, JAX y PyTorch. También se ha garantizado la posibilidad de usar Gemma con los marcos MaxText, NVIDIA NeMo y TensorRT-LLM.
El tamaño del contexto considerado por el modelo Gemma es de 8 mil tokens (el número de tokens que el modelo puede procesar y recordar al generar texto). En comparación, el tamaño del contexto de los modelos Gemini y GPT-4 es de 32 mil tokens, mientras que el modelo GPT-4 Turbo admite 128 mil. Este modelo solo admite el idioma inglés. En términos de rendimiento, el modelo Gemma-7B es ligeramente inferior al modelo LLama 2 70B Chat y un poco superior a los modelos DeciLM-7B, PHI-2 (2.7B) y Mistral-7B-v0.1. En comparación, el modelo Gemma-7B de Google supera levemente a LLama 2 7B/13B y Mistral-7B.
Fuente: opennet.ru
