La compañía Google ha anunciado un experimento para integrar un gran modelo de lenguaje de aprendizaje automático en Chrome. Para acceder al modelo desde aplicaciones web y complementos del navegador, se ha propuesto una API Prompt, que permite enviar consultas en lenguaje natural, similar a los chatbots. Se espera que el gran modelo de lenguaje integrado en el navegador simplifique la ejecución de tareas de IA en aplicaciones web y elimine la necesidad de instalar y gestionar modelos de lenguaje.
El experimento en curso utiliza el modelo Gemini Nano, el más compacto de la familia Gemini. También se prevé la posibilidad de instalar modelos expertos que amplíen el modelo base con conocimientos adicionales que pueden ser necesarios para resolver tareas específicas, así como para implementar habilidades como la traducción automática y el resumen. Los modelos se ejecutan localmente en el sistema del usuario sin necesidad de acceder a servicios externos.
El Runtime utilizado para ejecutar el modelo utiliza automáticamente las GPU y NPU disponibles en el sistema para acelerar el trabajo con el modelo o cambia a la ejecución del modelo utilizando la CPU. Entre las ventajas de ejecutar el modelo en el sistema del usuario se destacan la preservación de la privacidad de los datos procesados, la posibilidad de continuar trabajando en modo offline en caso de falta de conexión a la red o problemas de calidad de la conexión, la reducción de latencias al enviar solicitudes y la eliminación de la dependencia de servicios externos.
El API Prompt desarrollado para interactuar con el modelo permite no solo realizar las consultas más simples en lenguaje natural, sino también organizar la implicación del modelo en el procesamiento y clasificación de datos considerando el contexto, teniendo en cuenta las consultas y datos previamente enviados en la sesión, y utilizando el modelo para seleccionar opciones óptimas (por ejemplo, se puede pedir que seleccione un emoji de una lista para un comentario específico en el sitio). Además, se planea desarrollar más el API para su uso en la creación de contenido y para resolver tareas como la reescritura con otras palabras, la corrección de estilo y la corrección gramatical.
En términos generales, se están desarrollando dos tipos de API para interactuar con el modelo de IA integrado: Task y Exploratory. El primero proporciona acceso a capacidades para resolver tareas específicas, como la traducción de texto de un idioma a otro (API Translation) o el resumen de la esencia del texto (API Summarization). El segundo tipo tiene como objetivo crear y verificar prototipos experimentales en el desarrollo de nuevas API de Task. También se está trabajando en la API LoRA (Low-Rank Adaptation) para adaptar los coeficientes de peso del modelo base para mejorar la eficacia en la resolución de tareas específicas.
El acceso para participar en el experimento se proporciona después de completar una solicitud. La API está en activo desarrollo y, hasta que se acepte la versión final, se expandirá y cambiará teniendo en cuenta los comentarios y preferencias de los usuarios. En el futuro, se planea organizar pruebas más accesibles utilizando el modo Origin Trials, que permite trabajar con API experimentales desde aplicaciones cargadas desde localhost o 127.0.0.1, o después de registrarse y obtener un token especial que es válido por un tiempo limitado para un sitio específico. Paralelamente, se trabaja con los desarrolladores de otros navegadores para estandarizar las API en desarrollo.
Fuente: opennet.ru
