A empresa Google anunciou a realização de um experimento para integrar um grande modelo de linguagem de aprendizado de máquina no Chrome. Para acessar o modelo a partir de aplicativos web e extensões de navegador, foi proposto o API Prompt, que permite enviar consultas em linguagem natural, semelhante aos chatbots. Espera-se que o grande modelo de linguagem integrado ao navegador facilite a execução de tarefas de IA em aplicativos web e elimine a necessidade de instalação e gerenciamento de modelos de linguagem.
No experimento em andamento, está envolvido o modelo Gemini Nano, o mais compacto da família Gemini. Também é prevista a possibilidade de instalação de modelos especializados que ampliam o modelo base com conhecimento adicional necessário para resolver tarefas específicas, bem como para implementar habilidades, como tradução automática e resumir textos. Os modelos são executados localmente no sistema do usuário, sem a necessidade de recorrer a serviços externos.
O Runtime utilizado para executar o modelo automaticamente ativa as GPUs e NPUs disponíveis no sistema para acelerar o trabalho com o modelo ou alterna para a execução do modelo utilizando a CPU. Entre as vantagens de executar o modelo no sistema do usuário, destacam-se a preservação da privacidade dos dados processados, a possibilidade de continuar o trabalho em modo offline na ausência de conexão de rede ou em caso de problemas de qualidade da conexão, a redução de latências ao enviar consultas e a eliminação da dependência de serviços externos.
A API Prompt, desenvolvida para interagir com o modelo, permite não apenas executar consultas simples em linguagem natural, mas também organizar a utilização do modelo para processar e classificar dados considerando o contexto, levando em conta consultas e dados enviados anteriormente durante a sessão, além de usar o modelo para selecionar opções otimizadas (por exemplo, é possível pedir que escolha um ícone da lista de emoji para um determinado comentário no site). Adicionalmente, planeja-se desenvolver a API para uso na criação de conteúdo e na resolução de tarefas como reescrita de textos, revisão e correção gramatical.
De forma geral, para interagir com o modelo de IA embutido, dois tipos de API estão sendo desenvolvidos — Task e Exploratory. A primeira fornece acesso a funcionalidades para resolver tarefas específicas, como tradução de texto de um idioma para outro (API Translation) ou resumo da essência do texto (API Summarization). O segundo tipo é voltado para a criação e validação de protótipos experimentais durante o desenvolvimento de novas APIs Task. Também está em andamento o desenvolvimento da API LoRA (Low-Rank Adaptation) para a adaptação dos coeficientes do modelo base, visando aumentar a eficiência na resolução de tarefas específicas.
O acesso à participação no experimento é concedido após o preenchimento de um formulário de solicitação. A API está em desenvolvimento ativo e, até a aceitação da versão final, continuará a ser expandida e alterada com base no feedback e nas preferências dos usuários. Futuramente, está previsto um teste mais acessível utilizando o modo Origin Trials, que possibilita o uso de APIs experimentais a partir de aplicativos carregados a partir de localhost ou 127.0.0.1, ou após o registro e obtenção de um token especial, que tem validade limitada para um site específico. Paralelamente, está sendo realizada uma padronização das APIs em colaboração com fabricantes de outros navegadores.
Fonte: opennet.ru
