Mozilla apresentou experimental complemento MemoryCache, que implementa um sistema de diálogo de aprendizado de máquina capaz de considerar o conteúdo com o qual o usuário interage no navegador. Diferente de outros chats de IA, o MemoryCache permite personalizar a interação com o usuário e usar dados específicos do usuário ao formular respostas para perguntas. O código do projeto é distribuído é disponibilizado sob a licença MPL. A instalação no Firefox atualmente suportado é apenas manual através do modo 'about:debugging' e requer a aplicação de um patch.
Todos os componentes do MemoryCache são executados no dispositivo do usuário e não se conectam a recursos externos. O modelo GPT4All-J, treinado em coleções em inglês Pile (825 GB de dados), ShareGPT (13 MB) e Dolly (660 MB), é utilizado como base de conhecimento no MemoryCache. O modelo está disponível em versões com 3, 7 e 13 bilhões de parâmetros. Para interagir com o modelo, utiliza-se a ferramenta privateGPT, otimizada para trabalhar com grandes modelos de linguagem em computadores locais.
O Memory Cache salva páginas visitadas no diretório '~/Downloads/MemoryCache'. Um script periódico extrai páginas desse diretório e as envia para o manipulador privateGPT (ingest.py) para atualizar o modelo de linguagem atual. Assim, o modelo se adapta aos interesses do usuário e pode ser usado para discutir o conteúdo visualizado em um chat de texto com um bot. O usuário pode fazer perguntas ao bot sobre as páginas salvas de forma natural, como para esclarecer fatos, e o bot formará uma resposta usando o modelo local, sem recorrer a serviços externos.
Fonte: linux.org.ru
