Mozilla представила экспериментальное дополнение MemoryCache, внедряющее диалоговую систему машинного обучения, способную учитывать контент, с которым взаимодействует пользователь в браузере. В отличие от других AI-чатов, MemoryCache позволяет персонализировать взаимодействие с пользователем и использовать конкретные данные о пользователе при формировании ответов на вопросы. Код проекта распространяется под лицензией MPL. Установка в Firefox в настоящее время поддерживается только вручную через режим «about:debugging» и требует применения патча.
Все компоненты MemoryCache выполняются на устройстве пользователя и не обращаются к внешним ресурсам. Модель GPT4All-J, обученная на англоязычных коллекциях Pile (825 ГБ данных), ShareGPT (13 МБ) и Dolly (660 МБ), используется в качестве базы знаний в MemoryCache. Модель доступна в вариантах с 3, 7 и 13 миллиардами параметров. Для взаимодействия с моделью используется инструментарий privateGPT, оптимизированный для работы с большими языковыми моделями на локальных компьютерах.
Memory Cache сохраняет просматриваемые страницы в каталоге «~/Downloads/MemoryCache». Периодический скрипт извлекает страницы из этого каталога и передает их в обработчик privateGPT (ingest.py) для обновления текущей языковой модели. Таким образом, модель адаптируется к интересам пользователя и может использоваться для обсуждения просмотренного контента в текстовом чате с ботом. Пользователь может естественным образом задавать вопросы боту о сохраненных страницах, например, для уточнения фактов, и бот будет формировать ответ, используя локальную модель, без обращения к внешним сервисам.
Источник: linux.org.ru