Mozilla представи експериментално допълнение MemoryCache, внедряване на диалогова система за машинно обучение, способна да отчита съдържанието, с което взаимодейства потребителят в браузъра. За разлика от другите AI чатове, MemoryCache позволява персонализиране на взаимодействието с потребителя и използване на специфични данни за потребителя при формирането на отговори на въпроси. Кодът на проекта се разпространява е лицензирано под MPL. Инсталацията на Firefox в момента поддържа се только вручную через режим «about:debugging» и требует применения патча.
Всички компоненти на MemoryCache се изпълняват на устройството на потребителя и не се свързват с външни ресурси. Моделът GPT4All-J, обучен на англоговорящи колекции Pile (825 ГБ данни), ShareGPT (13 МБ) и Dolly (660 МБ), се използва като база знания в MemoryCache. Моделът е наличен в варианти с 3, 7 и 13 милиарда параметри. За взаимодействие с модела се използва инструментариум privateGPT, оптимизиран за работа с големи езикови модели на локални компютри.
Memory Cache сохраняет просматриваемые страницы в каталоге «~/Downloads/MemoryCache». Периодический скрипт извлекает страницы из этого каталога и передает их в обработчик privateGPT (ingest.py) для обновления текущей языковой модели. Таким образом, модель адаптируется к интересам пользователя и может использоваться для обсуждения просмотренного контента в текстовом чате с ботом. Пользователь может естественным образом задавать вопросы боту о сохраненных страницах, например, для уточнения фактов, и бот будет формировать ответ, используя локальную модель, без обращения к внешним сервисам.
Източник: linux.org.ru
