Mozilla представи вграденият в браузера AI-бот MemoryCache

Компанията Mozilla публикува експериментално добавление MemoryCache с реализирана диалогова система за машинно обучение, която взема предвид съдържанието, към което потребителят се обръща в браузера. В отличие от другите AI чатове, MemoryCache позволява персонализиране на комуникацията с потребителя и използване на важни за конкретния потребител данни при формулирането на отговори на въпроси. Кодът на проекта се разпространява под лиценз MPL. Инсталацията в Firefox засега се поддържа само ръчно в режим „about:debugging“ и изисква приложение на пач.

Всички компоненти на MemoryCache работят на системата на потребителя и не се обръщат към външни ресурси. Като база данни в MemoryCache е използвана моделът GPT4All-J, обучен на колекции от англоезично съдържание Pile (825 ГБ данни), ShareGPT (13 МБ) и Dolly (660 МБ), и достъпен в варианти с 3, 7 и 13 милиарда параметри. За работа с модела се използва инструмента privateGPT, оптимизиран за работа с големи езикови модели на локални компютри.

Добавлението Memory Cache съхранява преглежданите страници в каталога „~/Downloads/MemoryCache“, от който след това се извличат периодично стартиран скрипт и се предава на обработвача privateGPT (ingest.py) за допълване на съществуващия езиков модел. По този начин моделът се адаптира към интересите на потребителя и може да се използва за обсъждане на прегледаното съдържание в текстов чат с бота. Потребителят може на естествен език да задава на бота въпроси относно запазените страници, например за уточняване на факти, и ботът ще формулира отговор, използвайки локалния модел, без да се обръща към външни услуги.

Източник: opennet.ru