Компания Mozilla публикува експериментално разширение MemoryCache с реализация на диалогова система за машинно обучение, която взема предвид съдържанието, с което потребителят взаимодействuje в браузъра. За разлика от другите AI чатове, MemoryCache позволява персонализиране на комуникацията с потребителя и използва важни данни за конкретния потребител при формирането на отговори на въпроси. Кодът на проекта е с лиценз MPL. Инсталацията в Firefox в момента се поддържа само ръчно в режим „about:debugging“ и изисква прилагане на пач.
Всички компоненти на MemoryCache работят на системата на потребителя и не се свързват с външни ресурси. Като база данни в MemoryCache е използвана моделът GPT4All-J, обучен на колекции англоезично съдържание Pile (825 ГБ данни), ShareGPT (13 МБ) и Dolly (660 МБ), и е наличен в варианти с 3, 7 и 13 милиарда параметри. Инструментариумът privateGPT е използван за работа с модела, оптимизиран за използването на големи езикови модели на локални компютри.
Разширението Memory Cache съхранява преглежданите страници в директория „~/Downloads/MemoryCache“, от която периодично стартиран скрипт извлича страниците и ги предава на обработвача privateGPT (ingest.py) за допълване на съществуващия езиков модел. По този начин моделът се адаптира към интересите на потребителя и може да се използва за обсъждане на прегледаното съдържание в текстов чат с бота. Потребителят може на естествен език да задава въпроси на бота относно запазените страници, например за уточняване на някакви факти, а ботът ще формира отговор, използвайки локалния модел, без да се свързва с външни услуги.
Източник: opennet.ru
