Mozilla представи ИИ-бота MemoryCache

Mozilla представи експериментално допълнение MemoryCache, внедряващо диалогова система за машинно обучение, която може да отчита съдържанието, с което взаимодействува потребителят в браузъра. В отличие от другите AI чатове, MemoryCache позволява персонализирано взаимодействие с потребителите и използва конкретни данни за потребителя при формулирането на отговорите на въпросите. Кодът на проекта разпространява се предоставя под лиценза MPL. Настройването в Firefox в момента поддерживается единствено ръчно през режима «about:debugging» и изисква прилагане на патч.

Всички компоненти на MemoryCache изпълняват локално на устройството на потребителя и не се свързват с външни ресурси. Моделът GPT4All-J, обучен на англоезични колекции Pile (825 ГБ данни), ShareGPT (13 MB) и Dolly (660 MB), се използва като база знания в MemoryCache. Моделът е наличен в варианти с 3, 7 и 13 милиарда параметри. За взаимодействие с модела се използва инструментариумът privateGPT, оптимизиран за работа с големи езикови модели на локални компютри.

Memory Cache запазва преглежданите страници в директорията «~/Downloads/MemoryCache». Периодичен скрипт извлича страниците от тази директория и ги предава на обработчика privateGPT (ingest.py) за обновяване на текущата езикова модел. По този начин моделът се адаптира към интересите на потребителя и може да се използва за обсъждане на прегледаното съдържание в текстов чат с бота. Потребителят може естествено да задава въпроси на бота относно запазените страници, например, за уточняване на факти, и ботът ще формира отговор, използвайки локалния модел, без да се обръща към външни услуги.

Източник: linux.org.ru