Mozilla прадставіла эксперыментальнае дадатак MemoryCache, якое ўкараняе дыялогавую сістэму машыннага навучання, здольную ўлічваць кантэнт, з якім узаемадзейнічае карыстач у браўзэры. У адрозненне ад іншых AI-чатаў, MemoryCache дазваляе персаналізаваць узаемадзеянне з карыстальнікам і выкарыстоўваць канкрэтныя дадзеныя аб карыстальніку пры фарміраванні адказаў на пытанні. Код праекту распаўсюджваецца пад ліцэнзіяй MPL. Ўстаноўка ў Firefox у цяперашні час падтрымліваецца толькі ўручную праз рэжым "about:debugging" і патрабуе прымянення патча.
Усе кампаненты MemoryCache выконваюцца на прыладзе карыстальніка і не звяртаюцца да вонкавых рэсурсаў. Мадэль GPT4All-J, навучаная на англамоўных калекцыях паля (825 ГБ дадзеных), ShareGPT (13 МБ) і Долі (660 МБ), выкарыстоўваецца ў якасці базы ведаў у MemoryCache. Мадэль даступная ў варыянтах з 3, 7 і 13 мільярдамі параметраў. Для ўзаемадзеяння з мадэллю выкарыстоўваецца інструментар privateGPT, аптымізаваны для працы з вялікімі моўнымі мадэлямі на лакальных кампутарах.
Memory Cache захоўвае старонкі ў каталогу «~/Downloads/MemoryCache». Перыядычны скрыпт здабывае старонкі з гэтага каталога і перадае іх у апрацоўшчык privateGPT (ingest.py) для абнаўлення бягучай моўнай мадэлі. Такім чынам, мадэль адаптуецца да інтарэсаў карыстальніка і можа выкарыстоўвацца для абмеркавання прагледжанага кантэнту ў тэкставым чаце з ботам. Карыстальнік можа натуральным чынам задаваць пытанні робату аб захаваных старонках, напрыклад, для ўдакладнення фактаў, і бот будзе фармаваць адказ, выкарыстоўваючы лакальную мадэль, без звароту да знешніх сэрвісаў.
Крыніца: linux.org.ru
