Společnost Mozilla zveřejnila experimentální rozšíření MemoryCache s implementací dialogového systému strojového učení, který zohledňuje obsah, se kterým uživatel pracuje v prohlížeči. Na rozdíl od jiných AI chatů umožňuje MemoryCache personalizovat komunikaci s uživateli a využívat důležitá data pro konkrétního uživatele při formulaci odpovědí na otázky. Kód projektu je distribuován pod licencí MPL. Instalace ve Firefoxu zatím podporuje pouze ruční průběh v režimu „about:debugging“ a vyžaduje použití patche.
Všechny komponenty MemoryCache běží na systému uživatele a nekomunikují s externími zdroji. Jako znalostní báze v MemoryCache je použita model GPT4All-J, trénovaný na anglických datových kolekcích Pile (825 GB dat), ShareGPT (13 MB) a Dolly (660 MB), a dostupný v variantách se 3, 7 a 13 miliardami parametrů. Pro práci s modelem je použit nástroj privateGPT, optimalizovaný pro použití velkých jazykových modelů na lokálních počítačích.
Rozšíření Memory Cache ukládá prohlížené stránky do adresáře „~/Downloads/MemoryCache“, odkud je pak vytahuje pravidelně spouštěný skript a předává je do zpracovatele privateGPT (ingest.py) pro rozšíření stávající jazykové modely. Tím se model přizpůsobuje zájmům uživatele a může být použit pro diskusi o zobrazeném obsahu v textovém chatu s botem. Uživatel může přirozeným jazykem klást botovi otázky ohledně uložených stránek, například pro upřesnění nějakých faktů, a bot bude formulovat odpověď pomocí místního modelu, aniž by se obracel na externí služby.
Zdroj: opennet.ru
