Mozilla przedstawiła eksperymentalne dodatku MemoryCache, wdrażającego system dialogowy oparty na uczeniu maszynowym, który jest w stanie uwzględniać treści, z którymi użytkownik interaguje w przeglądarce. W odróżnieniu od innych czatów AI, MemoryCache umożliwia personalizację interakcji z użytkownikiem oraz korzystanie z konkretnych danych dotyczących użytkownika przy formułowaniu odpowiedzi na pytania. Kod projektu rozpowszechniany na licencji MPL. Instalacja w Firefoxie obecnie jest wspierana tylko ręcznie przez tryb «about:debugging» i wymaga zastosowania łatki.
Wszystkie komponenty MemoryCache działają na urządzeniu użytkownika i nie korzystają z zewnętrznych zasobów. Model GPT4All-J, wytrenowany na anglojęzycznych zbiorach Pile (825 GB danych), ShareGPT (13 MB) oraz Dolly (660 MB), jest wykorzystywany jako baza wiedzy w MemoryCache. Model jest dostępny w wariantach z 3, 7 i 13 miliardami parametrów. Do interakcji z modelem wykorzystano narzędzie privateGPT, optymalizowane do pracy z dużymi modelami językowymi na lokalnych komputerach.
Memory Cache zapisuje przeglądane strony w katalogu «~/Downloads/MemoryCache». Okresowy skrypt wyciąga strony z tego katalogu i przekazuje je do narzędzia privateGPT (ingest.py) w celu aktualizacji bieżącego modelu językowego. Dzięki temu model dostosowuje się do zainteresowań użytkownika i może być używany do dyskusji na temat przeglądanych treści w czacie tekstowym z botem. Użytkownik może naturalnie zadawać pytania botowi o zapisane strony, na przykład w celu uzyskania informacji o faktach, a bot będzie formułował odpowiedź, korzystając z lokalnego modelu, bez odwoływania się do zewnętrznych serwisów.
Źródło: linux.org.ru
