Firma Mozilla opublikowała eksperymentalne rozszerzenie MemoryCache z implementacją systemu dialogowego uczenia maszynowego, które uwzględnia treści, z którymi użytkownik ma do czynienia w przeglądarce. W przeciwieństwie do innych czatów AI, MemoryCache pozwala na personalizację komunikacji z użytkownikiem oraz wykorzystanie ważnych dla konkretnego użytkownika danych przy formułowaniu odpowiedzi na pytania. Kod projektu jest udostępniany na licencji MPL. Instalacja w Firefoxie jest obecnie wspierana tylko ręcznie w trybie „about:debugging” i wymaga zastosowania patcha.
Wszystkie komponenty MemoryCache działają na systemie użytkownika i nie łączą się z zewnętrznymi zasobami. Jako baza wiedzy w MemoryCache wykorzystana jest model GPT4All-J, wytrenowany na zbiorach anglojęzycznych, takich jak Pile (825 GB danych), ShareGPT (13 MB) oraz Dolly (660 MB), dostępny w wariantach z 3, 7 i 13 miliardami parametrów. Do pracy z modelem użyto narzędzi privateGPT, zoptymalizowanych do korzystania z dużych modeli językowych na lokalnych komputerach.
Rozszerzenie Memory Cache zapisuje przeglądane strony w katalogu „~/Downloads/MemoryCache”, skąd są one następnie wydobywane przez okresowo uruchamiany skrypt i przekazywane do przetwarzania przez privateGPT (ingest.py) w celu uzupełnienia istniejącego modelu językowego. W ten sposób model dostosowuje się do zainteresowań użytkownika i może być wykorzystywany do dyskusji na temat przeglądanych treści w czacie tekstowym z botem. Użytkownik może zadawać pytania botowi w naturalnym języku dotyczące zapisanych stron, na przykład w celu wyjaśnienia pewnych faktów, a bot wygeneruje odpowiedź, korzystając z lokalnego modelu, nie łącząc się z zewnętrznymi serwisami.
Źródło: opennet.ru
