Mozilla predstavila eksperimentalno dodatak MemoryCache, koji uvodi dijalog sustava strojno učenje sposobnog da uzima u obzir sadržaj s kojim korisnik komunicira u pregledniku. Za razliku od drugih AI chatova, MemoryCache omogućuje personalizaciju interakcije s korisnikom i korištenje specifičnih podataka o korisniku prilikom formiranja odgovora na pitanja. Kod projekta distribuira se pod MPL licenci. Instalacija u Firefoxu trenutno podržava samo ručno kroz način 'about:debugging' i zahtijeva primjenu patcha.
Sve komponente MemoryCache izvoze se na uređaju korisnika i ne obraćaju se vanjskim resursima. Model GPT4All-J, treniran na anglofone kolekcije Pile (825 GB podataka), ShareGPT (13 MB) i Dolly (660 MB), koristi se kao baza znanja u MemoryCache. Model dostupan je u varijantama s 3, 7 i 13 milijardi parametara. Za interakciju s modelom koristi se alat privateGPT, optimiziran za rad s velikim jezičnim modelima na lokalnim računalima.
Memory Cache sprema pregledane stranice u direktorij '~/Downloads/MemoryCache'. Periodični skript izvlači stranice iz ovog direktorija i prosljeđuje ih u obradu privateGPT (ingest.py) radi ažuriranja trenutnog jezičnog modela. Tako se model prilagođava interesima korisnika i može se koristiti za raspravu o pregledanom sadržaju u tekstualnom chatu s botom. Korisnik može prirodno postavljati pitanja botu o spremljenim stranicama, na primjer, za razjašnjavanje činjenica, a bot će formirati odgovor koristeći lokalni model bez obraćanja vanjskim servisima.
Izvor: linux.org.ru
