Mozilla je predstavila eksperimentalno dopuna MemoryCache, koja uvodi dijalog sistem mašinskog učenja, sposobnog da uzima u obzir sadržaj sa kojim korisnik komunicira u pregledaču. Za razliku od drugih AI čatova, MemoryCache omogućava personalizaciju interakcije sa korisnikom i korišćenje specifičnih podataka o korisniku prilikom formiranja odgovora na pitanja. Kod projekta distribuira je pod MPL licencom. Instalacija u Firefox trenutno je podržan samo ručno kroz režim „about:debugging“ i zahteva primenu patch-a.
Svi komponenti MemoryCache se izvršavaju na uređaju korisnika i ne pristupaju spoljnim resursima. Model GPT4All-J, obučena na engleskim kolekcijama Pile (825 GB podataka), ShareGPT (13 MB) i Dolly (660 MB), koristi se kao baza znanja u MemoryCache. Model je dostupan u varijantama sa 3, 7 i 13 milijardi parametara. Za interakciju sa modelom koristi se alat privateGPT, optimizovan za rad sa velikim jezičkim modelima na lokalnim računarima.
Memory Cache čuva pregledane stranice u katalogu „~/Downloads/MemoryCache“. Periodični skript izvlači stranice iz ovog kataloga i prosleđuje ih u alatku privateGPT (ingest.py) za ažuriranje trenutnog jezičkog modela. Tako se model prilagođava interesima korisnika i može se koristiti za razgovor o pregledanom sadržaju u tekstualnom čatu sa botom. Korisnik može prirodno postavljati pitanja botu o sačuvanim stranicama, na primer, za razjašnjenje činjenica, a bot će formirati odgovor koristeći lokalni model, bez pristupa spoljnim servisima.
Izvor: linux.org.ru
