L'azienda Mozilla ha pubblicato un'estensione sperimentale chiamata MemoryCache, che implementa un sistema di dialogo basato su machine learning, tenendo conto del contenuto a cui l'utente accede nel browser. A differenza di altri chat AI, MemoryCache consente di personalizzare l'interazione con l'utente e di utilizzare dati rilevanti per ciascun utente nella formulazione delle risposte. Il codice del progetto è distribuito sotto licenza MPL. L'installazione su Firefox al momento può avvenire solo manualmente in modalità «about:debugging» e richiede l'applicazione di una patch.
Tutti i componenti di MemoryCache vengono eseguiti sul sistema dell'utente e non si collegano a risorse esterne. Come base di conoscenza, MemoryCache utilizza il modello GPT4All-J, addestrato su collezioni di contenuti in lingua inglese da Pile (825 GB di dati), ShareGPT (13 MB) e Dolly (660 MB), disponibile in varianti con 3, 7 e 13 miliardi di parametri. Per lavorare con il modello è stato utilizzato l'insieme di strumenti privateGPT, ottimizzato per l'uso di grandi modelli linguistici su computer locali.
Il componente aggiuntivo Memory Cache salva le pagine visualizzate nella cartella «~/Downloads/MemoryCache», da cui un script eseguito periodicamente le recupera e le passa al gestore privateGPT (ingest.py) per integrare il modello linguistico esistente. In questo modo, il modello si adatta agli interessi dell'utente e può essere utilizzato per discutere dei contenuti visualizzati in una chat testuale con il bot. L'utente può porre domande al bot in linguaggio naturale sulle pagine salvate, ad esempio per chiarire alcuni fatti, e il bot genererà una risposta utilizzando il modello locale, senza rivolgersi a servizi esterni.
Fonte: opennet.ru
