Mozilla har publisert et eksperimentelt tillegg, MemoryCache, som implementerer et dialogsystem for maskinlæring som tar hensyn til innholdet brukeren henter opp i nettleseren. I motsetning til andre AI-chatter, lar MemoryCache personalisere kommunikasjonen med brukeren og bruke viktige data for den enkelte bruker når svar på spørsmål skal dannes. Koden for prosjektet distribueres under MPL-lisensen. Installering i Firefox støttes foreløpig kun manuelt i «about:debugging»-modus og krever bruk av en patch.
Alle komponentene i MemoryCache kjører på brukerens system og henter ikke innhold fra eksterne ressurser. Som kunnskapsbase benytter MemoryCache modellen GPT4All-J, trent på samlinger av engelskspråklig innhold fra Pile (825 GB data), ShareGPT (13 MB) og Dolly (660 MB), og tilgjengelig i varianter med 3, 7 og 13 milliarder parametere. For å jobbe med modellen benyttes verktøyet privateGPT, optimalisert for bruk av store språkmodeller på lokale datamaskiner.
Tillegget Memory Cache lagrer nettsidene som vises i katalogen «~/Downloads/MemoryCache», fra hvilken de deretter blir hentet av et periodisk kjørende skript og sendt til behandleren privateGPT (ingest.py) for å supplere den eksisterende språkmodellen. På den måten tilpasser modellen seg brukerens interesser og kan brukes til å diskutere innholdet som er sett i en tekstchat med boten. Brukeren kan stille boten spørsmål om de lagrede sidene på naturlig språk, for eksempel for å avklare spesifikke fakta, og boten vil formulere et svar ved å bruke den lokale modellen, uten å henvende seg til eksterne tjenester.
Kilde: opennet.ru
