Mozilla har introdusert AI-boten MemoryCache.

Mozilla har presentert eksperimentell tillegg MemoryCache, som implementerer et dialogsystem med maskinlæring, i stand til å ta hensyn til innholdet brukeren samhandler med i nettleseren. I motsetning til andre AI-chatbots, lar MemoryCache brukerinteraksjonene bli tilpasset og bruker spesifikke data om brukeren i svarene på spørsmål. Prosjektkoden distribueres er lisensiert under MPL. Installasjon i Firefox er for øyeblikket støttes kun mulig manuelt gjennom «about:debugging»-modus og krever anvendelse av en patch.

Alle komponenter av MemoryCache kjører på brukerens enhet og ber ikke om eksterne ressurser. Modellen GPT4All-J, trent på engelskspråklige samlinger Pile (825 GB med data), ShareGPT (13 MB) og Dolly (660 MB), brukes som kunnskapsbase i MemoryCache. Modellen er tilgjengelig i varianter med 3, 7 og 13 milliarder parametere. For å samhandle med modellen brukes verktøyet privateGPT, optimalisert for å fungere med store språkmodeller på lokale datamaskiner.

Memory Cache lagrer besøkende sider i katalogen «~/Downloads/MemoryCache». Et periodisk skript henter sider fra denne katalogen og sender dem til privateGPT-prosessoren (ingest.py) for å oppdatere den nåværende språkmodellen. Dermed tilpasser modellen seg brukerens interesser og kan brukes til å diskutere innholdet sett i tekchat med boten. Brukeren kan naturlig stille spørsmål til boten om de lagrede sidene, for eksempel for å avklare fakta, og boten vil generere et svar ved å bruke den lokale modellen, uten å kontakte eksterne tjenester.

Kilde: linux.org.ru