Mozilla heeft geïntroduceerd experimentele uitbreiding MemoryCache, die een dialoogsysteem voor machine learning implementeert, dat rekening houdt met de content waarmee de gebruiker in de browser interageert. In tegenstelling tot andere AI-chats, stelt MemoryCache gebruikers in staat om hun interactie te personaliseren en specifieke gegevens over de gebruiker te gebruiken bij het genereren van antwoorden op vragen. De code van het project wordt verspreid is beschikbaar onder de MPL-licentie. Installatie in Firefox momenteel ondersteunt alleen handmatig via de modus 'about:debugging' en vereist het toepassen van een patch.
Alle componenten van MemoryCache worden op het apparaat van de gebruiker uitgevoerd en maken geen gebruik van externe bronnen. Het model GPT4All-J, getraind op Engelstalige datasets Pile (825 GB aan gegevens), ShareGPT (13 MB) en Dolly (660 MB), wordt gebruikt als kennisbasis in MemoryCache. Het model is beschikbaar in versies met 3, 7 en 13 miljard parameters. Voor interactie met het model wordt gebruik gemaakt van de toolset privateGPT, geoptimaliseerd voor gebruik met grote taalmodellen op lokale computers.
Memory Cache slaat bekeken pagina's op in de map '~\/Downloads\/MemoryCache'. Een periodiek script haalt pagina's uit deze map en stuurt ze naar de privateGPT-verwerker (ingest.py) voor het bijwerken van het huidige taalmodel. Op deze manier past het model zich aan de interesses van de gebruiker aan en kan het worden gebruikt om de bekeken content te bespreken in een tekstchat met de bot. De gebruiker kan natuurlijk vragen aan de bot stellen over de opgeslagen pagina's, bijvoorbeeld om feiten te verduidelijken, en de bot zal een antwoord genereren met behulp van het lokale model, zonder toegang tot externe diensten.
Bron: linux.org.ru
