Het bedrijf Mozilla heeft de experimentele extensie MemoryCache gepubliceerd, die een dialoogsysteem voor machine learning implementeert dat rekening houdt met de inhoud die de gebruiker in de browser bekijkt. In tegenstelling tot andere AI-chats stelt MemoryCache de gebruiker in staat om de interactie te personaliseren en belangrijke gegevens voor de specifieke gebruiker te gebruiken bij het formuleren van antwoorden op vragen. De code van het project wordt verspreid onder de MPL-licentie. Installatie in Firefox wordt momenteel alleen handmatig ondersteund in de modus 'about:debugging' en vereist het toepassen van een patch.
Alle componenten van MemoryCache draaien op het systeem van de gebruiker en maken geen verbinding met externe bronnen. Als kennisbasis maakt MemoryCache gebruik van het model GPT4All-J, dat is getraind op collecties Engelstalige inhoud van Pile (825 GB gegevens), ShareGPT (13 MB) en Dolly (660 MB), en beschikbaar is in versies met 3, 7 en 13 miljard parameters. Voor het werken met het model wordt de privateGPT-toolkit gebruikt, die is geoptimaliseerd voor het gebruik van grote taalmodellen op lokale computers.
De extensie Memory Cache slaat bekeken pagina's op in de map '~/Downloads/MemoryCache', waaruit een periodiek uitgevoerd script ze vervolgens ophaalt en doorgeeft aan de privateGPT-handler (ingest.py) om de bestaande taalmodel aan te vullen. Op deze manier past het model zich aan de interesses van de gebruiker aan en kan het worden gebruikt om eerder bekeken inhoud te bespreken in een tekstchat met de bot. De gebruiker kan de bot vragen stellen in natuurlijke taal over de opgeslagen pagina's, bijvoorbeeld om bepaalde feiten te verduidelijken, en de bot zal een antwoord formuleren met behulp van het lokale model, zonder verbinding te maken met externe services.
Bron: opennet.ru
