Das Unternehmen Mozilla hat das experimentelle Add-on MemoryCache veröffentlicht, das ein dialogbasiertes Machine-Learning-System implementiert, das den Content berücksichtigt, auf den der Nutzer im Browser zugreift. Im Gegensatz zu anderen AI-Chats ermöglicht MemoryCache eine personalisierte Kommunikation mit dem Nutzer und nutzt für den jeweiligen Nutzer wichtige Daten zur Formulierung von Antworten auf Fragen. Der Projektcode steht unter der MPL-Lizenz. Die Installation in Firefox wird derzeit nur manuell im Modus „about:debugging“ unterstützt und erfordert die Anwendung eines Patches.
Alle Komponenten von MemoryCache laufen auf dem System des Nutzers und greifen nicht auf externe Ressourcen zu. Als Wissensbasis für MemoryCache wird das Modell GPT4All-J verwendet, das auf Sammlungen englischsprachiger Inhalte wie Pile (825 GB Daten), ShareGPT (13 MB) und Dolly (660 MB) trainiert wurde und in Varianten mit 3, 7 und 13 Milliarden Parametern verfügbar ist. Für die Arbeit mit dem Modell wird das privateGPT-Toolkit eingesetzt, das für die Nutzung großer Sprachmodelle auf lokalen Rechnern optimiert ist.
Das Add-on Memory Cache speichert die angesehenen Seiten im Verzeichnis „~/Downloads/MemoryCache“, aus dem sie dann von einem regelmäßig ausgeführten Skript abgerufen und an den privateGPT-Handler (ingest.py) zur Ergänzung des bestehenden Sprachmodells übergeben werden. So passt sich das Modell an die Interessen des Nutzers an und kann für Diskussionen über den angesehenen Content in einem Text-Chat mit dem Bot verwendet werden. Der Nutzer kann dem Bot in natürlicher Sprache Fragen zu den gespeicherten Seiten stellen, zum Beispiel zur Klärung bestimmter Fakten, und der Bot wird eine Antwort formulieren, indem er das lokale Modell nutzt, ohne externe Dienste in Anspruch zu nehmen.
Quelle: opennet.ru
