Die Firma Google hat ein Experiment zur Integration eines großen Sprachmodells für maschinelles Lernen in Chrome angekündigt. Für den Zugriff auf das Modell aus Webanwendungen und Browsererweiterungen wurde eine API Prompt vorgeschlagen, die es ermöglicht, Anfragen in natürlicher Sprache zu senden, ähnlich wie bei Chatbots. Es wird angenommen, dass das im Browser integrierte große Sprachmodell die Ausführung von KI-Aufgaben in Webanwendungen erleichtert und die Installation und Verwaltung von Sprachmodellen überflüssig macht.
Im durchgeführten Experiment wird das Modell Gemini Nano eingesetzt, das kompakteste Modell der Gemini-Familie. Außerdem besteht die Möglichkeit, Expertenmodelle zu installieren, die das Basismodell mit zusätzlichen Kenntnissen erweitern, die zur Lösung spezifischer Aufgaben erforderlich sein könnten, sowie zur Implementierung von Fähigkeiten wie maschineller Übersetzung und Zusammenfassung. Die Modelle werden lokal auf dem System des Benutzers ausgeführt, ohne auf externe Dienste zugreifen zu müssen.
Das zur Ausführung des Modells verwendete Runtime aktiviert automatisch die im System verfügbaren GPUs und NPUs, um die Bearbeitungsgeschwindigkeit des Modells zu erhöhen, oder wechselt zur Ausführung des Modells unter Verwendung der CPU. Zu den Vorteilen der Ausführung des Modells auf dem System des Benutzers gehört der Erhalt der Vertraulichkeit der verarbeiteten Daten, die Möglichkeit, im Offline-Modus zu arbeiten, wenn keine Netzwerkverbindung besteht oder Qualitätsprobleme auftreten, die Verringerung von Latenzen bei der Absendung von Anfragen und die Beseitigung der Abhängigkeit von externen Diensten.
Die für die Interaktion mit dem Modell entwickelte API Prompt ermöglicht es, nicht nur einfachste Einzelanfragen in natürlicher Sprache auszuführen, sondern auch die Einbeziehung des Modells zur Verarbeitung und Klassifizierung von Daten im Kontext zu organisieren, frühere Anfragen und Daten im Verlauf des Sitzung zu berücksichtigen sowie das Modell für die Auswahl optimaler Optionen zu verwenden (z. B. kann man darum bitten, ein Emoji aus einer Liste für einen bestimmten Kommentar auf der Website auszuwählen). Darüber hinaus ist geplant, die API für die Erstellung von Inhalten und zur Lösung von Aufgaben wie Neuformulierung, Korrekturlesen und Grammatikprüfung weiterzuentwickeln.
Insgesamt entwickeln sich zwei Arten von APIs zur Interaktion mit dem integrierten KI-Modell — Task und Exploratory. Die erste bietet Zugriff auf die Möglichkeiten zur Lösung bestimmter Aufgaben, wie die Übersetzung von Texten von einer Sprache in eine andere (API Übersetzung) oder die Zusammenfassung des Hauptinhalts eines Textes (API Zusammenfassung). Der zweite Typ zielt darauf ab, experimentelle Prototypen bei der Entwicklung neuer Task APIs zu erstellen und zu testen. Es wird auch an der API LoRA (Low-Rank Adaptation) gearbeitet, um die Gewichtungsfaktoren des Basismodells anzupassen und die Effizienz bei der Lösung bestimmter Aufgaben zu erhöhen.
Der Zugang zur Teilnahme am Experiment wird nach dem Ausfüllen eines Antrags gewährt. Die API befindet sich in aktiver Entwicklung und wird bis zur Annahme der endgültigen Version erweitert und verändert, um den Rückmeldungen und Vorlieben der Benutzer Rechnung zu tragen. In Zukunft wird geplant, ein zugänglicheres Testverfahren unter Verwendung des Modus Origin Trials zu organisieren, das die Möglichkeit bietet, mit experimentellen APIs aus Anwendungen zu arbeiten, die von localhost oder 127.0.0.1 geladen werden, oder nach der Registrierung und dem Erhalt eines speziellen Tokens, das für einen bestimmten Zeitraum für eine bestimmte Website gültig ist. Parallel dazu wird mit anderen Browserherstellern an einer Standardisierung der entwickelten APIs gearbeitet.
Quelle: opennet.ru
