La société Google a annoncé qu'elle testait l'intégration d'un grand modèle de langage d'apprentissage automatique dans Chrome. Pour accéder à ce modèle depuis des applications web et des extensions de navigateur, une API Prompt a été proposée, permettant d'envoyer des requêtes en langage naturel, à l'instar des chatbots. Il est prévu que ce grand modèle de langage intégré au navigateur simplifie l'exécution des tâches d'IA dans les applications web et permette de ne pas se soucier de l'installation et de la gestion des modèles de langage.
Le modèle Gemini Nano, le plus compact de la famille Gemini, est utilisé dans l'expérience en cours. Il est également prévu d'installer des modèles experts, élargissant le modèle de base avec des connaissances supplémentaires nécessaires pour résoudre des tâches spécifiques, ainsi que pour des compétences telles que la traduction automatique et le résumé. Les modèles s'exécutent localement sur le système de l'utilisateur sans se connecter à des services externes.
Le Runtime utilisé pour exécuter le modèle tire automatiquement parti des GPU et NPU disponibles sur le système pour accélérer le travail avec le modèle ou bascule l'exécution du modèle vers le CPU. Parmi les avantages de l'exécution du modèle sur le système de l'utilisateur, on note la préservation de la confidentialité des données traitées, la possibilité de continuer à travailler en mode hors ligne en cas d'absence de connexion réseau ou de problèmes de qualité de connexion, et la réduction des délais d'envoi des requêtes, éliminant ainsi la dépendance à des services externes.
L'API Prompt développée pour interagir avec le modèle permet non seulement d'effectuer des requêtes simples en langage naturel, mais aussi d'organiser l'implication du modèle dans le traitement et la classification des données en tenant compte du contexte, de prendre en compte les requêtes et les données précédemment envoyées dans la session, ainsi que d'utiliser le modèle pour choisir les options optimales (par exemple, il est possible de demander de choisir une icône parmi une liste d'emoji pour un commentaire particulier sur le site). De plus, il est prévu de développer l'API pour une utilisation dans le domaine de la création de contenu et pour résoudre des tâches telles que la reformulation, la relecture et la correction grammaticale.
En général, deux types d'API sont en développement pour interagir avec le modèle AI intégré : Task et Exploratory. Le premier donne accès aux fonctionnalités permettant de résoudre des tâches spécifiques, telles que la traduction de texte d'une langue à une autre (API Translation) ou le résumé de l'essentiel d'un texte (API Summarization). Le second type est destiné à la création et à la vérification de prototypes expérimentaux lors du développement de nouveaux API Task. Des travaux sont également en cours sur l'API LoRA (Low-Rank Adaptation) pour adapter les poids de la modèle de base afin d'améliorer l'efficacité de la résolution de certaines tâches.
L'accès à la participation à l'expérience est accordé après avoir soumis une candidature. L'API est en développement actif et sera élargie et modifiée en fonction des retours et des préférences des utilisateurs jusqu'à l'acceptation de la version finale. À l'avenir, des tests plus accessibles sont prévus en utilisant le mode Origin Trials, qui permet de travailler avec des API expérimentales à partir d'applications chargées depuis localhost ou 127.0.0.1, ou après inscription et obtention d'un jeton spécial valable pour une durée limitée pour un site spécifique. Parallèlement, avec d'autres fabricants de navigateurs, des travaux sont en cours pour standardiser les API en développement.
Source : opennet.ru
