Google экспериментирует со встраиванием в Chrome большой языковой модели

Компания Google объявила о проведении эксперимента по встраиванию в Chrome большой языковой модели машинного обучения. Для доступа к модели из web-приложений и браузерных дополнений предложен API Prompt, позволяющий отправлять запросы на естественном языке, по аналогии с чатботами. Предполагается, что встроенная в браузер большая языковая модель упростит выполнение AI-задач в web-приложениях и позволит не заботиться об установке и управления языковыми моделями.

В проводимом эксперименте задействована модель Gemini Nano, наиболее компактная из семейства Gemini. Также предусмотрена возможность установки экспертных моделей, расширяющих базовую модель дополнительными знаниями, которые могут потребоваться для решения специфичных задач, а также для реализации навыков, таких как машинный перевод и резюмирование. Модели выполняются локально на системе пользователя без обращения к внешним сервисам.

Применяемый для выполнения модели Runtime автоматически задействует доступные в системе GPU и NPU для ускорения работы с моделью или переключается на выполнение модели с использованием CPU. Из достоинств выполнения модели на системе пользователя отмечается сохранение конфиденциальности обрабатываемых данных, возможность продолжать работу в offline-режиме при отсутствии сетевого подключения или при возникновении проблем с качеством связи, снижение задержек при отправке запросов, исключение зависимости от внешних сервисов.

Развиваемый для взаимодействия с моделью API Prompt позволяет выполнять не только простейшие единичные запросы на естественном языке, но и организовывать привлечение модели к обработке и классификации данных с учётом контекста, учитывать ранее отправленные в сеансе запросы и данные, а также использовать модель для выбора оптимальных вариантов (например, можно попросить выбрать значок из списка emoji для определённого комментария на сайте). Дополнительно планируется развивать API для использования в области создания контента и решения таких задач как переписывание другими словами, корректура и исправление грамматики.

В общем виде для взаимодействия со встроенной AI-моделью развивается два типа API — Task и Exploratory. Первый предоставляет доступ к возможностям по решению определённых задач, таких как перевод текста с одного языка на другой (API Translation) или резюмирование основной сути текста (API Summarization). Второй тип нацелен на создание и проверку экспериментальных прототипов при разработке новых Task API. Также ведётся работа над API LoRA (Low-Rank Adaptation) для адаптации весовых коэффициентов базовой модели для повышения эффективности решения определённых задач.

Доступ к участию в эксперименте предоставляется после заполнения заявки. API находится в активном развитии и до принятия окончательного варианта будет расширяться и меняться с учётом отзывов и предпочтений пользователей. В дальнейшем планируется организовать более доступное тестирование с использованием режима Origin Trials, предоставляющего возможность работы с экспериментальными API из приложений, загруженных с localhost или 127.0.0.1, или после прохождения регистрации и получения специального токена, который действует ограниченное время для конкретного сайта. Параллельно с производителями других браузеров ведётся работа по стандартизации развиваемых API.

Источник: opennet.ru