Google експериментира с вграждането на голям езиков модел в Chrome

Компания Google обяви, че провежда експеримент за интегриране на голям езиков модел за машинно обучение в Chrome. За достъп до модела от уеб приложения и браузърни разширения е предвиден API Prompt, който позволява изпращането на заявки на естествен език, подобно на чатботовете. Предполага се, че вграденото в браузъра голямо езиково моделиране ще улесни изпълнението на AI задания в уеб приложения и ще премахне нуждата от инсталиране и управление на езикови модели.

В провеждания експеримент е включен модел Gemini Nano, най-компактният от семейството Gemini. Предвидена е и възможност за инсталиране на експертни модели, които разширяват основния модел с допълнителни знания, необходими за решаване на специфични задачи, а също и за реализиране на умения, като машинен превод и резюмиране. Моделите работят локално на системата на потребителя без необходимост от външни услуги.

Използваният за изпълнение на модели Runtime автоматично активира наличните в системата GPU и NPU за ускоряване на работата с модела или превключва на изпълнение с CPU. Сред предимствата на местното изпълнение на модела е запазване на конфиденциалността на обработваните данни, възможността да се работи в режим офлайн при липса на интернет връзка или при възникване на проблеми с качеството на свързването, намаляване на забавянето при изпращане на заявки и изключване на зависимостта от външни услуги.

Развиваният за взаимодействие с модела API Prompt позволява не само изпълнението на най-простите единични заявки на естествен език, но и организиране на привличането на модела за обработка и класификация на данни с оглед на контекста, вземане предвид на предишно изпратени заявки и данни в сесията, а също и използването на модела за избор на оптимални варианти (например, може да се поиска да се избере иконка от списък с емоджита за определен коментар на сайта). Допълнително планира се развитие на API за използване в областта на създаването на съдържание и решаване на задачи като преразказване с други думи, корекция и поправка на граматиката.

В общ план за взаимодействие с вградената AI-модел се развиват два типа API — Task и Exploratory. Първият предоставя достъп до възможностите за решаване на определени задачи, като например превод на текст от един език на друг (API Translation) или резюмиране на основната същност на текста (API Summarization). Вторият тип е насочен към създаването и тестването на експериментални прототипи при разработването на нови Task API. Също така, се работи върху API LoRA (Low-Rank Adaptation) за адаптиране на тегловите коефициенти на базовия модел с цел повишаване на ефективността за решаване на определени задачи.

Достъпът до участие в експеримента се предоставя след попълване на заявка. API е в активен процес на развитие и преди приемане на окончателния вариант ще се разширява и променя в зависимост от отзивите и предпочитанията на потребителите. В бъдеще се планира организирането на по-достъпно тестване с използването на режима Origin Trials, който предоставя възможност за работа с експериментални API от приложения, заредени от localhost или 127.0.0.1, или след преминаване на регистрация и получаване на специален токен, който важи ограничено време за конкретен сайт. Паралелно с производителите на други браузъри се работи по стандартизация на развиваните API.

Източник: opennet.ru