Компания Google обяви за провеждането на експеримент по интегрирането на голям езиков модел за машинно обучение в Chrome. За достъп до модела от уеб приложения и браузърни разширения е предложен API Prompt, позволяващ изпращането на запитвания на естествен език, подобно на чатботовете. Предполага се, че интегрираният в браузъра голям езиков модел ще опрости изпълнението на AI задачи в уеб приложения и ще позволи да не се грижи за настройването и управлението на езикови модели.
В провеждания експеримент е използван моделът Gemini Nano, най-компактният от семейството Gemini. Освен това е предвидена възможността за инсталиране на експертни модели, разширяващи основния модел с допълнителни знания, които могат да са необходими за решаване на специфични задачи, а също и за реализиране на умения, като машинен превод и резюмиране. Моделите се изпълняват локално на системата на потребителя без достъп до външни услуги.
Използваният за изпълнение на модела Runtime автоматично задействува наличните в системата GPU и NPU за ускоряване на работата с модела или се прехвърля на изпълнение на модела с използване на CPU. Сред предимствата на изпълнението на модела на системата на потребителя се отбелязва запазването на конфиденциалността на обработваните данни, възможността да продължи работата в офлайн режим при липса на интернет свързаност или при възникване на проблеми с качеството на свързването, намаляване на закъсненията при изпращане на запитвания, изключване на зависимостта от външни услуги.
Развиваемият за взаимодействие с модела API Prompt позволява извършването не само на най-простите единични запитвания на естествен език, но и организирането на привлечение на модела за обработка и класификация на данни с оглед на контекста, вземане предвид на предишно изпратените запитвания и данни в сесията, а също така използването на модела за избор на оптимални варианти (например, може да се поиска избор на значка от списък с emoji за определен коментар на сайта). Допълнително се планира развитието на API за използване в областта на създаването на съдържание и решаване на задачи, като пренаписване с други думи, корекция и поправка на граматиката.
По същество, за взаимодействие с вградената AI-модел се развиват два типа API — Task и Exploratory. Първият предоставя достъп до възможности за решаване на определени задачи, като например превод на текст от един език на друг (API Translation) или резюмиране на основната същност на текста (API Summarization). Вторият тип е насочен към създаване и проверка на експериментални прототипи при разработване на нови Task API. В момента се работи по API LoRA (Low-Rank Adaptation) за адаптиране на тегловите коефициенти на базовия модел с цел повишаване на ефективността при решаването на специфични задачи.
Достъпът до участие в експеримента се предоставя след попълване на заявка. API-то е в активно развитие и до приемането на окончателния вариант ще се разширява и променя в зависимост от отзивите и предпочитанията на потребителите. В бъдеще се планира организиране на по-достъпно тестване с използване на режима Origin Trials, предоставяща възможност за работа с експериментални API от приложения, качени на localhost или 127.0.0.1, или след успешна регистрация и получаване на специален токен, който е валиден за ограничен период за конкретен сайт. Паралелно с производителите на други браузъри се провеждат усилия за стандартизиране на разработваните API.
Източник: opennet.ru
