Google ogłosiło eksperyment mający na celu osadzenie w przeglądarce Chrome dużego modelu języka uczenia maszynowego. Aby uzyskać dostęp do modelu z aplikacji internetowych i dodatków do przeglądarek, zaproponowano Prompt API, które umożliwia wysyłanie żądań w języku naturalnym, podobnie jak chatboty. Oczekuje się, że duży model językowy wbudowany w przeglądarkę uprości realizację zadań AI w aplikacjach internetowych i pozwoli nie martwić się instalacją modeli językowych i zarządzaniem nimi.
Wykorzystanym eksperymentem jest model Gemini Nano, najbardziej kompaktowy z rodziny Gemini. Możliwa jest także instalacja modeli eksperckich, które poszerzają model bazowy o dodatkową wiedzę, która może być wymagana do rozwiązania konkretnych problemów, a także wdrożenie umiejętności takich jak tłumaczenie maszynowe i streszczenia. Modele są wykonywane lokalnie w systemie użytkownika, bez dostępu do usług zewnętrznych.
Runtime służący do wykonania modelu automatycznie wykorzystuje dostępne w systemie procesory graficzne i NPU w celu przyspieszenia pracy z modelem lub przełącza się na wykonywanie modelu przy wykorzystaniu procesora CPU. Zaletami uruchomienia modelu na systemie użytkownika jest zachowanie poufności przetwarzanych danych, możliwość kontynuowania pracy w trybie offline w przypadku braku połączenia sieciowego lub w przypadku problemów z jakością komunikacji, zmniejszenie opóźnień w wysyłaniu żądań, oraz wyeliminowanie zależności od usług zewnętrznych.
API Prompt, opracowane do interakcji z modelem, pozwala wykonywać nie tylko najprostsze pojedyncze żądania w języku naturalnym, ale także organizować zaangażowanie modelu w przetwarzanie i klasyfikację danych z uwzględnieniem kontekstu, uwzględniania żądań i danych wcześniej wysyłane w sesji, a także skorzystać z modelu, aby wybrać najlepsze opcje (na przykład możesz poprosić o wybranie ikony z listy emoji dla konkretnego komentarza w serwisie). Dodatkowo planowany jest rozwój API do wykorzystania w zakresie tworzenia treści i rozwiązywania problemów takich jak przepisywanie, czyli korekta i poprawianie gramatyki.
Ogólnie rzecz biorąc, opracowywane są dwa typy API do interakcji z wbudowanym modelem AI – zadaniowy i eksploracyjny. Pierwsza zapewnia dostęp do możliwości rozwiązywania określonych problemów, takich jak tłumaczenie tekstu z jednego języka na inny (API Translation) lub streszczanie głównej istoty tekstu (API Summarization). Drugi typ ma na celu tworzenie i testowanie eksperymentalnych prototypów podczas opracowywania nowych interfejsów API zadań. Trwają także prace nad API LoRA (Low-Rank Adaptation) mającym na celu dostosowanie współczynników wagowych modelu bazowego w celu poprawy efektywności rozwiązywania określonych problemów.
Możliwość wzięcia udziału w eksperymencie następuje po wypełnieniu wniosku. Interfejs API jest w fazie aktywnego rozwoju i będzie rozszerzany i zmieniany z uwzględnieniem opinii i preferencji użytkowników, aż do przyjęcia ostatecznej wersji. W przyszłości planujemy zorganizować bardziej przystępne testy z wykorzystaniem trybu Origin Trials, który zapewnia możliwość pracy z eksperymentalnymi API z aplikacji pobranych z localhost lub 127.0.0.1 lub po zarejestrowaniu się i otrzymaniu specjalnego tokena ważnego przez ograniczony czas czas na konkretną witrynę. Równolegle z producentami innych przeglądarek trwają prace nad standaryzacją opracowanych API.
Źródło: opennet.ru
