Spoločnosť Google oznámila experiment s integráciou veľkého jazykového modelu strojového učenia do prehliadača Chrome. Na prístup k modelu z webových aplikácií a prehliadačových doplnkov bol navrhnutý API Prompt, ktorý umožňuje posielať požiadavky v prirodzenom jazyku, podobne ako chatboty. Predpokladá sa, že integrovaný veľký jazykový model v prehliadači zjednoduší vykonávanie AI úloh vo webových aplikáciách a umožní užívateľom nemusia sa starať o inštaláciu a správu jazykových modelov.
V uskutočňovanom experimente sa používa model Gemini Nano, najkompaktnejší z rodiny Gemini. Takisto je predpokladaná možnosť inštalácie expertíznych modelov, ktoré rozširujú základný model o dodatočné znalosti potrebné na riešenie špecifických úloh a na realizáciu zručností, ako je strojový preklad a sumarizácia. Modely sú vykonávané lokálne na systéme používateľa bez obratu na externé služby.
Na spúšťanie modelu sa používa Runtime, ktorý automaticky využíva dostupné GPU a NPU v systéme na urýchlenie práce s modelom alebo prechádza na vykonávanie modelu pomocou CPU. Medzi výhody vykonávania modelu v systéme používateľa patrí zachovanie dôvernosti spracovávaných údajov, možnosť pokračovať v práci v offline režime bez internetového pripojenia alebo pri problémoch s kvalitou spojenia, zníženie latencií pri posielaní požiadaviek a vylúčenie závislosti od externých služieb.
Vyvíjaný API Prompt na interakciu s modelom umožňuje nielen základné jednorazové požiadavky v prirodzenom jazyku, ale aj organizovať zapojenie modelu do spracovania a klasifikácie údajov s ohľadom na kontext, zohľadniť predtým zaslané požiadavky a údaje v relácii a takisto použiť model na výber optimálnych možností (napríklad, môžete požiadať, aby vybral ikonu zo zoznamu emoji pre konkrétny komentár na stránke). Navyše sa plánuje rozvíjať API na použitie v oblasti tvorby obsahu a riešenia úloh, ako je prepisovanie inými slovami, korektúra a oprava gramatiky.
Vo všeobecnosti sa vyvíjajú dva typy API pre interakciu s integrovaným AI modelom — Task a Exploratory. Prvý poskytuje prístup k funkciám na riešenie konkrétnych úloh, ako je preklad textu z jedného jazyka do druhého (API Translation) alebo sumarizácia hlavného obsahu textu (API Summarization). Druhý typ je orientovaný na vytváranie a testovanie experimentálnych prototypov pri vývoji nových Task API. Taktiež sa pracuje na API LoRA (Low-Rank Adaptation) na prispôsobenie váh základného modelu s cieľom zlepšiť efektivitu pri riešení konkrétnych úloh.
Prístup do experimentu sa poskytuje po vyplnení žiadosti. API je v aktívnom vývoji a pred prijetím konečnej verzie sa bude rozširovať a meniť na základe spätnej väzby a preferencií používateľov. V budúcnosti sa plánuje organizovať prístupnejšie testovanie s použitím režimu Origin Trials, ktorý umožňuje prácu s experimentálnymi API z aplikácií načítaných z localhost alebo 127.0.0.1, alebo po registrácii a získaní špeciálneho tokenu, ktorý platí obmedzený čas pre konkrétnu stránku. Paralelne s výrobcami iných prehliadačov sa pracuje na štandardizácii vyvíjaných API.
Zdroj: opennet.ru
