A Google bejelentette, hogy kísérletet indít a Chrome böngészőbe integrált nagyméretű nyelvi gépi tanulási modell bevezetésére. A modellhez való hozzáférést webalkalmazásokból és böngészőbővítményekből az API Prompt kínálja, amely lehetővé teszi természetes nyelven írt kérdések küldését, hasonlóan a chatbotokhoz. A böngészőbe integrált nagyméretű nyelvi modell várhatóan megkönnyíti az AI feladatok végrehajtását a webalkalmazásokban, és eltántorít a nyelvi modellek telepítésétől és kezelésétől.
A végrehajtott kísérletben a Gemini Nano modellt használják, amely a Gemini család legkompaktabb képviselője. Emellett lehetőség van szakértői modellek telepítésére is, amelyek kibővítik az alapmodellt további ismeretekkel, amelyek a specifikus feladatok megoldásához, valamint olyan készségek végrehajtásához szükségesek, mint a gépi fordítás és a szövegösszegzés. A modellek a felhasználó rendszerén belül futnak, anélkül, hogy külső szolgáltatásokra lenne szükség.
A modellek végrehajtásához használt Runtime automatikusan aktiválja a rendszerben elérhető GPU-kat és NPU-kat a modell működésének gyorsítására, vagy CPU használatára kapcsol át. A felhasználó rendszerén történő modellvégrehajtás előnyei közé tartozik az érzékeny adatok védelme, a hálózati kapcsolat hiányában történő offline működés lehetősége, a kérdések küldésének késleltetésének csökkentése, valamint a külső szolgáltatásoktól való függetlenség.
A modellel való interakcióhoz fejlesztett API Prompt nemcsak a legegyszerűbb, egyedi naturális nyelvű kérések végrehajtására alkalmas, hanem lehetővé teszi a modell bevonását az adatok feldolgozásába és osztályozásába a kontextus figyelembevételével, figyelemmel kísérheti a korábban a munkamenetben elküldött kéréseket és adatokat, valamint felhasználhatja a modellt az optimális lehetőségek kiválasztására (például kérheti, hogy válasszon egy emoji ikont egy adott hozzászóláshoz a weboldalon). Továbbá tervezzük az API fejlesztését a tartalomkészítés területén, valamint olyan feladatok elvégzésére, mint a más szavakkal való átkonstruálás, a korrektúra és a nyelvtani hibák javítása.
Általánosan a beágyazott AI-modellhez való interakcióhoz kétféle API fejlődik — Task és Exploratory. Az első hozzáférést biztosít bizonyos feladatok megoldásához, mint például a szöveg fordítása egyik nyelvről a másikra (API Translation) vagy a szöveg lényegének összefoglalása (API Summarization). A második típus célja, hogy kísérleti prototípusokat hozzon létre és ellenőrizzen új Task API fejlesztésekor. Emellett folyamatban van az API LoRA (Low-Rank Adaptation) kidolgozása is, amely a súlykoefficiensek alapmodellhez való alkalmazására vonatkozik a konkrét feladatok megoldásának hatékonyabbá tétele érdekében.
A kísérlethez való részvételhez regisztráció szükséges. Az API aktív fejlesztés alatt áll, és a végleges változat elfogadása előtt a felhasználók visszajelzései és preferenciái alapján bővül és változik. A jövőben tervezik, hogy elérhetőbb tesztelést szerveznek az Origin Trials mód használatával, amely lehetővé teszi a kísérleti API-k használatát localhost vagy 127.0.0.1 címről betöltött alkalmazásokból, vagy a regisztráció és egy speciális token megszerzése után, mely korlátozott ideig érvényes egy adott webhelyre. Párhuzamosan más böngészőgyártókkal dolgoznak a fejlesztett API-k szabványosításán.
Forrás: opennet.ru
