Google experimenterar med att bygga en stor språkmodell i Chrome

Google har tillkännagivit ett experiment för att bädda in en stor språkmodell för maskininlärning i Chrome. För att komma åt modellen från webbapplikationer och webbläsartillägg föreslås Prompt API, som låter dig skicka förfrågningar på naturligt språk, liknande chatbots. Det förväntas att en stor språkmodell inbyggd i webbläsaren kommer att förenkla utförandet av AI-uppgifter i webbapplikationer och gör att du inte behöver oroa dig för att installera och hantera språkmodeller.

Experimentet som används är Gemini Nano-modellen, den mest kompakta i Gemini-familjen. Det är också möjligt att installera expertmodeller som utökar basmodellen med ytterligare kunskaper som kan krävas för att lösa specifika problem, samt att implementera färdigheter som maskinöversättning och sammanfattning. Modeller exekveras lokalt på användarens system utan åtkomst till externa tjänster.

Körtiden som används för att exekvera modellen använder automatiskt de GPU:er och NPU:er som finns tillgängliga i systemet för att påskynda arbetet med modellen eller växlar till att exekvera modellen med CPU:n. Fördelarna med att köra modellen på användarens system inkluderar att upprätthålla sekretessen för de behandlade uppgifterna, möjligheten att fortsätta arbeta i offline-läge i avsaknad av en nätverksanslutning eller om problem uppstår med kommunikationskvaliteten, minska förseningar vid sändning av förfrågningar, och eliminera beroendet av externa tjänster.

API Prompt, utvecklad för att interagera med modellen, låter dig utföra inte bara de enklaste enskilda förfrågningarna på naturligt språk, utan också organisera modellens involvering i bearbetning och klassificering av data med hänsyn till sammanhanget, ta hänsyn till förfrågningar och data tidigare skickas i sessionen, och använd även modellen för att välja de bästa alternativen (du kan till exempel be att få välja en ikon från en lista med emoji för en specifik kommentar på webbplatsen). Dessutom är det planerat att utveckla API:et för användning inom området för innehållsskapande och för att lösa sådana problem som omskrivning med andra ord, korrekturläsning och korrigering av grammatik.

I allmänhet utvecklas två typer av API för att interagera med den inbyggda AI-modellen - Task och Exploratory. Den första ger tillgång till möjligheter för att lösa vissa problem, som att översätta text från ett språk till ett annat (API Translation) eller att sammanfatta textens huvudsakliga väsen (API Summarization). Den andra typen syftar till att skapa och testa experimentella prototyper vid utveckling av nya Task API:er. Arbete pågår också med LoRA (Low-Rank Adaptation) API för att anpassa basmodellens viktningskoefficienter för att förbättra effektiviteten för att lösa vissa problem.

Tillgång att delta i experimentet ges efter ifylld ansökan. API är under aktiv utveckling och kommer att utökas och ändras med hänsyn till användarfeedback och preferenser tills den slutliga versionen antas. I framtiden planerar vi att organisera mer tillgängliga tester med hjälp av Origin Trials-läget, som ger möjlighet att arbeta med experimentella API:er från applikationer som laddats ner från localhost eller 127.0.0.1, eller efter att ha registrerat och tagit emot en speciell token som är giltig under en begränsad tid. tid för en specifik webbplats. Parallellt med tillverkare av andra webbläsare pågår ett arbete med att standardisera de utvecklade API:erna.

Källa: opennet.ru