Företaget Google har meddelat att de genomför ett experiment för att integrera en stor maskininlÀrningssprÄkmodell i Chrome. För att fÄ Ätkomst till modellen frÄn webbapplikationer och webblÀsartillÀgg har ett API Prompt föreslagits, vilket möjliggör att skicka förfrÄgningar pÄ naturligt sprÄk, liknande hur chattbottar fungerar. Det förvÀntas att den inbyggda stora sprÄkmodellen i webblÀsaren kommer att förenkla genomförandet av AI-uppgifter i webbapplikationer och att man slipper tÀnka pÄ installation och hantering av sprÄkmodeller.
I det pÄgÄende experimentet anvÀnds modellen Gemini Nano, den mest kompakta i Gemini-familjen. Det finns ocksÄ möjlighet att installera expertmodeller som utökar den grundlÀggande modellen med ytterligare kunskaper som kan behövas för att lösa specifika uppgifter, samt för att implementera fÀrdigheter som maskinöversÀttning och sammanfattning. Modellerna körs lokalt pÄ anvÀndarens system utan att behöva kontakta externa tjÀnster.
Den runtime som anvÀnds för att köra modellen aktiverar automatiskt de tillgÀngliga GPU:erna och NPU:erna i systemet för att snabba upp arbetet med modellen eller vÀxlar till CPU-anvÀndning. Fördelarna med att köra modellen pÄ anvÀndarens system inkluderar bevarande av konfidentialitet för de data som behandlas, möjlighet att fortsÀtta arbeta offline nÀr det inte finns nÄgon nÀtverksanslutning eller vid problem med nÀtverkskvaliteten, minskad fördröjning vid sÀndning av förfrÄgningar, samt uteslutning av beroendemiljöer frÄn externa tjÀnster.
API Prompt som utvecklas för interaktionen med modellen gör det möjligt att inte bara utföra de enklaste enkla förfrÄgningarna pÄ naturligt sprÄk, utan ocksÄ att organisera engagemanget för modellen i bearbetning och klassificering av data med hÀnsyn till kontexten, ta hÀnsyn till tidigare skickade förfrÄgningar och data i sessionen, samt anvÀnda modellen för att vÀlja optimala alternativ (till exempel kan man be modellen vÀlja en ikon frÄn en lista med emoji för en specifik kommentar pÄ en webbplats). Ytterligare planeras det att utveckla API:t för anvÀndning inom innehÄllsskapande och för att lösa uppgifter som omskrivning, korrektur och grammatikkorrigering.
I allmĂ€nhet utvecklas tvĂ„ typer av API:er för att interagera med den inbyggda AI-modellen â Task och Exploratory. Den första ger tillgĂ„ng till funktioner för att lösa specifika uppgifter, sĂ„som att översĂ€tta text frĂ„n ett sprĂ„k till ett annat (API Translation) eller sammanfatta kĂ€rnan i texten (API Summarization). Den andra typen syftar till att skapa och verifiera experimentella prototyper vid utvecklingen av nya Task API:er. Arbetet med API LoRA (Low-Rank Adaptation) pĂ„gĂ„r ocksĂ„ för att anpassa vikterna i den grundlĂ€ggande modellen för att förbĂ€ttra effektiviteten vid lösningen av specifika uppgifter.
TillgÄng till att delta i experimentet ges efter att en ansökan har fyllts i. API:et Àr under aktiv utveckling och kommer att utvidgas och förÀndras baserat pÄ anvÀndarnas feedback och preferenser innan den slutgiltiga versionen antas. I framtiden planeras mer tillgÀnglig testning med hjÀlp av Origin Trials-lÀget, som ger möjlighet att arbeta med experimentella API:er frÄn applikationer som laddats upp frÄn localhost eller 127.0.0.1, eller efter registrering och mottagande av en speciell token som Àr giltig under en begrÀnsad tid för en specifik webbplats. Parallellt med producenter av andra webblÀsare pÄgÄr arbete för att standardisera de utvecklade API:erna.
KĂ€lla: opennet.ru
