Google har annonceret et eksperiment, der involverer integration af en stor sprogmodel for maskinlæring i Chrome. For adgang til modellen fra webapplikationer og browserudvidelser er der tilbudt et API Prompt, der muliggør at sende forespørgsler på naturligt sprog, som ligner chatbots. Det forventes, at den indbyggede sprogmodel i browseren vil forenkle udførelsen af AI-opgaver i webapplikationer og lade brugerne slippe for at installere og administrere sprogmodeller.
Den anvendte model i eksperimentet er Gemini Nano, den mest kompakte i Gemini-familien. Der er også mulighed for at installere ekspertmodeller, der udvider den grundlæggende model med yderligere viden, der kan være nødvendig til specifikke opgaver, samt til realisering af færdigheder som maskinoversættelse og sammenfatning. Modellerne kører lokalt på brugerens system uden at henvise til eksterne tjenester.
Den anvendte Runtime-model aktiverer automatisk de tilgængelige GPU'er og NPU'er i systemet for at accelerere arbejdet med modellen eller skifter til at køre modellen ved hjælp af CPU'en. Fordelene ved at køre modellen på brugerens system inkluderer bevaring af fortroligheden af de behandlede data, muligheden for at fortsætte arbejdet offline i tilfælde af manglende netværksforbindelse eller problemer med forbindelseskvaliteten, samt reducerede forsinkelser ved afsendelse af forespørgsler og eliminering af afhængighed af eksterne tjenester.
API Prompt, der udvikles til interaktion med modellen, gør det muligt at udføre ikke blot de simpleste enkeltforespørgsler på naturligt sprog, men også organisere anvendelsen af modellen til behandling og klassificering af data under hensyntagen til konteksten, tage højde for tidligere forespørgsler sendt i sessionen og data samt bruge modellen til at vælge de optimale muligheder (for eksempel kan man anmode om at vælge et ikon fra en liste med emoji til en bestemt kommentar på en hjemmeside). Derudover planlægges det at udvikle API'et til brug inden for indholdsoprettelse og til at løse opgaver som omskrivning med andre ord, korrektur og retskrivning.
Generelt udvikles der to typer API'er til interaktion med den indbyggede AI-model — Task og Exploratory. Den første giver adgang til funktioner til løsning af specifikke opgaver, såsom oversættelse af tekst fra et sprog til et andet (API Translation) eller opsummering af den grundlæggende essens af teksten (API Summarization). Den anden type er fokuseret på at skabe og teste eksperimentelle prototyper under udviklingen af nye Task API'er. Der arbejdes også på API LoRA (Low-Rank Adaptation) til at tilpasse vægtkoefficienterne for den grundlæggende model for at forbedre effektiviteten i løsningen af bestemte opgaver.
Adgang til at deltage i eksperimentet gives efter udfyldelse af en ansøgning. API'en er under aktiv udvikling, og vil blive udvidet og ændret baseret på feedback og præferencer fra brugerne, indtil den endelige version er godkendt. Det planlægges på sigt at organisere mere tilgængelig testning ved hjælp af Origin Trials-tilstand, som giver mulighed for at arbejde med eksperimentelle API'er fra applikationer, der er indlæst fra localhost eller 127.0.0.1, eller efter registrering og modtagelse af en særlig token, som gælder i begrænset tid for et bestemt websted. Samtidig med producenterne af andre browsere arbejdes der på standardisering af de udviklede API'er.
Kilde: opennet.ru
