Google katsetab suurt keelemudeli integreerimist Chrome'i

Google kuulutas välja eksperimendi keele mudeli integreerimise kohta Chrome'i. Mudelisse pääsemiseks veebirakendustes ja brauseri lisaosades on ette nähtud API Prompt, mis võimaldab esitada loomulikus keeles päringuid, sarnaselt vestlusrobotitele. Eeldatakse, et brauserisse integreeritud suur keele mudel lihtsustab AI-ülesannete täitmist veebirakendustes ja vabastab kasutajad keelemudelite paigaldamisest ja haldamisest.

Eksperimendis kasutatakse Gemini Nano mudelit, mis on kõige kompaktsem mudel Gemini perekonnas. Samuti on ette nähtud võimalus paigaldada eksperdidmudelid, mis laiendavad põhiteadmisi täiendava info ja oskustega, mis võivad olla vajalikud spetsiifiliste ülesannete lahendamiseks, sealhulgas masintõlke ja kokkuvõtete tegemise oskustega. Mudelid töötavad kohapeal kasutaja süsteemis, ilma väliste teenuste kasutamiseta.

Mudeli käitamiseks kasutatav Runtime aktiveerib automaatselt süsteemis olemasolevad GPU-d ja NPU-d mudeli töö kiirendamiseks või lülitub üle CPU-le mudeli käitamiseks. Kasutaja süsteemis mudeli käitamise eeliste hulka kuulub töödelavate andmete privaatsuse säilitamine, võimalus jätkata tööd offline-režiimis, kui internetiühendus puudub või kui esinevad ühenduse kvaliteedi probleemid, vähenenud päringute saatmise viivitused ning sõltumatuse tagamine välistest teenustest.

Mudeli suhtlemiseks välja töötatud API Prompt võimaldab teostada mitte ainult lihtsaid loomuliku keele päringuid, vaid ka korraldada mudeli kaasamist andmete töötlemiseks ja klassifitseerimiseks konteksti arvestades, arvestada varasemate seansi päringute ja andmetega ning kasutada mudelit optimaalseid valikute valimiseks (näiteks saab paluda valida emoji ikooni teatud kommentaari jaoks veebisaidil). Lisaks on plaanis arendada API-d sisu loomise valdkonnas ja selliste ülesannete lahendamiseks nagu sõnade ümberkirjutamine, korrektuur ning grammatika parandamine.

Üldiselt areneb sisseehitatud tehisintellekti mudeliga suhtlemiseks kahte tüüpi API-d — Task ja Exploratory. Esimene annab juurdepääsu võimalustele, mis on suunatud teatud ülesannete lahendamisele, nagu näiteks tekstide tõlkimine ühest keelest teise (API Translation) või tekstide põhisisu kokkuvõtte tegemine (API Summarization). Teine tüüp keskendub eksperimentaalsete prototüüpide loomisele ja testimisele uute Task API-de arendamisel. Samuti töötatakse API LoRA (Low-Rank Adaptation) kallal, et kohandada põhikogu kaalu koefitsiente teatud ülesannete tõhususe suurendamiseks.

Osalemiseks eksperimentaalses programmis antakse juurdepääs pärast taotluse täitmist. API on pidevas arengus ja enne lõpliku variandi vastuvõtmist laiendatakse ja muudetakse seda vastavalt kasutajate tagasisidele ja eelistustele. Edaspidi plaanitakse korraldada ligipääsetavamat testimist Origin Trials režiimi kaudu, mis võimaldab töötada eksperimentaalsete API-dega rakendustes, mis on laaditud localhost või 127.0.0.1-st, või pärast registreerimist ja spetsiaalse, piiratud ajaga kehtiva märgiga, mis on mõeldud konkreetsele saidile. Samal ajal töötatakse koos teiste brauseritootjatega välja arendatud API-de sertifitseerimise kallal.

Allikas: opennet.ru