Google on teatanud eksperimendi läbiviimisest, et integreerida suur keelemudel Chrome'i. Mudelile juurdepääsu võimaldamiseks veebirakendustest ja brauserilaienditest on pakutud API Prompt, mis võimaldab edastada päringuid loomulikus keeles, sarnaselt juturobotitega. Eeldatakse, et brauserisse integreeritud suur keelemudel lihtsustab AI-ülesannete täitmist veebirakendustes ja kõrvaldab vajaduse keelemudelite installimise ja haldamise järele.
Käimasolevas eksperimendis kasutatakse Gemini Nano mudelit, mis on väikseim mudel Gemini perekonnas. Samuti on ette nähtud võimalus paigaldada ekspertmudeleid, mis rikastavad põhimudelit täiendavate teadmistena, mis võivad olla vajalikud spetsiifiliste ülesannete lahendamiseks, samuti oskuste nagu masintõlge ja kokkuvõtete tegemine rakendamiseks. Mudelid töötavad kasutaja süsteemis lokaalselt, ilma väliste teenuste kasutamiseta.
Runtime mudel kasutab automaatselt süsteemis olevaid GPU-sid ja NPU-sid modelle töö kiirusel. Kasutaja süsteemis mudeli käitamise eeliste hulka kuuluvad andmete töötluse privaatsuse säilitamine, võimalus jätkata tööd offline-režiimis võrguühenduse puudumise korral või tõsiste ühenduseprobleemide korral, viivituste vähendamine päringute saatmisel ning sõltumatuse tagamine välistest teenustest.
Arendatav API-mudeli interaktsioon võimaldab mitte ainult lihtsate üksikute loomuliku keele päringute täitmist, vaid ka mudeli kaasamist andmete töötlemisse ja klassifitseerimisse konteksti põhjal, arvestades seansis varasemalt saadetud päringuid ja andmeid, ning kasutada mudelit optimaalse valiku tegemiseks (näiteks võib paluda valida emoji ikooni teatud kommentaari jaoks veebisaidil). Täiendavalt on plaanis arendada API-d sisu loomise valdkonnas ning lahendada selliseid ülesandeid nagu ümberkirjutamine, korrektuur ja grammatika parandamine.
Üldiselt arendatakse sisseehitatud AI mudeliga suhtlemiseks kahte tüüpi API-sid — Task ja Exploratory. Esimene annab juurdepääsu võimalustele teatud ülesannete lahendamiseks, nagu tekstide tõlked ühest keelest teise (API Translation) või teksti põhisisu kokkuvõtte tegemine (API Summarization). Teine tüüp on suunatud eksperimentaalsete prototüüpide loomisele ja testimisele uute Task API-de arendamisel. Samuti käib töö API LoRA (Low-Rank Adaptation) nimel, et kohandada baasimudeli kaalukoeffitsiente teatud ülesannete lahendamise efektiivsuse parandamiseks.
Eksperimendi osalemiseks antakse ligipääs pärast taotluse täitmist. API on aktiivses arengus ning muutub ja laieneb vastavalt kasutajate tagasisidele ja eelistustele, enne lõpliku versiooni vastuvõtmist. Tulevikus on plaanis korraldada ligipääsetavam testimine Origin Trials režiimi abil, mis võimaldab töötada eksperimentaalsete API-dega rakendustest, mis on laaditud localhost-ist või 127.0.0.1, või pärast registreerimist ja spetsiaalse tokeni saamist, mis kehtib piiratud aja jooksul konkreetse saidi jaoks. Koostöös teiste brauserid arendavate ettevõtetega töötatakse välja arendatavate API-de standardiseerimist.
Allikas: opennet.ru
