„Google“ paskelbė apie eksperimentą, skirtą į „Chrome“ įterpti didelį mašininio mokymosi kalbos modelį. Norint pasiekti modelį iš žiniatinklio programų ir naršyklės priedų, siūloma Prompt API, kuri leidžia siųsti užklausas natūralia kalba, panašiai kaip pokalbių robotai. Tikimasi, kad naršyklėje įmontuotas didelis kalbos modelis supaprastins AI užduočių vykdymą žiniatinklio programose ir leis nesijaudinti diegiant ir tvarkant kalbos modelius.
Naudotas eksperimentas yra Gemini Nano modelis, kompaktiškiausias iš Gemini šeimos. Taip pat galima įdiegti ekspertinius modelius, praplečiančius bazinį modelį papildomomis žiniomis, kurių gali prireikti sprendžiant konkrečias problemas, taip pat įdiegti tokius įgūdžius kaip mašininis vertimas ir apibendrinimas. Modeliai vykdomi lokaliai vartotojo sistemoje, neprisijungiant prie išorinių paslaugų.
Vykdymo laikas, naudojamas modeliui vykdyti, automatiškai naudoja sistemoje turimus GPU ir NPU, kad pagreitintų darbą su modeliu, arba pereina prie modelio vykdymo naudojant CPU. Modelio paleidimo vartotojo sistemoje privalumai yra apdorojamų duomenų konfidencialumo išlaikymas, galimybė toliau dirbti neprisijungus, kai nėra tinklo ryšio arba kyla problemų dėl ryšio kokybės, užklausų siuntimo vėlavimų mažinimas, ir panaikinti priklausomybę nuo išorinių paslaugų.
API Prompt, sukurta sąveikai su modeliu, leidžia atlikti ne tik paprasčiausias pavienes užklausas natūralia kalba, bet ir organizuoti modelio įtraukimą į duomenų apdorojimą ir klasifikavimą atsižvelgiant į kontekstą, atsižvelgti į anksčiau pateiktas užklausas ir duomenis. išsiųstas sesijoje, taip pat naudokite modelį geriausioms parinktims pasirinkti (pavyzdžiui, galite paprašyti pasirinkti piktogramą iš jaustukų sąrašo konkrečiam komentarui svetainėje). Be to, planuojama sukurti API, skirtą naudoti turinio kūrimo srityje ir sprendžiant tokias problemas kaip perrašymas, kitaip tariant, korektūra ir gramatikos taisymas.
Apskritai kuriamos dviejų tipų API, skirtos sąveikauti su integruotu AI modeliu – „Task“ ir „Exploratory“. Pirmoji suteikia prieigą prie galimybių sprendžiant tam tikras problemas, pavyzdžiui, verčiant tekstą iš vienos kalbos į kitą (API vertimas) arba apibendrinant pagrindinę teksto esmę (API Summarization). Antrasis tipas skirtas eksperimentiniams prototipams kurti ir išbandyti kuriant naujas užduočių API. Taip pat dirbama su LoRA (Low-Rank Adaptation) API, kad būtų pritaikyti bazinio modelio svoriniai koeficientai, siekiant pagerinti tam tikrų problemų sprendimo efektyvumą.
Prieiga dalyvauti eksperimente suteikiama užpildžius paraišką. API yra aktyviai kuriama ir bus plečiama bei keičiama atsižvelgiant į vartotojų atsiliepimus ir pageidavimus, kol bus priimta galutinė versija. Ateityje planuojame organizuoti labiau prieinamą testavimą naudojant Origin Trials režimą, kuris suteikia galimybę dirbti su eksperimentinėmis API iš programų, atsisiųstų iš localhost arba 127.0.0.1, arba užsiregistravus ir gavus specialų prieigos raktą, kuris galioja ribotai. laiko konkrečiai svetainei. Lygiagrečiai su kitų naršyklių gamintojais dirbama standartizuojant sukurtas API.
Šaltinis: opennet.ru
