Kompania Google shpalli një eksperiment për integrimin në Chrome të një modeli të madh gjuhësor të mësimit të makinerisë. Për të pasur qasje në model nga aplikacionet web dhe shtesat e shfletuesit, është propozuar API Prompt, që lejon dërgimin e kërkesave në gjuhën natyrore, në përputhje me chatbotët. Parashikohet që modeli i madh gjuhësor i integruar në shfletues do të thjeshtojë përmbushjen e detyrave të AI në aplikacionet web dhe do të eliminojë nevojën për të instaluar dhe menaxhuar modelet gjuhësore.
Në eksperimentin e realizuar është përfshirë modeli Gemini Nano, më kompakt nga familja Gemini. Gjithashtu, është parashikuar mundësia e instalimit të modeleve ekspert, që zgjasin modelin bazë me njohuri shtesë që mund të nevojiten për zgjidhjen e detyrave specifike dhe për realizimin e aftësive si përkthimi i makinës dhe përmbledhja. Modelet ekzekutohen lokal në sistemin e përdoruesit pa u lidhur me shërbimet e jashtme.
Runtime i përdorur për ekzekutimin e modelit aktivizon automatikisht GPU dhe NPU të disponueshme në sistem për të përshpejtuar punën me modelin ose kalon në ekzekutimin e modelit duke përdorur CPU. Një nga avantazhet e ekzekutimit të modelit në sistemin e përdoruesit është ruajtja e privatësisë së të dhënave të përpunuara, mundësia për të vazhduar punën në mënyrë offline në rast të mungesës së lidhjes në rrjet ose në rast të problemeve me cilësinë e lidhjes, zvogëlimi i vonesave në dërgimin e kërkesave, dhe eliminimi i varësisë nga shërbimet e jashtme.
API Prompt, që po zhvillohet për ndërveprimin me modelin, lejon jo vetëm dërgimin e kërkesave të thjeshta në gjuhën natyrore, por gjithashtu organizimin e angazhimit të modelit për përpunimin dhe klasifikimin e të dhënave duke marrë parasysh kontekstin, duke marrë në konsideratë kërkesat dhe të dhënat e dërguara më parë në seancë, si dhe përdorimin e modelit për zgjedhjen e opsioneve optimale (p.sh., mund të kërkosh të zgjedhësh një ikonë nga një listë emoji për një koment të caktuar në faqe). Për më tepër, është planifikuar të zhvillohet API për përdorim në fushën e krijimit të përmbajtjes dhe zgjidhjen e detyrave si riformulimi i përmbajtjes, korrektimi dhe rregullimi i gramatikës.
Në një pamje të përgjithshme, për ndërveprimin me AI-në e integruar po zhvillohen dy tipe API — Task dhe Exploratory. E para ofron qasje në mundësitë për zgjidhjen e detyrave të caktuara, si përkthimi i tekstit nga një gjuhë në tjetrën (API Translation) ose përmbledhja e përmbajtjes kryesore të tekstit (API Summarization). Tipa i dytë është i orientuar ndaj krijimit dhe verifikimit të prototipave eksperimentalë gjatë zhvillimit të API të reja Task. Përveç kësaj, po punojnë edhe mbi API LoRA (Low-Rank Adaptation) për adaptimin e koeficientëve të peshës së modelit bazë për të rritur efikasitetin e zgjidhjes së detyrave të caktuara.
Qasja për pjesëmarrje në eksperiment ofrohet pas plotësimit të një aplikacioni. API është në zhvillim aktiv dhe deri në miratimin e versionit përfundimtar do të zgjerohet dhe ndryshojë në bazë të komenteve dhe preferencave të përdoruesve. Më vonë, është planifikuar të organizohet një testim më të qasshëm duke përdorur modin Origin Trials, që ofron mundësinë e përdorimit të API eksperimentale nga aplikacione të ngarkuara nga localhost ose 127.0.0.1, ose pas regjistrimit dhe marrjes së një tokeni special, që vepron për një periudhë të kufizuar për një faqe të caktuar. Paralelisht me prodhuesit e browserëve të tjerë, po punohet për standardizimin e API-ve që po zhvillohen.
Burimi: opennet.ru
