Kompania Google shpalli një eksperiment për integrimin e një modeli të madh të gjuhës së mësuar automatik në Chrome. Për akses në model nga aplikacionet web dhe shtesat e shfletuesit, është ofruar API Prompt, që lejon dërgimin e kërkesave në gjuhën natyrale, në mënyrë të ngjashme me chatbot. Pritet që modeli i madh i gjuhës i integruar në shfletues të thjeshtojë zgjidhjen e detyrave AI në aplikacionet web dhe të lejojë mos u shqetësuar për instalimin dhe menaxhimin e modeleve të gjuhës.
Në eksperimentin e zhvilluar është përdorur modeli Gemini Nano, modeli më kompakt nga familja Gemini. Njëkohësisht, është parashikuar mundësia e instalimit të modeleve ekspertësh, që zgjerjnë modelin bazë me njohuri shtesë që mund të nevojiten për zgjidhjen e detyrave specifike, si dhe për realizimin e aftësive, të tilla si përkthimi automatik dhe përmbledhja. Modelet ekzekutohen lokal në sistemin e përdoruesit pa u drejtuar në shërbime të jashtme.
Runtime i përdorur për ekzekutimin e modelit aktivizon automatikisht GPU-të dhe NPU-të e disponueshme në sistem për të përshpejtuar punën me modelin ose kalon në ekzekutimin e modelit duke përdorur CPU-në. Ndër avantazhet e ekzekutimit të modelit në sistemin e përdoruesit përmendet ruajtja e privatësisë së të dhënave të përpunuara, mundësia për të vazhduar punën në modin offline në mungesë të lidhjes rrjet, ose në rast të problemeve me cilësinë e lidhjes, ulja e vonesave gjatë dërgimit të kërkesave dhe përjashtimi i varësisë nga shërbimet e jashtme.
API Prompt e zhvilluar për të bashkëvepruar me modelin lejon jo vetëm dërgimin e kërkesave të thjeshta në gjuhën natyrale, por gjithashtu organizimin e angazhimit të modelit për përpunimin dhe klasifikimin e të dhënave duke marrë parasysh kontekstin, duke marrë parasysh kërkesat dhe të dhënat e dërguara më parë në seancë, si dhe duke përdorur modelin për të zgjedhur opsionet më optimale (p.sh., mund të kërkoni të zgjidhni një ikonë nga lista e emoji për një koment të caktuar në faqe). Gjithashtu, planifikohet zhvillimi i API për përdorim në fushën e krijimit të përmbajtjes dhe për zgjidhjen e detyrave të tilla si rikthimi me fjalë të tjera, korrektura dhe korrigjimi i gramatikës.
NĂ« formĂ« tĂ« pĂ«rgjithshme, pĂ«r ndĂ«rveprimin me modelin e AI tĂ« integruar, po zhvillohen dy lloje API-sh â Task dhe Exploratory. E para ofron akses nĂ« mundĂ«sitĂ« pĂ«r zgjidhjen e detyrave tĂ« caktuara, si pĂ«rkthimi i tekstit nga njĂ« gjuhĂ« nĂ« njĂ« tjetĂ«r (API Translation) ose pĂ«rmbledhja e thelbit tĂ« tekstit (API Summarization). Lloji i dytĂ« Ă«shtĂ« i orientuar nĂ« krijimin dhe verifikimin e prototipave eksperimentalĂ« gjatĂ« zhvillimit tĂ« API-ve tĂ« reja Task. Po ashtu, po punohet mbi API LoRA (Low-Rank Adaptation) pĂ«r adaptimin e koeficientove tĂ« peshave tĂ« modelit bazĂ« pĂ«r tĂ« rritur efektivitetin nĂ« zgjidhjen e detyrave tĂ« caktuara.
Aksi për të marrë pjesë në eksperiment jepet pas plotësimit të aplikacionit. API është në zhvillim aktiv dhe do të zgjerohet dhe ndryshohet në përputhje me feedback-un dhe preferencat e përdoruesve, derisa të pranohet versioni përfundimtar. Në të ardhmen, planifikohet të organizohet një testim më të aksesueshëm duke përdorur modalitetin Origin Trials, që ofron mundësinë e punës me API eksperimentale nga aplikacione të ngarkuara nga localhost ose 127.0.0.1, ose pas regjistrimit dhe marrjes së një token-i të veçantë, i cili vepron për një kohë të kufizuar për një faqe specifike. Paralelisht me prodhuesit e shfletuesve të tjerë, po punohet për standardizimin e API-ve që janë në zhvillim.
Burimi: opennet.ru
