Compania Google a anunțat desfășurarea unui experiment pentru integrarea unui model mare de limbaj de învățare automată în Chrome. Pentru accesarea modelului din aplicațiile web și extensiile browserului a fost propus un API Prompt, care permite trimiterea de cereri în limbaj natural, similar chatbot-urilor. Se presupune că modelul mare de limbaj integrat în browser va simplifica îndeplinirea sarcinilor AI în aplicațiile web și va elimina necesitatea instalării și gestionării modelelor de limbaj.
Experimentul desfășurat folosește modelul Gemini Nano, cel mai compact din familia Gemini. De asemenea, este prevăzută posibilitatea instalării unor modele expert care extind modelul de bază cu cunoștințe suplimentare necesare pentru rezolvarea sarcinilor specifice, precum și pentru implementarea abilităților, cum ar fi traducerea automată și rezumarea. Modelele se execută local pe sistemul utilizatorului, fără a apela la servicii externe.
Runtime-ul utilizat pentru executarea modelului activează automat GPU-urile și NPU-urile disponibile în sistem pentru a accelera lucrul cu modelul sau comută la executarea modelului folosind CPU-ul. Printre avantajele executării modelului pe sistemul utilizatorului se numără păstrarea confidențialității datelor procesate, posibilitatea de a continua lucrul în mod offline în lipsa unei conexiuni de rețea sau în cazul unor probleme de calitate a conexiunii, reducerea întârzierilor în trimiterea cererilor și eliminarea dependenței de servicii externe.
API-ul Prompt dezvoltat pentru interacțiunea cu modelul permite nu doar execuția celor mai simple cereri unice în limbaj natural, ci și organizarea implicării modelului în procesarea și clasificarea datelor în funcție de context, ținând cont de cererile și datele trimise anterior în sesiune, precum și utilizarea modelului pentru alegerea celor mai optime opțiuni (de exemplu, se poate solicita alegerea unei pictograme dintr-o listă de emoji pentru un comentariu specific pe site). În plus, se preconizează dezvoltarea API-ului pentru utilizarea în domeniul creării de conținut și pentru soluționarea unor sarcini precum reformularea în alte cuvinte, corectura și corectarea gramaticii.
În general, pentru interacțiunea cu modelul AI încorporat, se dezvoltă două tipuri de API-uri — Task și Exploratory. Primul oferă acces la capacitățile de rezolvare a unor sarcini specifice, cum ar fi traducerea textului dintr-o limbă în alta (API Translation) sau rezumarea punctelor cheie ale textului (API Summarization). Cel de-al doilea tip vizează crearea și testarea prototipurilor experimentale în dezvoltarea de noi API-uri Task. De asemenea, se lucrează la API-ul LoRA (Low-Rank Adaptation) pentru adaptarea coeficientilor de greutate ai modelului de bază pentru a îmbunătăți eficiența în soluționarea unor sarcini specifice.
Accesul la participarea în experiment este oferit după completarea unei aplicații. API-ul este în continuă dezvoltare și înainte de acceptarea variantei finale va fi extins și modificat având în vedere feedback-ul și preferințele utilizatorilor. În viitor se preconizează organizarea unor teste mai accesibile utilizând modul Origin Trials, care oferă posibilitatea de a lucra cu API-uri experimentale din aplicații încărcate de pe localhost sau 127.0.0.1, sau după înregistrare și obținerea unui token special, care este valabil pentru o perioadă limitată pentru un anumit site. Împreună cu producătorii altor browsere, se lucrează la standardizarea API-urilor dezvoltate.
Sursa: opennet.ro
