Google ha annunciato un esperimento per l'integrazione in Chrome di un ampio modello linguistico di apprendimento automatico. Per accedere al modello da applicazioni web e estensioni del browser, è stato proposto l'API Prompt, che consente di inviare richieste in linguaggio naturale, simile ai chatbot. Si presuppone che il grande modello linguistico integrato nel browser semplificherà l'esecuzione di compiti AI nelle applicazioni web e permetterà di non preoccuparsi dell'installazione e della gestione dei modelli linguistici.
Nell'esperimento in corso è coinvolto il modello Gemini Nano, il più compatto della famiglia Gemini. È anche prevista la possibilità di installare modelli esperti che arricchiscono il modello di base con conoscenze aggiuntive necessarie per risolvere compiti specifici, oltre a implementare competenze come la traduzione automatica e il riassunto. I modelli vengono eseguiti localmente sul sistema dell'utente senza connessione a servizi esterni.
Il Runtime utilizzato per eseguire il modello utilizza automaticamente le GPU e NPU disponibili nel sistema per accelerare le operazioni con il modello o passa all'esecuzione del modello utilizzando la CPU. Tra i vantaggi dell'esecuzione del modello sul sistema dell'utente si segnalano la preservazione della riservatezza dei dati trattati, la possibilità di continuare a lavorare in modalità offline in assenza di connessione di rete o in caso di problemi di qualità del segnale, e la riduzione dei ritardi nell'invio delle richieste, eliminando la dipendenza da servizi esterni.
L'API Prompt sviluppata per interagire con il modello consente di eseguire non solo semplici richieste singole in linguaggio naturale, ma anche di organizzare l'utilizzo del modello per l'elaborazione e la classificazione dei dati in base al contesto, tenere conto delle richieste e dei dati precedentemente inviati nella sessione e utilizzare il modello per scegliere le opzioni ottimali (ad esempio, si può chiedere di scegliere un'emoji da un elenco per un determinato commento sul sito). Inoltre, è previsto di sviluppare l'API per l'utilizzo nella creazione di contenuti e per risolvere compiti come la riscrittura con parole diverse, la correzione e la revisione grammaticale.
In generale, per l'interazione con il modello AI integrato si stanno sviluppando due tipi di API: Task ed Exploratory. La prima offre accesso alle funzionalità per risolvere compiti specifici, come la traduzione di testo da una lingua all'altra (API Translation) o il riassunto del contenuto principale di un testo (API Summarization). Il secondo tipo è mirato alla creazione e test di prototipi sperimentali durante lo sviluppo di nuovi Task API. È anche in corso lo sviluppo dell'API LoRA (Low-Rank Adaptation) per l'adattamento dei pesi della base modello al fine di migliorare l'efficacia nella risoluzione di compiti specifici.
L'accesso alla partecipazione all'esperimento è consentito dopo la compilazione della domanda. L'API è in attivo sviluppo e continuerà a espandersi e modificarsi fino all'accettazione della versione finale, tenendo conto dei commenti e delle preferenze degli utenti. In futuro, è previsto un testing più accessibile tramite la modalità Origin Trials, che offre la possibilità di lavorare con API sperimentali da applicazioni caricate da localhost o 127.0.0.1, o dopo aver completato la registrazione e aver ottenuto un token speciale, valido per un tempo limitato per un sito specifico. Parallelamente ai produttori di altri browser, si sta lavorando alla standardizzazione delle API in fase di sviluppo.
Fonte: opennet.ru
