Google ha annunciato un esperimento per l'integrazione di un grande modello linguistico di machine learning in Chrome. Per accedere al modello da applicazioni web e estensioni del browser, è stato proposto l'API Prompt, che consente di inviare richieste in linguaggio naturale, analogamente ai chatbot. Si prevede che il grande modello linguistico integrato nel browser semplifichi l'esecuzione di compiti AI nelle applicazioni web e elimini la necessità di preoccuparsi dell'installazione e della gestione dei modelli linguistici.
Nell'esperimento in corso è coinvolto il modello Gemini Nano, il più compatto della famiglia Gemini. È inoltre prevista la possibilità di installare modelli esperti che ampliano il modello di base con conoscenze aggiuntive necessarie per risolvere compiti specifici, oltre a implementare abilità come la traduzione automatica e il riassunto. I modelli vengono eseguiti localmente sul sistema dell'utente senza fare affidamento su servizi esterni.
Il Runtime utilizzato per eseguire il modello utilizza automaticamente le GPU e NPU disponibili nel sistema per accelerare l'elaborazione del modello o passa all'esecuzione utilizzando il CPU. Tra i vantaggi dell'esecuzione del modello sul sistema dell'utente si evidenzia la conservazione della riservatezza dei dati trattati, la possibilità di continuare a lavorare in modalità offline in assenza di connessione di rete o quando si verificano problemi di qualità del segnale, la riduzione dei ritardi nell'invio delle richieste ed evitare la dipendenza da servizi esterni.
L'API Prompt in fase di sviluppo per l'interazione con il modello consente di effettuare non solo richieste singole in linguaggio naturale, ma anche di organizzare l'uso del modello per l'elaborazione e la classificazione dei dati tenendo conto del contesto, considerando le richieste e i dati precedentemente inviati nella sessione e utilizzando il modello per selezionare le opzioni ottimali (ad esempio, si può chiedere di scegliere un'icona emoji da un elenco per un commento specifico sul sito). Inoltre, si prevede di sviluppare ulteriormente l'API per l'uso nella creazione di contenuti e per risolvere compiti come la riformulazione con parole diverse, la correzione di bozze e la correzione della grammatica.
In generale, per interagire con il modello AI integrato, vengono sviluppati due tipi di API – Task e Exploratory. Il primo fornisce accesso alle capacità di risoluzione di compiti specifici, come la traduzione di testo da una lingua all'altra (API Translation) o il riassunto del contenuto principale di un testo (API Summarization). Il secondo tipo è focalizzato sulla creazione e verifica di prototipi sperimentali nello sviluppo di nuovi Task API. È inoltre in fase di sviluppo l'API LoRA (Low-Rank Adaptation) per adattare i pesi del modello di base e migliorare l'efficacia nella risoluzione di specifici compiti.
L'accesso alla partecipazione all'esperimento è fornito dopo la compilazione di una domanda. L'API è in fase di sviluppo attivo e fino all'approvazione della versione finale verrà ampliata e modificata in base ai feedback e alle preferenze degli utenti. In futuro, si prevede di organizzare test più accessibili utilizzando la modalità Origin Trials, che consente di lavorare con API sperimentali da applicazioni caricate da localhost o 127.0.0.1, oppure dopo aver completato la registrazione e ottenuto un token speciale valido per un tempo limitato per un sito specifico. Parallelamente, è in corso un lavoro con i produttori di altri browser per standardizzare le API in fase di sviluppo.
Fonte: opennet.ru
