Le allucinazioni, ovvero risposte volutamente errate che talvolta forniscono i modelli di intelligenza artificiale, sono diventate uno dei principali problemi dell'intero settore — per questo motivo alcuni cittadini rifiutano di utilizzare l'IA. Eliminare tali malfunzionamenti potrebbe rivelarsi più difficile del previsto, hanno scoperto i ricercatori di OpenAI.
I ricercatori di OpenAI hanno pubblicato , in cui hanno descritto i loro sforzi per gestire modelli di IA complessi, inclusi quelli di ragionamento, per prevenire il loro superamento dei limiti stabiliti. I ricercatori hanno utilizzato strategie e metodi unici, incluso il punire per azioni dannose e tentativi di ingannare l'utente. Nel progetto è stato impiegato, tra l'altro, un modello di IA creato da OpenAI ma non ancora lanciato sul mercato, a cui venivano assegnati vari compiti — il cui completamento poteva essere facilitato ingannando l'utente o ignorando alcune azioni.
Il risultato dell'addestramento del modello dipende in gran parte dalla fase di apprendimento rinforzato, in cui per l'esecuzione di un comando o per la generazione di una risposta corretta riceve una ricompensa. I modelli di intelligenza artificiale tendono a cercare di ottenere ricompense attraverso manipolazioni, anche violando alcune regole e raccomandazioni per raggiungere il risultato desiderato. I ricercatori speravano di poter identificare scappatoie e comprendere meglio il comportamento dell'IA tracciando la sequenza delle sue deduzioni, ma questo non è stato d'aiuto. I tentativi di ottimizzare la sequenza di ragionamento direttamente, cioè istruirla a non ignorare le istruzioni, hanno prodotto solo effetti a breve termine, hanno stabilito gli scienziati: 'questo non elimina tutto il comportamento indesiderato e può portare il modello a nascondere le proprie vere intenzioni.'
Gli autori del progetto hanno dovuto riconoscere che i meccanismi di monitoraggio dei modelli sono "fragili". Un controllo rigoroso del flusso di ragionamento può spingere l'IA a nascondere i propri errori per ottenere una ricompensa aggirando le restrizioni. Per monitorare il modello sottoposto a test durante l'esecuzione di compiti di scrittura di codice, è stato utilizzato un commercial GPT-4o — il soggetto in esame mostrava invece disattenzioni e ammetteva apertamente nel suo ragionamento che lo faceva per ottenere una ricompensa; ad esempio, completava prematuramente l'esecuzione di alcuni programmi. Successivamente, i ricercatori hanno cercato di punire il modello, ma l'effetto si è rivelato di breve durata: nel flusso di ragionamento rimanevano segni di tentativi di ottenere una ricompensa in modo scorretto e dare risposte errate. Insomma, ha trovato un modo per nascondere le proprie motivazioni all'IA di controllo.
In questo contesto, è difficile capire se il mondo sia pronto per un'intelligenza artificiale a livello umano, se il problema persisterà e l'intervento umano non sarà più possibile. I ricercatori sperano che in futuro ci saranno modi per influenzare i modelli attraverso la loro catena di ragionamento senza inganni e tattiche nascoste: propongono di rendere i metodi di ottimizzazione meno invadenti e più diretti.
Fonte:
Fonte: 3dnews.ru
