tl; dr:
- L'apprendimento automatico cerca modelli nei dati. Ma l’intelligenza artificiale può essere “distorta”, ovvero trovare modelli errati. Ad esempio, un sistema di rilevamento del cancro della pelle basato su foto potrebbe prestare particolare attenzione alle immagini scattate in uno studio medico. L’apprendimento automatico non può понимать: i suoi algoritmi identificano solo modelli in numeri e, se i dati non sono rappresentativi, lo sarà anche il risultato della loro elaborazione. E individuare tali bug può essere difficile a causa dei meccanismi stessi dell’apprendimento automatico.
- L’area problematica più ovvia e scoraggiante è la diversità umana. Ci sono molte ragioni per cui i dati sulle persone possono perdere obiettività anche nella fase di raccolta. Ma non si creda che questo problema riguardi solo le persone: esattamente le stesse difficoltà si presentano quando si cerca di rilevare un’alluvione in un magazzino o una turbina a gas guasta. Alcuni sistemi potrebbero essere sbilanciati verso il colore della pelle, altri verso i sensori Siemens.
- Tali problemi non sono nuovi all’apprendimento automatico e non sono affatto esclusivi di esso. In qualsiasi struttura complessa si fanno presupposti errati e capire perché è stata presa una particolare decisione è sempre difficile. Dobbiamo combattere questo problema in modo globale: creare strumenti e processi per la verifica ed educare gli utenti in modo che non seguano ciecamente le raccomandazioni dell’IA. L’apprendimento automatico fa alcune cose molto meglio di noi, ma i cani, ad esempio, sono molto più efficaci degli esseri umani nell’individuare le droghe, il che non è un motivo per usarli come testimoni e dare giudizi basati sulla loro testimonianza. E i cani, tra l’altro, sono molto più intelligenti di qualsiasi sistema di apprendimento automatico.
L’apprendimento automatico è una delle tendenze tecnologiche fondamentali più importanti oggi. Questo è uno dei modi principali in cui la tecnologia cambierà il mondo che ci circonda nel prossimo decennio. Alcuni aspetti di questi cambiamenti sono motivo di preoccupazione. Ad esempio, il potenziale impatto dell’apprendimento automatico sul mercato del lavoro o il suo utilizzo per scopi non etici (ad esempio, da parte di regimi autoritari). C'è un altro problema che questo post affronta: pregiudizio dell’intelligenza artificiale.
Questa non è una storia facile.
L'intelligenza artificiale di Google può trovare i gatti. Questa novità del 2012 era qualcosa di speciale per quei tempi.
Che cos'è il "bias IA"?
I “dati grezzi” sono sia un ossimoro che una cattiva idea; i dati devono essere preparati bene e con attenzione. —Geoffrey Bocker
Prima del 2013, per creare un sistema che, ad esempio, riconoscesse i gatti nelle fotografie, dovevi descrivere dei passaggi logici. Come trovare gli angoli in un'immagine, riconoscere gli occhi, analizzare la consistenza della pelliccia, contare le zampe e così via. Poi metti insieme tutti i componenti e scopri che non funziona proprio. Proprio come un cavallo meccanico: in teoria è possibile realizzarlo, ma in pratica è troppo complesso da descrivere. Il risultato finale sono centinaia (o addirittura migliaia) di regole scritte a mano. E nemmeno un singolo modello funzionante.
Con l’avvento del machine learning, abbiamo smesso di utilizzare regole “manuali” per riconoscere un particolare oggetto. Invece, prendiamo mille campioni di “questo”, X, mille campioni di “altro”, Y, e facciamo costruire al computer un modello basato sulla loro analisi statistica. Forniamo quindi a questo modello alcuni dati campione e questo determina con una certa precisione se si adatta a uno degli insiemi. L'apprendimento automatico genera un modello dai dati anziché da un essere umano che lo scrive. I risultati sono impressionanti, soprattutto nel campo del riconoscimento di immagini e modelli, ed è per questo che l’intero settore tecnologico si sta ora spostando verso l’apprendimento automatico (ML).
Ma non è così semplice. Nel mondo reale, le tue migliaia di esempi di X o Y contengono anche A, B, J, L, O, R e persino L. Questi potrebbero non essere distribuiti uniformemente e alcuni potrebbero verificarsi così frequentemente che il sistema pagherà di più attenzione a loro piuttosto che agli oggetti che ti interessano.
Cosa significa in pratica? Il mio esempio preferito è quello dei sistemi di riconoscimento delle immagini . Il perché è chiaro: la maggior parte delle fotografie di esempio delle "pecore" sono scattate nei prati in cui vivono, e in queste immagini l'erba occupa molto più spazio dei pelucchi bianchi, ed è l'erba che il sistema considera più importante .
Ci sono esempi più seri. Uno recente per rilevare il cancro della pelle nelle fotografie. Si è scoperto che i dermatologi spesso fotografano il righello insieme alle manifestazioni del cancro della pelle per registrare la dimensione delle formazioni. Non ci sono righelli nelle fotografie di esempio di pelle sana. Per un sistema di intelligenza artificiale, tali righelli (più precisamente, i pixel che definiamo “righello”) sono diventati una delle differenze tra serie di esempi, e talvolta più importanti di una piccola eruzione cutanea sulla pelle. Quindi un sistema creato per identificare il cancro della pelle a volte riconosceva invece i governanti.
Il punto chiave qui è che il sistema non ha alcuna comprensione semantica di ciò che sta guardando. Guardiamo un insieme di pixel e vediamo in essi una pecora, una pelle o dei righelli, ma il sistema è solo una linea numerica. Non vede lo spazio tridimensionale, non vede oggetti, trame o pecore. Vede semplicemente degli schemi nei dati.
La difficoltà nel diagnosticare tali problemi è che la rete neurale (il modello generato dal sistema di apprendimento automatico) è composta da migliaia e centinaia di migliaia di nodi. Non esiste un modo semplice per esaminare un modello e vedere come prende una decisione. Avere questo modo significherebbe che il processo è abbastanza semplice da poter descrivere tutte le regole manualmente, senza utilizzare l’apprendimento automatico. Le persone temono che l’apprendimento automatico sia diventato una sorta di scatola nera. (Spiegherò un po' più tardi perché questo paragone è ancora eccessivo.)
Questo, in termini generali, è il problema dei pregiudizi nell’intelligenza artificiale o nell’apprendimento automatico: un sistema per trovare modelli nei dati potrebbe trovare modelli sbagliati e potresti non notarlo. Questa è una caratteristica fondamentale della tecnologia, ed è evidente a chiunque lavori con essa nel mondo accademico e nelle grandi aziende tecnologiche. Ma le sue conseguenze sono complesse, così come lo sono le nostre possibili soluzioni a tali conseguenze.
Parliamo prima delle conseguenze.
L’intelligenza artificiale può, implicitamente per noi, fare una scelta a favore di determinate categorie di persone, sulla base di un gran numero di segnali impercettibili
Scenari di bias dell'IA
In modo più evidente e spaventoso, questo problema può manifestarsi quando si tratta della diversità umana. Recentemente che Amazon ha provato a costruire un sistema di apprendimento automatico per lo screening iniziale dei candidati al lavoro. Dato che ci sono più uomini tra i lavoratori di Amazon, anche gli esempi di “assunzioni di successo” sono più spesso di sesso maschile, e ci sono più uomini nella selezione dei curriculum suggeriti dal sistema. Amazon se ne è accorto e non ha messo in produzione il sistema.
La cosa più importante in questo esempio è che si diceva che il sistema favorisse i candidati uomini, nonostante il fatto che il sesso non fosse specificato sul curriculum. Il sistema vedeva altri modelli negli esempi di “buone assunzioni”: ad esempio, le donne potevano usare parole speciali per descrivere i risultati ottenuti o avere hobby speciali. Naturalmente, il sistema non sapeva cosa fosse "hockey", chi fossero le "persone" o cosa fosse il "successo": eseguiva semplicemente un'analisi statistica del testo. Ma i modelli che ha visto molto probabilmente sarebbero passati inosservati agli esseri umani, e alcuni di essi (ad esempio, il fatto che persone di sesso diverso descrivano il successo in modo diverso) sarebbero probabilmente difficili da vedere anche se li guardassimo.
Inoltre - peggio. Un sistema di apprendimento automatico che è molto efficace nel trovare il cancro sulla pelle chiara potrebbe non funzionare altrettanto bene sulla pelle scura, o viceversa. Non necessariamente per pregiudizi, ma perché probabilmente è necessario costruire un modello separato per un colore della pelle diverso, scegliendo caratteristiche diverse. I sistemi di apprendimento automatico non sono intercambiabili nemmeno in un’area così ristretta come il riconoscimento delle immagini. È necessario modificare il sistema, a volte solo attraverso tentativi ed errori, per ottenere una buona gestione delle funzionalità dei dati che ti interessano finché non raggiungi la precisione desiderata. Ma ciò che potresti non notare è che il sistema è accurato il 98% delle volte con un gruppo e solo il 91% (anche più accurato dell’analisi umana) con l’altro.
Finora ho utilizzato principalmente esempi relativi alle persone e alle loro caratteristiche. La discussione su questo problema si concentra principalmente su questo argomento. Ma è importante capire che i pregiudizi nei confronti delle persone sono solo una parte del problema. Utilizzeremo l'apprendimento automatico per molte cose e l'errore di campionamento sarà rilevante per tutte. D’altra parte, se lavori con le persone, la distorsione dei dati potrebbe non essere correlata a loro.
Per capirlo, torniamo all'esempio del cancro della pelle e consideriamo tre ipotetiche possibilità di fallimento del sistema.
- Distribuzione eterogenea delle persone: un numero sbilanciato di fotografie di diverse tonalità della pelle, che porta a falsi positivi o falsi negativi dovuti alla pigmentazione.
- I dati su cui è addestrato il sistema contengono una caratteristica frequente e distribuita in modo eterogeneo che non è associata alle persone e non ha alcun valore diagnostico: un righello nelle fotografie di cancro della pelle o erba nelle fotografie di pecore. In questo caso il risultato sarà diverso se il sistema trova dei pixel nell’immagine di qualcosa che l’occhio umano identifica come un “righello”.
- I dati contengono una caratteristica di terzi che una persona non può vedere anche se la cerca.
Cosa significa? Sappiamo a priori che i dati possono rappresentare diversi gruppi di persone in modo diverso e come minimo possiamo pianificare la ricerca di tali eccezioni. In altre parole, ci sono molte ragioni sociali per ritenere che i dati sui gruppi di persone contengano già alcuni pregiudizi. Se guardiamo la foto con il righello, vedremo questo righello: prima lo ignoravamo semplicemente, sapendo che non ha importanza e dimenticando che il sistema non sa nulla.
Ma cosa succederebbe se tutte le foto della tua pelle malata fossero state scattate in un ufficio sotto una luce a incandescenza e la tua pelle sana fosse stata scattata sotto una luce fluorescente? Cosa succederebbe se, dopo aver finito di fotografare la pelle sana, prima di riprendere la pelle malata, aggiornassi il sistema operativo del tuo telefono e Apple o Google modificassero leggermente l'algoritmo di riduzione del rumore? Una persona non può notarlo, non importa quanto cerchi tali caratteristiche. Ma il sistema di utilizzo della macchina lo vedrà e lo utilizzerà immediatamente. Lei non sa niente.
Finora abbiamo parlato di correlazioni spurie, ma potrebbe anche darsi che i dati siano accurati e i risultati corretti, ma non si voglia utilizzarli per ragioni etiche, legali o gestionali. Alcune giurisdizioni, ad esempio, non consentono alle donne di ricevere uno sconto sulla loro assicurazione, anche se le donne potrebbero essere guidatrici più sicure. Possiamo facilmente immaginare un sistema che, analizzando i dati storici, assegni un fattore di rischio inferiore ai nomi femminili. Ok, rimuoviamo i nomi dalla selezione. Ma ricorda l'esempio di Amazon: il sistema può determinare il genere in base ad altri fattori (anche se non sa quale sia il genere, o nemmeno cos'è un'auto), e non te ne accorgerai finché il regolatore non analizzerà retroattivamente le tariffe che ti vengono applicate. ti offrono e ti addebitano una multa.
Infine, spesso si dà per scontato che utilizzeremo tali sistemi solo per progetti che coinvolgono persone e interazioni sociali. Questo è sbagliato. Se produci turbine a gas, probabilmente vorrai applicare l'apprendimento automatico alla telemetria trasmessa da decine o centinaia di sensori sul tuo prodotto (audio, video, temperatura e qualsiasi altro sensore generano dati che possono essere facilmente adattati per creare una macchina modello di apprendimento). Ipoteticamente, potresti dire: “Ecco i dati di mille turbine che si sono guastate prima di fallire, ed ecco i dati di mille turbine che non si sono guastate. Costruisci un modello per capire qual è la differenza tra loro. Bene, ora immagina che i sensori Siemens siano installati sul 75% delle turbine difettose e solo sul 12% su quelle buone (non vi è alcuna connessione con i guasti). Il sistema costruirà un modello per trovare turbine con sensori Siemens. Ops!
Immagine: Moritz Hardt, UC Berkeley
Gestire i bias dell’IA
Cosa possiamo fare al riguardo? Puoi affrontare la questione da tre angolazioni:
- Rigore metodologico nella raccolta e gestione dei dati per l'addestramento del sistema.
- Strumenti tecnici per analizzare e diagnosticare il comportamento del modello.
- Formare, istruire e prestare attenzione quando si implementa l'apprendimento automatico nei prodotti.
C'è una barzelletta nel libro di Molière “Il borghese nella nobiltà”: a un uomo fu detto che la letteratura si divide in prosa e poesia, e lui fu felice di scoprire che aveva parlato in prosa per tutta la vita, senza saperlo. Probabilmente è così che si sentono oggi gli statistici: senza rendersene conto, hanno dedicato la loro carriera all’intelligenza artificiale e all’errore di campionamento. Cercare l’errore di campionamento e preoccuparsene non è un problema nuovo, dobbiamo solo affrontare sistematicamente la sua soluzione. Come accennato in precedenza, in alcuni casi è effettivamente più semplice farlo studiando i problemi relativi ai dati delle persone. Partiamo dal presupposto a priori che potremmo avere pregiudizi nei confronti di diversi gruppi di persone, ma è difficile per noi anche solo immaginare un pregiudizio sui sensori Siemens.
La novità di tutto ciò, ovviamente, è che le persone non eseguono più direttamente analisi statistiche. Viene eseguito da macchine che creano modelli grandi e complessi, difficili da comprendere. La questione della trasparenza è uno degli aspetti principali del problema dei pregiudizi. Temiamo che il sistema non sia solo parziale, ma che non ci sia modo di rilevarne i pregiudizi e che l’apprendimento automatico sia diverso da altre forme di automazione, che dovrebbero consistere in passaggi logici chiari che possono essere testati.
Ci sono due problemi qui. Potremmo ancora essere in grado di condurre una sorta di audit dei sistemi di apprendimento automatico. E controllare qualsiasi altro sistema in realtà non è più semplice.
In primo luogo, una delle direzioni della ricerca moderna nel campo dell'apprendimento automatico è la ricerca di metodi per identificare funzionalità importanti dei sistemi di apprendimento automatico. Detto questo, l’apprendimento automatico (allo stato attuale) è un campo scientifico completamente nuovo che sta cambiando rapidamente, quindi non pensare che cose che oggi sono impossibili non possano diventare presto del tutto reali. Progetto - un esempio interessante di questo.
In secondo luogo, l’idea di poter testare e comprendere il processo decisionale dei sistemi o delle organizzazioni esistenti è buona in teoria, ma così così nella pratica. Capire come vengono prese le decisioni in una grande organizzazione non è facile. Anche se esiste un processo decisionale formale, questo non riflette il modo in cui le persone interagiscono effettivamente, e loro stesse spesso non hanno un approccio logico e sistematico nel prendere le proprie decisioni. Come ha detto il mio collega , anche le persone sono scatole nere.
Prendiamo un migliaio di persone in diverse aziende e istituzioni sovrapposte e il problema diventa ancora più complesso. Sappiamo dopo che lo Space Shuttle era destinato a rompersi al ritorno, e le persone all'interno della NASA avevano informazioni che davano loro motivo di pensare che potesse accadere qualcosa di brutto, ma il sistema generalmente Non lo sapevo. La NASA ha appena effettuato un audit simile dopo aver perso il suo precedente shuttle, eppure ne ha perso un altro per un motivo molto simile. È facile sostenere che le organizzazioni e le persone seguono regole chiare e logiche che possono essere testate, comprese e modificate, ma l'esperienza dimostra il contrario. Questo "'.
Paragono spesso l'apprendimento automatico ai database, soprattutto relazionali: una nuova tecnologia fondamentale che ha cambiato le capacità dell'informatica e del mondo che la circonda, che è diventata parte di tutto, che usiamo costantemente senza rendercene conto. Anche i database hanno problemi, e sono di natura simile: il sistema può essere costruito su presupposti errati o dati errati, ma sarà difficile notarli e le persone che utilizzano il sistema faranno ciò che dice loro senza fare domande. Ci sono un sacco di vecchie barzellette sui fisco che una volta hanno scritto male il tuo nome, e convincerli a correggere l'errore è molto più difficile che cambiare effettivamente il tuo nome. Ci sono molti modi di pensare a questo, ma non è chiaro quale sia migliore: come un problema tecnico in SQL, o come un bug in una versione di Oracle, o come un fallimento delle istituzioni burocratiche? Quanto è difficile trovare un bug in un processo che ha portato il sistema a non avere una funzione di correzione degli errori di battitura? Sarebbe stato possibile capirlo prima che la gente iniziasse a lamentarsi?
Questo problema è illustrato ancora più semplicemente dalle storie in cui gli automobilisti guidano nei fiumi a causa di dati obsoleti nel navigatore. Ok, le mappe devono essere aggiornate costantemente. Ma quanto è colpa di TomTom se la tua auto è finita in mare?
Il motivo per cui dico questo è che sì, i pregiudizi legati all’apprendimento automatico creeranno problemi. Ma questi problemi saranno simili a quelli che abbiamo affrontato in passato, e potranno essere notati e risolti (o meno) così come abbiamo potuto fare in passato. Pertanto, è improbabile che si verifichi uno scenario in cui i bias dell’IA causino danni ai ricercatori senior che lavorano in una grande organizzazione. Molto probabilmente, qualche insignificante appaltatore di tecnologia o fornitore di software scriverà qualcosa in ginocchio, utilizzando componenti, librerie e strumenti open source che non comprende. E lo sfortunato cliente acquisterà la frase “intelligenza artificiale” nella descrizione del prodotto e, senza fare domande, la distribuirà ai suoi dipendenti a basso reddito, ordinando loro di fare ciò che dice l'IA. Questo è esattamente quello che è successo con i database. Questo non è un problema di intelligenza artificiale e nemmeno un problema di software. Questo è il fattore umano.
conclusione
L'apprendimento automatico può fare tutto ciò che puoi insegnare a un cane, ma non puoi mai essere sicuro di cosa gli hai insegnato esattamente.
Spesso ho la sensazione che il termine “intelligenza artificiale” sia solo un ostacolo in conversazioni come questa. Questo termine dà la falsa impressione che siamo stati noi a crearla: questa intelligenza. Che siamo sulla buona strada per HAL9000 o Skynet - qualcosa di vero capisce. Ma no. Queste sono solo macchine ed è molto più accurato paragonarle, ad esempio, a una lavatrice. Fa il bucato molto meglio di un essere umano, ma se le metti i piatti invece del bucato, lei... li laverà. I piatti diventeranno addirittura puliti. Ma non sarà quello che ti aspettavi, e questo non accadrà perché il sistema ha dei pregiudizi riguardo ai piatti. La lavatrice non sa cosa sono i piatti o cosa sono i vestiti: è solo un esempio di automazione, concettualmente non diverso da come prima venivano automatizzati i processi.
Che si parli di automobili, aeroplani o database, questi sistemi saranno allo stesso tempo molto potenti e molto limitati. Dipenderanno interamente da come le persone utilizzano questi sistemi, se le loro intenzioni sono buone o cattive e da quanto capiscono come funzionano.
Pertanto, dire che “l’intelligenza artificiale è matematica, quindi non può avere pregiudizi” è completamente falso. Ma è altrettanto falso affermare che l’apprendimento automatico sia “di natura soggettiva”. L’apprendimento automatico trova modelli nei dati e quali modelli trova dipende dai dati, e i dati dipendono da noi. Proprio come facciamo con loro. L’apprendimento automatico fa alcune cose molto meglio di noi, ma i cani, ad esempio, sono molto più efficaci degli esseri umani nell’individuare le droghe, il che non è un motivo per usarli come testimoni e dare giudizi basati sulla loro testimonianza. E i cani, tra l’altro, sono molto più intelligenti di qualsiasi sistema di apprendimento automatico.
Traduzione: .
La modifica: .
Comunità: .
Fonte: habr.com