tl;dr:
- Il machine learning cerca schemi nei dati. Tuttavia, l'intelligenza artificiale può essere "parziale" — cioè, può trovare schemi errati. Ad esempio, un sistema di rilevamento del cancro della pelle tramite fotografia potrebbe prestare particolare attenzione alle immagini scattate in uno studio medico. Il machine learning non è in grado di comprendere: i suoi algoritmi si limitano a identificare schemi nei numeri, e se i dati non sono rappresentativi, il risultato dell’elaborazione sarà altrettanto fuorviante. Rilevare tali errori può risultare difficile a causa della stessa meccanica del machine learning.
- L'area problematica più ovvia e spaventosa è la diversità umana. Ci sono molte ragioni per cui i dati sulle persone possono perdere obiettività già nella fase di raccolta. Ma non si deve pensare che questo problema riguardi solo le persone: difficoltà simili si verificano anche nel tentativo di rilevare un'alluvione in un magazzino o una turbina a gas guasta. Alcuni sistemi possono avere pregiudizi riguardo al colore della pelle, altri possono essere parziali nei confronti dei sensori Siemens.
- Tali problemi non sono nuovi per il machine learning e non sono caratteristici solo di esso. Vengono fatte supposizioni errate in qualsiasi struttura complessa, e capire perché è stata presa una certa decisione non è mai semplice. È necessario affrontare questa situazione in modo complesso: creare strumenti e processi per la verifica — e formare gli utenti affinché non seguano ciecamente le raccomandazioni dell'IA. Il machine learning fa davvero alcune cose molto meglio di noi: ad esempio, i cani sono notevolmente più efficaci degli esseri umani nel rilevare droghe, il che non giustifica affatto il loro coinvolgimento come testimoni e l'emissione di verdetti sulla base delle loro testimonianze. E a proposito, i cani sono molto più intelligenti di qualsiasi sistema di machine learning.
Oggi, il machine learning è una delle tendenze tecnologiche fondamentali più importanti. È uno dei principali modi in cui la tecnologia cambierà il mondo nei prossimi dieci anni. Alcuni aspetti di questi cambiamenti sono fonte di preoccupazione. Ad esempio, il potenziale impatto del machine learning sul mercato del lavoro, o il suo uso per scopi non etici (per esempio, da parte di regimi autoritari). C'è un altro problema, che è il tema di questo post: il pregiudizio nell'intelligenza artificiale.
È una storia complessa.
L'IA di Google può trovare gattini. Questa notizia del 2012 era qualcosa di speciale.
Cos'è il «pregiudizio dell'IA»?
I «dati grezzi» sono sia un ossimoro che un'idea sbagliata; i dati devono essere ben preparati e con attenzione. —Jeffrey Baker
Fino al 2013, per creare un sistema che, ad esempio, riconosce i gatti nelle foto, dovevi descrivere i passi logici. Come trovare gli angoli nell'immagine, riconoscere gli occhi, analizzare le texture per evidenziare il pelo, contare le zampe, e così via. Poi raccogliere tutti i componenti - e scoprire che non funzionava affatto. Più o meno come un cavallo meccanico: teoricamente è possibile farlo, ma nella pratica è troppo complesso da descrivere. Alla fine avevi centinaia (o anche migliaia) di regole scritte a mano. E nessun modello funzionante.
Con l'arrivo del machine learning abbiamo smesso di utilizzare regole «manuali» per il riconoscimento di vari oggetti. Invece, prendiamo mille campioni di «quello», X, mille campioni di «altro», Y, e costruiamo un modello sulla base della loro analisi statistica. Poi diamo a questo modello un esempio di dati, e lui determina con una certa precisione se si adatta a uno dei set. Il machine learning genera un modello basato sui dati, non tramite una persona che lo scrive. I risultati sono impressionanti, specialmente nel riconoscimento delle immagini e dei pattern, ed è per questo che l'intera industria tecnologica sta attualmente passando al machine learning (ML).
Ma non è tutto così semplice. Nel mondo reale, i tuoi mille esempi di X o Y contengono anche A, B, J, L, O, R e persino L. Possono essere distribuiti in modo irregolare, e alcuni di essi potrebbero apparire così frequentemente che il sistema darà loro più attenzione rispetto agli oggetti che ti interessano.
Cosa significa questo nella pratica? Il mio esempio preferito è quando i sistemi di riconoscimento delle immagini . Si capisce il motivo: la maggior parte delle foto campione di «pecore» è scattata nei prati dove vivono, e in queste immagini l'erba occupa molto più spazio rispetto ai piccoli batuffoli bianchi e peli, e proprio l'erba è considerata la cosa più importante dai sistemi.
Ci sono anche esempi più seri. Uno recente è uno per la rilevazione del cancro della pelle nelle fotografie. Si è scoperto che i dermatologi fotografano spesso righelli insieme alle manifestazioni del cancro della pelle, per fissare la dimensione delle lesioni. Negli esempi di fotografie di pelle sana non ci sono righelli. Per il sistema di intelligenza artificiale, tali righelli (piuttosto, i pixel che noi definiamo come «righello») sono diventati una delle differenze tra i set di esempi, e a volte più importanti di una piccola eruzione cutanea. Così, il sistema creato per riconoscere il cancro della pelle a volte riconosceva righelli invece di tumori.
Il punto chiave qui è che il sistema non ha una comprensione semantica di ciò che sta osservando. Noi guardiamo una serie di pixel e vediamo in essi una pecora, della pelle o righelli, mentre il sistema vede solo una stringa numerica. Non vede lo spazio tridimensionale, né oggetti, né texture, né pecore. Vede solo schemi nei dati.
La difficoltà nella diagnosi di tali problemi sta nel fatto che una rete neurale (il modello generato dal tuo sistema di apprendimento automatico) è composta da migliaia, centinaia di migliaia di nodi. Non esiste un modo semplice per guardare nel modello e vedere come prende decisioni. Avere un modo di farlo significherebbe che il processo è abbastanza semplice da descrivere tutte le regole manualmente, senza utilizzare l'apprendimento automatico. Le persone sono preoccupate che l'apprendimento automatico sia diventato una sorta di 'scatola nera'. (Spiegherò più avanti perché questo confronto è comunque un eccesso.)
Questa, in parole generali, è la questione del pregiudizio dell'intelligenza artificiale o dell'apprendimento automatico: un sistema per trovare schemi nei dati può trovare schemi sbagliati e tu potresti non accorgertene. Questa è una caratteristica fondamentale della tecnologia, ed è evidente a chi lavora con essa nei circoli scientifici e nelle grandi aziende tecnologiche. Ma le sue conseguenze sono complesse, e anche le nostre possibili soluzioni a queste conseguenze lo sono.
Iniziamo a parlare delle conseguenze.
L'intelligenza artificiale può implicitamente fare delle scelte per noi a favore di determinate categorie di persone, basandosi su un gran numero di segnali impercettibili.
Scenari di pregiudizio dell'IA
La cosa più ovvia e inquietante è che questo problema può manifestarsi quando si parla di diversità umana. Recentemente , che Amazon ha cercato di costruire un sistema di apprendimento automatico per lo screening iniziale dei candidati al lavoro. Poiché ci sono più uomini tra i dipendenti di Amazon, anche gli esempi di "assunzioni di successo" erano per lo più di sesso maschile, e nella selezione dei curriculum proposta dal sistema c'erano più uomini. Amazon ha notato ciò e ha deciso di non lanciare il sistema in produzione.
La cosa più importante in questo esempio è che, secondo voci, il sistema dava preferenza ai candidati maschili, anche se il genere non era indicato nel curriculum. Il sistema notava altri schemi negli esempi di "assunzioni di successo": ad esempio, le donne possono utilizzare parole particolari per descrivere i risultati o avere hobby specifici. Certo, il sistema non sapeva cosa fosse "hockey", né chi fossero "le persone", né cosa si intendesse per "successo", — faceva semplicemente un'analisi statistica del testo. Ma i modelli che osservava sarebbero probabilmente rimasti non notati da un essere umano, e alcuni di essi (ad esempio, che persone di sesso diverso descrivono il successo in modo differente) probabilmente ci sarebbe difficile vederli anche solo osservandoli.
E le cose peggiorano. Un sistema di apprendimento automatico, che trova molto bene il cancro sulla pelle chiara, potrebbe funzionare peggio su quella scura, o viceversa. Non necessariamente per pregiudizio, ma perché probabilmente è necessario costruire un modello separato per colori di pelle differenti, selezionando altre caratteristiche. I sistemi di apprendimento automatico non sono intercambiabili neanche in un campo così ristretto come il riconoscimento delle immagini. È necessario configurare il sistema, a volte semplicemente attraverso prove ed errori, per catturare bene le caratteristiche nei dati di interesse, fino a raggiungere la precisione desiderata. Ma si potrebbe non accorgere che il sistema è preciso nel 98% dei casi con un gruppo e solo nel 91% (anche se è più preciso dell'analisi condotta da un umano) con un altro.
Finora ho utilizzato principalmente esempi riguardanti persone e le loro caratteristiche. Questa è principalmente la tematica al centro della discussione attorno a questo problema. Ma è importante capire che il pregiudizio nei confronti delle persone è solo una parte del problema. Utilizzeremo l'apprendimento automatico per molte cose, e l'errore di campionamento sarà rilevante per tutte. D'altra parte, se si lavora con le persone, il pregiudizio dei dati potrebbe non essere legato a loro.
Per comprendere questo, torniamo all'esempio del cancro della pelle e consideriamo tre ipotetiche possibilità di fallimento del sistema.
- Distribuzione non omogenea delle persone: un numero sbilanciato di foto di pelle di diversi toni, che porta a risultati falsi positivi o falsi negativi legati alla pigmentazione.
- I dati su cui si allena il sistema contengono una caratteristica frequentemente presente e distribuita in modo non omogeneo, non correlata alle persone e priva di valore diagnostico: una righello nelle foto delle manifestazioni del cancro della pelle o l'erba nelle foto delle pecore. In questo caso, il risultato varierà se nell'immagine il sistema trova pixel di qualcosa che l'occhio umano definirà come "righello".
- I dati contengono una caratteristica esterna che una persona non può vedere, anche se la sta cercando.
Cosa significa questo? Sappiamo a priori che i dati possono rappresentare in modo diverso le diverse gruppi di persone e, almeno, possiamo pianificare la ricerca di tali eccezioni. In altre parole, ci sono molte ragioni sociali per supporre che i dati sui gruppi di persone contengano già qualche pregiudizio. Se guardiamo una foto con il righello, vedremo quel righello: lo abbiamo semplicemente ignorato prima, sapendo che non ha importanza, e dimenticando che il sistema non sa nulla.
Ma cosa succede se tutte le tue foto di pelle non sana sono state scattate in un ufficio dove si utilizzano lampade a incandescenza, mentre quelle di pelle sana sono state scattate sotto luce fluorescente? Cosa succede se, una volta finite le riprese della pelle sana, prima di scattare quelle della pelle non sana hai aggiornato il sistema operativo del tuo telefono e Apple o Google ha leggermente modificato l'algoritmo di riduzione del rumore? Una persona non lo noterà, non importa quanto cerchi tali caratteristiche. Ma il sistema di utilizzo dei dati delle macchine lo vedrà e lo utilizzerà immediatamente. Non sa nulla.
Mentre parlavamo di correlazioni false, può anche accadere che i dati siano corretti e i risultati siano giusti, ma non si voglia usarli per motivi etici, legali o gestionali. In alcune giurisdizioni, ad esempio, non è consentito offrire sconti assicurativi alle donne, nonostante il fatto che possano guidare in modo più sicuro. Possiamo facilmente immaginare un sistema che, analizzando i dati storici, assegnerebbe coefficienti di rischio inferiori ai nomi femminili. Bene, eliminiamo i nomi dal campione. Ma ricordate l'esempio di Amazon: il sistema può determinare il genere in base ad altri fattori (anche se non sa cosa sia il genere, né cosa sia un’auto), e non ve ne accorgerete finché il regolatore non analizzerà retroattivamente le tariffe che proponete e non vi comminerà una multa.
Infine, si presume spesso che utilizzeremo tali sistemi solo per progetti legati alle persone e alle interazioni sociali. Non è così. Se state producendo turbine a gas, vorrete sicuramente applicare l'apprendimento automatico ai dati di telemetria trasmessi da decine o centinaia di sensori nel vostro prodotto (sensori audio, video, di temperatura e altri generano dati che possono essere facilmente adattati per creare un modello di apprendimento automatico). Ipoteticamente, potete dire: "Ecco i dati di mille turbine guaste, raccolti prima del loro guasto, e qui ci sono i dati di mille turbine che non si sono guastate. Costruite un modello per dire qual è la differenza tra di loro". E ora immaginate che i sensori Siemens siano installati sul 75% delle turbine difettose e solo sul 12% di quelle funzionanti (non c'è alcuna connessione con i guasti). Il sistema costruirà un modello per trovare turbine con sensori Siemens. Ops!
Immagine — Moritz Hardt, UC Berkeley
Gestione del pregiudizio dell'IA
Cosa possiamo fare al riguardo? Possiamo affrontare la questione da tre punti di vista:
- Rigor rigoroso nella raccolta e nella gestione dei dati per l'addestramento del sistema.
- Strumenti tecnici per l'analisi e la diagnosi del comportamento del modello.
- Formazione, educazione e cautela nell'implementazione dell'apprendimento automatico nei prodotti.
Nel libro «Il borghese gentiluomo» di Molière c'è una battuta: a un uomo viene detto che la letteratura si divide in prosa e poesia, e lui con ammirazione si accorge che per tutta la vita ha parlato in prosa, senza saperlo. Probabilmente, gli statistici si sentono in questo modo oggi: senza nemmeno accorgersene, hanno dedicato le loro carriere all'intelligenza artificiale e all'errore di campionamento. Cercare l'errore di campionamento e preoccuparsi per questo non è un problema nuovo, dobbiamo solo affrontarlo sistematicamente. Come accennato sopra, in alcuni casi è realmente più facile farlo, studiando i problemi legati ai dati delle persone. Presumiamo a priori che possiamo avere pregiudizi riguardo a diversi gruppi di persone, ma è difficile anche solo immaginare un pregiudizio riguardante i sensori Siemens.
La novità in tutto questo, ovviamente, è che le persone non si occupano più di analisi statistica direttamente. Questa viene condotta dalle macchine, che creano grandi modelli complessi, difficili da comprendere. La questione della trasparenza è uno degli aspetti principali del problema del pregiudizio. Ci spaventa pensare che il sistema non sia solo parziale, ma che non ci sia alcun modo di rilevare il suo pregiudizio e che l'apprendimento automatico si distingue da altre forme di automazione, che si suppone siano composte da passaggi logici chiari, verificabili.
Qui ci sono due problemi. Potremmo comunque condurre un certo audit dei sistemi di apprendimento automatico. E l'audit di qualsiasi altro sistema, in realtà, non è di per sé facile.
Innanzitutto, una delle direzioni delle ricerche moderne nel campo dell'apprendimento automatico è la ricerca di metodi per identificare le funzionalità importanti dei sistemi di apprendimento automatico. Inoltre, l'apprendimento automatico (nella sua attuale condizione) è un campo della scienza completamente nuovo, che sta cambiando rapidamente, quindi non dobbiamo pensare che ciò che oggi è impossibile non possa presto diventare realtà. Il progetto è un esempio interessante di ciò.
In secondo luogo, l'idea che si possa verificare e comprendere il processo decisionale nelle attuali sistemi o organizzazioni è buona in teoria, ma non nella pratica. Capire come si prendono decisioni in una grande organizzazione non è affatto semplice. Anche se esiste un processo decisionale formale, non riflette come le persone interagiscono realmente, e spesso nemmeno loro hanno un approccio logico sistemico per prendere le proprie decisioni. Come ha detto il mio collega , le persone sono anche scatole nere.
Prendete mille persone in diverse aziende e istituti intersecati, e il problema diventa ancora più complesso. Sappiamo a posteriori che lo Shuttle spaziale era destinato a distruggersi durante il rientro, e singole persone all'interno della NASA avevano informazioni che le portavano a credere che potesse accadere qualcosa di brutto, ma il sistema nel suo complesso non lo sapeva. La NASA aveva appena completato un'analisi simile, perdendo lo shuttle precedente, eppure ha perso un altro shuttle — per una ragione molto simile. È facile affermare che le organizzazioni e le persone seguono regole logiche chiare che possono essere verificate, comprese e modificate — ma l'esperienza dimostra il contrario. Questo è il».
Spesso confronto il machine learning con i database, in particolare con quelli relazionali — una nuova tecnologia fondamentale che ha cambiato le capacità dell'informatica e il mondo attorno ad essa, diventando parte di tutto, che utilizziamo costantemente senza rendercene conto. Anche le basi di dati hanno problemi, e sono di natura simile: il sistema può essere costruito su presupposti errati o su dati scadenti, ma sarà difficile accorgersene, e le persone che utilizzano il sistema faranno ciò che esso dice loro, senza farsi domande. Ci sono molte vecchie barzellette sui lavoratori delle imposte che un tempo hanno registrato male il tuo nome, e convincerli a correggere l'errore è molto più difficile che cambiare effettivamente il nome. Questo può essere visto in modi diversi, ma non è chiaro quale sia il migliore: come un problema tecnico in SQL, o come un errore nel rilascio di Oracle, o come un fallimento degli istituti burocratici? Quanto è difficile trovare l'errore in un processo che ha portato al fatto che il sistema non ha una funzionalità come la correzione degli errori di battitura? Era possibile capirlo prima che le persone iniziassero a lamentarsi?
Questa problematica è resa ancora più chiara da storie in cui i conducenti a causa di dati obsoleti nel navigatore finiscono nei fiumi. Ok, le mappe devono essere costantemente aggiornate. Ma quanto è colpevole TomTom se la tua auto viene portata via in mare?
Dico questo perché sì, i pregiudizi del machine learning creeranno problemi. Ma questi problemi saranno simili a quelli che abbiamo affrontato in passato, e sarà possibile notarli e risolverli (o meno) all'incirca con la stessa facilità con cui lo abbiamo fatto in passato. Pertanto, è poco probabile che si verifichi uno scenario in cui il pregiudizio dell'IA causi danni con ricercatori prominenti che lavorano in grandi organizzazioni. È molto più probabile che un qualche insignificante appaltatore tecnologico o fornitore di software scriva qualcosa alla buona, utilizzando componenti open-source, librerie e strumenti che non comprende. E un cliente poco avveduto si lascerà ingannare dalla frase 'intelligenza artificiale' nella descrizione del prodotto e, senza farsi troppe domande, lo fornirà ai suoi dipendenti malpagati, costringendoli a fare ciò che dice l'IA. Questo è esattamente ciò che è successo con le basi di dati. Non è un problema dell'intelligenza artificiale, e nemmeno un problema del software. È un fattore umano.
Conclusione
Il machine learning può fare tutto ciò che puoi insegnare a un cane, ma non puoi mai essere sicuro di cosa esattamente tu abbia insegnato a quel cane.
Spesso mi sembra che il termine «intelligenza artificiale» ostacoli le conversazioni come questa. Questo termine crea l'illusione che in realtà lo abbiamo creato — questa intelligenza. Che siamo sulla strada per HAL9000 o Skynet — verso qualcosa che in realtà capisce. Ma non è così. Sono semplicemente macchine, e sarebbe più corretto paragonarle, ad esempio, a una lavatrice. Essa gestisce il lavaggio molto meglio di un umano, ma se ci metti dentro piatti invece di biancheria, loro… verranno lavati. I piatti diventeranno persino puliti. Ma non sarà ciò che ti aspettavi, e non succederà perché il sistema ha qualche pregiudizio sui piatti. La lavatrice non sa cosa siano i piatti né cosa sia la biancheria — è solo un esempio di automazione, concettualmente non diverso da come i processi venivano automatizzati in passato.
Qualunque sia l'argomento — macchine, aerei o database — questi sistemi saranno contemporaneamente molto potenti e molto limitati. Dipenderanno completamente da come le persone utilizzano questi sistemi, dalle loro buone o cattive intenzioni e da quanto comprendono il loro funzionamento.
Pertanto, affermare che «l'intelligenza artificiale è matematica, quindi non può avere pregiudizi» è del tutto errato. Ma è altrettanto errato affermare che l'apprendimento automatico è «soggettivo per natura». L'apprendimento automatico trova schemi nei dati, e quali schemi troverà dipende dai dati, che dipendono da noi. Così come ciò che facciamo con essi. L'apprendimento automatico fa davvero alcune cose molto meglio di noi — ma i cani, ad esempio, sono molto più efficaci degli esseri umani nel rilevare droghe, il che non è certo un motivo per coinvolgerli come testimoni e pronunciare verdetti basati sulle loro testimonianze. E i cani, a proposito, sono molto più intelligenti di qualsiasi sistema di apprendimento automatico.
Traduzione: .
Editing: .
Comunità: .
Fonte: habr.com
