tl;dr:
- Il machine learning cerca schemi nei dati. Tuttavia, l'intelligenza artificiale può essere "parziale" — cioè, identificare schemi errati. Ad esempio, un sistema di rilevamento del cancro della pelle da una foto potrebbe prestare particolare attenzione alle immagini scattate in uno studio medico. Il machine learning non sa capire: i suoi algoritmi rilevano solo schemi nei numeri e, se i dati non sono rappresentativi, anche il risultato dell'elaborazione lo sarà. Identificare tali errori può essere difficile a causa della stessa meccanica del machine learning.
- L'area problematica più ovvia e preoccupante riguarda la diversità umana. Ci sono molte ragioni per cui i dati sulle persone possono perdere obiettività già nella fase di raccolta. Ma non bisognerebbe pensare che questo problema riguardi solo le persone: complicazioni simili si presentano nel tentativo di rilevare un allagamento in un magazzino o una turbina a gas guasta. Alcuni sistemi possono avere pregiudizi riguardo al colore della pelle, mentre altri possono essere parziali nei confronti dei sensori Siemens.
- Problemi come questi non sono nuovi per il machine learning e non sono esclusivi di questa tecnologia. Assunzioni errate possono verificarsi in qualsiasi sistema complesso, e capire perché è stata presa una certa decisione non è mai semplice. È fondamentale affrontare la questione in modo olistico: creare strumenti e processi di verifica e formare gli utenti affinché non seguano ciecamente le raccomandazioni dell'IA. Il machine learning può veramente superare le nostre capacità in alcune aree, ma i cani, ad esempio, sono molto più efficaci degli esseri umani nel rilevamento delle droghe, il che non giustifica il loro uso come testimoni né il fatto di emettere sentenze basate sulle loro dichiarazioni. E per inciso, i cani sono decisamente più intelligenti di qualsiasi sistema di machine learning.
Oggi, il machine learning è uno dei trend tecnologici fondamentali più importanti. Rappresenta uno dei principali modi in cui la tecnologia cambierà il mondo nei prossimi dieci anni. Alcuni aspetti di questi cambiamenti sollevano preoccupazioni. Ad esempio, l'impatto potenziale del machine learning sul mercato del lavoro o il suo utilizzo per scopi non etici (ad esempio, da regimi autoritari). C'è anche un'altra questione alla quale è dedicato questo post: pregiudizio dell'intelligenza artificiale.
Non è una storia semplice.
L'IA di Google sa trovare gattini. Questa notizia del 2012 era allora qualcosa di speciale.
Che cos'è il "pregiudizio dell'IA"?
"Dati grezzi" è sia un ossimoro che un'idea sbagliata; i dati devono essere preparati in modo adeguato e attento. —Jeffrey Boker
Fino al 2013, per creare un sistema in grado di riconoscere i gatti nelle foto, era necessario descrivere i passaggi logici. Identificare gli angoli nell'immagine, riconoscere gli occhi, analizzare le texture per rilevare il pelo, contare le zampe e così via. Poi assemblare tutti i componenti - e scoprire che tutto ciò non funzionava a dovere. Era un po' come una cavallo meccanico: teoricamente possibile, ma nella pratica troppo complesso da descrivere. Alla fine, si finiva con centinaia (o addirittura migliaia) di regole scritte a mano e nessun modello funzionante.
Con l'avvento del machine learning, abbiamo smesso di utilizzare regole "manuali" per il riconoscimento di un determinato oggetto. Invece, prendiamo mille campioni di "quello", X, mille campioni di "qualcun altro", Y, e facciamo costruire al computer un modello basato sulla loro analisi statistica. Successivamente, forniamo a questo modello un esempio di dati, e con una certa precisione determina se questo corrisponde a uno dei set. Il machine learning genera un modello basato sui dati, non grazie a una persona che lo scrive. I risultati sono impressionanti, specialmente nel campo del riconoscimento delle immagini e dei modelli, ed è per questo che l'intera industria tecnologica sta ora passando al machine learning (ML).
Ma non è tutto così semplice. Nel mondo reale, i vostri migliaia di esempi X o Y possono contenere anche A, B, J, L, O, R e persino L. Potrebbero essere distribuiti in modo irregolare, e alcuni di essi potrebbero presentarsi così frequentemente che il sistema li noterà di più rispetto agli oggetti che vi interessano.
Cosa significa questo nella pratica? Il mio esempio preferito è quando i sistemi di riconoscimento delle immagini . È comprensibile: gran parte delle fotografie di esempio delle "pecore" è stata scattata nei pascoli dove vivono, e in queste immagini l'erba occupa molto più spazio rispetto ai piccoli e soffici animali bianchi. È proprio l'erba che il sistema considera la parte più importante.
Ci sono esempi più seri. Recentemente, uno sulla rilevazione del cancro della pelle attraverso le fotografie. È emerso che i dermatologi spesso fotografano un righello insieme alle manifestazioni del cancro della pelle per registrare le dimensioni delle lesioni. Nelle fotografie di pelle sana non ci sono righelli. Per il sistema di intelligenza artificiale, questi righelli (cioè, i pixel che noi definiamo come "righello") sono diventati una delle distinzioni tra i set di esempi, a volte più importanti di una piccola eruzione cutanea. Così, un sistema progettato per riconoscere il cancro della pelle talvolta identificava righelli invece delle lesioni.
Il punto chiave qui è che il sistema non ha comprensione semantica di ciò su cui sta guardando. Noi guardiamo un insieme di pixel e vediamo una pecora, della pelle o dei righelli, mentre il sistema vede solo una stringa numerica. Non percepisce lo spazio tridimensionale, non vede né oggetti né texture né pecore. Vede semplicemente schemi nei dati.
La complessità della diagnosi di tali problemi risiede nel fatto che la rete neurale (il modello generato dal tuo sistema di apprendimento automatico) è composta da migliaia e centinaia di migliaia di nodi. Non esiste un modo semplice per osservare il modello e vedere come prende decisioni. Avere un tale metodo significherebbe che il processo è abbastanza semplice da poter descrivere tutte le regole manualmente, senza ricorrere all'apprendimento automatico. Le persone sono preoccupate che l'apprendimento automatico sia diventato una sorta di «scatola nera». (Spiegherò più avanti perché questa analogia è comunque esagerata.)
Questa, in parole generali, è la problematica del pregiudizio nell'intelligenza artificiale o nell'apprendimento automatico: un sistema può trovare schemi errati nei dati e potresti non accorgertene. Questa è una caratteristica fondamentale della tecnologia, ed è evidente a tutti coloro che lavorano in ambito scientifico e in grandi aziende tecnologiche. Ma le sue conseguenze sono complesse, e anche le possibili soluzioni a queste conseguenze lo sono.
Iniziamo a parlare delle conseguenze.
L'IA potrebbe implicitamente fare una scelta a nostro favore per determinate categorie di persone, basandosi su un gran numero di segnali impercettibili.
Scenari di pregiudizio dell'IA
Il problema più evidente e inquietante è che questa problematica può manifestarsi quando si parla di diversità umana. Recentemente , che Amazon ha tentato di costruire un sistema di apprendimento automatico per il primo screening dei candidati. Poiché la maggior parte dei dipendenti Amazon sono uomini, gli esempi di "assunzioni riuscite" erano maggiormente di sesso maschile, e il campione di curriculum proposto dal sistema conteneva più uomini. Amazon se n'era accorta e non ha rilasciato il sistema in produzione.
La cosa più importante in questo esempio è che, secondo le voci, il sistema dava preferenza ai candidati di sesso maschile, nonostante il sesso non fosse specificato nel curriculum. Il sistema scopriva altri schemi negli esempi di "assunzioni riuscite": ad esempio, le donne potrebbero utilizzare parole specifiche per descrivere i propri risultati o avere hobby particolari. Naturalmente, il sistema non sapeva cosa fosse "hockey", né chi fossero le "persone", né cosa fosse il "successo", ma si limitava a condurre un'analisi statistica del testo. Tuttavia, i modelli che ha osservato sarebbero probabilmente passati inosservati a un essere umano, e alcuni di essi (ad esempio, il fatto che le persone di sesso diverso descrivono il successo in modi differenti) sarebbe probabilmente difficile da rilevare anche considerando attentamente i dati.
Inoltre, la situazione può peggiorare. Un sistema di apprendimento automatico che rileva bene il cancro su pelle chiara potrebbe non funzionare altrettanto bene su pelle scura, o viceversa. Non necessariamente a causa di pregiudizi, ma perché è probabile che siano necessarie modelli separati per colori di pelle diversi, con caratteristiche scelte diversamente. I sistemi di apprendimento automatico non sono intercambiabili, anche in un campo ristretto come il riconoscimento delle immagini. È necessario ottimizzare il sistema, a volte semplicemente attraverso tentativi ed errori, per acquisire una buona comprensione delle caratteristiche nei dati di interesse fino a raggiungere la precisione desiderata. Tuttavia, potresti non notare che il sistema è preciso nel 98% dei casi per un gruppo e solo nel 91% (anche se è più preciso dell'analisi condotta da un essere umano) per un altro.
Finora ho principalmente utilizzato esempi riguardanti le persone e le loro caratteristiche. Questa è in gran parte la focalizzazione della discussione su questo problema. Ma è importante capire che il pregiudizio nei confronti delle persone è solo una parte del problema. Utilizzeremo il machine learning per molte cose, e l'errore di campionamento sarà rilevante per tutte queste applicazioni. D'altra parte, se si lavora con le persone, il pregiudizio nei dati potrebbe non essere legato a loro.
Per comprendere meglio, torniamo all'esempio sul melanoma e consideriamo tre possibili ipotetiche rotture del sistema.
- Distribuzione eterogenea delle persone: numero sbilanciato di fotografie di pelli di diversi toni, il che porta a risultati falso positivi o falso negativi legati alla pigmentazione.
- I dati su cui si allena il sistema contengono caratteristiche frequentemente riscontrabili e distribuite in modo eterogeneo, non collegate alle persone e prive di valore diagnostico: un righello nelle fotografie di manifestazioni del cancro della pelle o l'erba nelle immagini di pecore. In questo caso, il risultato varierà se l'immagine presenta pixel che il occhio umano riconosce come "righello".
- I dati contengono caratteristiche esterne che l'uomo non può vedere, anche se le cerca.
Cosa significa questo? Sappiamo a priori che i dati possono rappresentare diversamente i vari gruppi di persone e possiamo perlomeno pianificare la ricerca di tali eccezioni. In altre parole, esistono molte ragioni sociali per supporre che i dati sui gruppi di persone contengano già qualche tipo di pregiudizio. Se osserviamo una foto con un righello, vedremo quel righello: semplicemente lo abbiamo ignorato in precedenza, sapendo che non era rilevante, dimenticando che al sistema non è noto nulla.
Ma cosa succede se tutte le tue foto di pelle non sana sono state scattate in un ufficio con lampade a incandescenza, mentre quelle di pelle sana lo sono state con luce fluorescente? E se, dopo aver finito di scattare quelle di pelle sana, prima di iniziare a scattare quelle di pelle non sana, hai aggiornato il sistema operativo sul tuo telefono e Apple o Google hanno apportato qualche modifica all'algoritmo di riduzione del rumore? Una persona potrebbe non notare queste differenze, per quanto si impegni a cercarle. Ma la macchina, invece, le percepirà immediatamente e le utilizzerà. Essa non ne sa nulla.
Mentre parlavamo di false correlazioni, può anche succedere che i dati siano accurati e i risultati giusti, ma per motivi etici, legali o gestionali, non volete utilizzarli. In alcune giurisdizioni, ad esempio, non è possibile offrire sconti sull'assicurazione alle donne, nonostante il fatto che le donne potrebbero guidare in modo più sicuro. Possiamo facilmente immaginare un sistema che, analizzando i dati storici, assegna un coefficiente di rischio inferiore ai nomi femminili. Ok, eliminiamo i nomi dal campione. Ma ricordate l'esempio di Amazon: il sistema può determinare il sesso tramite altri fattori (anche se non sa cosa sia il sesso, né cosa sia un'auto), e non ve ne accorgerete finché il regolatore non esaminerà retrospettivamente le tariffe che proponete e non vi infliggerà una multa.
Spesso si presume che utilizzeremo questi sistemi solo per progetti legati alle persone e alle interazioni sociali. Non è così. Se state lavorando con turbine a gas, vorrà dire che vorrete applicare l'apprendimento automatico ai dati di telemetria trasmessi da decine o centinaia di sensori sul vostro prodotto (sensori audio, video, di temperatura e altri generano dati che possono essere facilmente adattati per creare un modello di apprendimento automatico). Ipoteticamente, potreste dire: "Ecco i dati di mille turbine guaste, raccolti prima del loro guasto, e qui ci sono i dati di mille turbine che non si sono rotte. Costruite un modello per capire quali sono le differenze tra di esse". Ora immaginate che i sensori Siemens siano installati sul 75% delle turbine difettose e solo sul 12% di quelle funzionanti (senza una connessione ai guasti). Il sistema costruirà un modello per identificare le turbine con sensori Siemens. Ops!
Immagine — Moritz Hardt, UC Berkeley
Gestione del bias nell'IA
Cosa possiamo fare al riguardo? Possiamo affrontare la questione da tre punti di vista:
- Rigore metodologico nella raccolta e nella gestione dei dati per l'addestramento del sistema.
- Strumenti tecnici per l'analisi e la diagnosi del comportamento del modello.
- Formazione, educazione e cautela nell'implementazione del machine learning nei prodotti.
Nel libro «Il burguese gentiluomo» di Molière c'è una battuta: un uomo scopre con stupore che la letteratura si divide in prosa e poesia, e con entusiasmo realizza di aver parlato in prosa per tutta la vita, senza saperlo. Probabilmente è così che si sentono oggi gli statistici: dedicando le loro carriere all'intelligenza artificiale e all'errore di campionamento senza nemmeno accorgersene. Cercare l'errore di campionamento e preoccuparsi per esso non è un problema nuovo; dobbiamo semplicemente affrontarlo in modo sistematico. Come menzionato sopra, in alcuni casi è davvero più semplice studiare le problematiche relative ai dati sulle persone. Presupponiamo a priori che possiamo avere pregiudizi riguardo diversi gruppi di persone, ma è difficile persino immaginare un pregiudizio nei confronti dei sensori Siemens.
Una novità in tutto ciò è che le persone non si dedicano più direttamente all'analisi statistica. Essa è condotta da macchine che creano modelli complessi, difficili da comprendere. La questione della trasparenza è uno degli aspetti principali del problema del bias. Ci spaventa il fatto che il sistema non sia solo parziale, ma che non ci sia alcun modo per rilevare il suo bias, e che il machine learning si differenzi da altre forme di automazione che, si presume, siano composte da passaggi logici chiari, verificabili.
Qui ci sono due problemi. Forse possiamo comunque eseguire una certa auditabilità dei sistemi di machine learning. E l'audit di qualsiasi altro sistema, in realtà, non è affatto più semplice.
In primo luogo, una delle direzioni della ricerca moderna nel campo del machine learning è la ricerca di metodi per identificare le funzionalità importanti dei sistemi di machine learning. D'altra parte, il machine learning (nella sua attuale condizione) è un campo scientifico completamente nuovo che sta cambiando rapidamente, quindi non bisogna pensare che ciò che oggi è impossibile non possa presto diventare perfettamente reale. Progetto — un esempio interessante di questo.
In secondo luogo, l'idea che si possano esaminare e comprendere i processi decisionali all'interno di sistemi o organizzazioni esistenti è buona in teoria, ma non funziona altrettanto bene nella pratica. Comprendere come si prendono decisioni in una grande organizzazione è tutt'altro che semplice. Anche se esiste un processo decisionale formale, questo non riflette come le persone interagiscono realmente, e spesso nemmeno loro hanno un approccio logico e sistematico alle loro decisioni. Come ha detto il mio collega , le persone sono anche scatole nere.
Prendete mille persone in diverse aziende e istituti intersecati, e il problema diventa ancora più complesso. Sappiamo retrospettivamente che allo "Space Shuttle" era destino disintegrarsi durante il rientro, e che vari individui all'interno della NASA avevano informazioni che li portavano a pensare che potesse verificarsi qualcosa di grave, ma il sistema nel suo complesso non lo sapevo. Anche la NASA ha appena completato un audit simile, dopo aver perso il precedente shuttle, eppure ha perso un altro — per una ragione molto simile. È facile affermare che le organizzazioni e le persone seguono regole logiche chiare, che possono essere verificate, comprese e cambiate — ma l'esperienza dimostra il contrario. Questo «».
Spesso confronto il machine learning con i database, in particolare con quelli relazionali — una nuova tecnologia fondamentale che ha cambiato le capacità dell'informatica e il mondo intorno ad essa, che è diventata parte integrante di tutto ciò che usiamo continuamente, senza nemmeno rendercene conto. Anche i database hanno dei problemi di natura simile: un sistema può essere costruito su presupposti errati o su dati scadenti, ma questo è difficile da notare, e le persone che usano il sistema faranno ciò che il sistema dice, senza porsi domande. Ci sono molte barzellette vecchie sui funzionari fiscali che hanno scritto erroneamente il tuo nome e convincerli a correggere l'errore è molto più difficile che cambiare il nome in realtà. Puoi pensarci in modo diverso, ma non è chiaro quale sia il meglio: come un problema tecnico in SQL, come un errore in una release di Oracle o come un fallimento degli istituti burocratici? Quanto è difficile trovare un errore in un processo che ha portato al fatto che il sistema non ha una funzione come la correzione degli errori di battitura? Si poteva capire questo prima che le persone cominciassero a lamentarsi?
Questa problematica è ulteriormente illustrata da storie in cui i conducenti, a causa di dati obsoleti nel navigatore, finiscono nei fiumi. Va bene, le mappe devono essere costantemente aggiornate. Ma quanto è colpevole TomTom se la tua macchina viene portata in mare?
Lo dico perché sì, il pregiudizio del machine learning creerà problemi. Ma questi problemi assomiglieranno a quelli con cui abbiamo già avuto a che fare in passato, e potranno essere rilevati e risolti (o meno) con la stessa efficacia di come siamo riusciti a farlo in passato. Pertanto, è poco probabile che uno scenario in cui il pregiudizio dell'IA causi danni si verifichi con i principali ricercatori che lavorano in una grande organizzazione. È più probabile che un piccolo appaltatore tecnologico insignificante o un fornitore di software scriva qualcosa di frettoloso, utilizzando componenti open source, librerie e strumenti di cui non comprende l'uso. E un cliente sprovveduto potrebbe essere attratto dalla frase “intelligenza artificiale” nella descrizione del prodotto e, senza fare domande, lo distribuisce ai propri dipendenti malpagati, incaricandoli di seguire le istruzioni dell'IA. Questo è esattamente ciò che è successo con i database. Non è un problema dell'intelligenza artificiale, né tantomeno un problema del software. È un fattore umano.
Conclusione
Il machine learning può fare tutto ciò che puoi insegnare a un cane, ma non puoi mai essere sicuro di cosa esattamente gli hai insegnato.
Spesso mi sembra che il termine "intelligenza artificiale" renda difficile l'ingresso in conversazioni come questa. Questo termine crea una falsa impressione che in realtà l'abbiamo creata — questa intelligenza. Che siamo sulla strada per HAL9000 o Skynet — verso qualcosa che in realtà comprende. Ma no. Sono solo macchine, e sarebbe più corretto paragonarle, per esempio, a una lavatrice. Essa svolge molto meglio il compito di lavare rispetto a un essere umano, ma se ci metti dentro i piatti invece della biancheria, li… laverà. I piatti diventeranno anche puliti. Ma non sarà ciò che ti aspettavi, e ciò accadrà non perché il sistema abbia pregiudizi nei confronti dei piatti. La lavatrice non sa cos'è un piatto né cos'è un vestito — è solo un esempio di automazione, concettualmente non diverso da come i processi venivano automatizzati in passato.
Qualunque sia l'argomento — che si parli di automobili, aerei o database — questi sistemi saranno al contempo molto potenti e molto limitati. Dipenderanno completamente da come le persone usano questi sistemi, dalle loro buone o cattive intenzioni e da quanto capiscono il loro funzionamento.
Pertanto, affermare che 'l'intelligenza artificiale è matematica, quindi non può avere pregiudizi' è totalmente errato. Ma è altrettanto sbagliato dire che l'apprendimento automatico è 'soggettivo per natura'. L'apprendimento automatico trova schemi nei dati, e quali schemi trova dipende dai dati, che a loro volta dipendono da noi. Così come ciò che facciamo con essi. L'apprendimento automatico effettivamente svolge alcune attività molto meglio di noi — ma, ad esempio, i cani sono molto più efficaci degli esseri umani nel riconoscere la droga, il che non giustifica affatto il loro coinvolgimento come testimoni e l'emissione di sentenze sulla base delle loro dichiarazioni. E i cani, a proposito, sono molto più intelligenti di qualsiasi sistema di apprendimento automatico.
Traduzione: .
Revisione: .
Comunità: .
Fonte: habr.com
