tl; dr:
- L'apprendimentu automaticu cerca mudelli in dati. Ma l'intelligenza artificiale pò esse "biased", vale à dì, truvà mudelli chì sò sbagliati. Per esempiu, un sistema di deteczione di u cancer di a pelle basatu in foto pò prestà una attenzione particulari à l'imaghjini pigliati in l'uffiziu di u duttore. L'apprendimentu automaticu ùn pò micca capisce: i so algoritmi identificanu solu mudelli in numeri, è se i dati ùn sò micca rapprisentanti, cusì u risultatu di u so trasfurmazioni. È catturà tali bug pò esse difficiule per via di a stessa meccanica di l'apprendimentu di macchina.
- L'area problematica più ovvia è spaventosa hè a diversità umana. Ci hè parechje ragioni per quessa chì e dati nantu à e persone ponu perde l'ughjettività ancu in u stadiu di cullizzioni. Ma ùn pensate micca chì stu prublema solu affetta a ghjente: esattamente e stesse difficultà si sviluppanu quandu pruvate di detectà una inundazione in un magazzinu o una turbina di gas falluta. Certi sistemi ponu esse biased versu u culore di a pelle, altri seranu biased versu i sensors Siemens.
- Tali prublemi ùn sò micca novi à l'apprendimentu automaticu, è ùn sò micca unichi per questu. L'assunzioni sbagliate sò fatte in ogni struttura cumplessa, è capisce perchè una decisione particulare hè stata fatta hè sempre difficiule. Avemu bisognu di cummattiri questu in modu cumpletu: creà strumenti è prucessi per a verificazione - è educà l'utilizatori in modu chì ùn seguitanu micca cecumente i cunsiglii di l'AI. L'apprendimentu di a machina face certe cose assai megliu di ciò chì pudemu - ma i cani, per esempiu, sò assai più efficaci cà l'omu in a rilevazione di droghe, chì ùn hè micca un mutivu per aduprà cum'è testimoni è fà ghjudiziu basatu annantu à a so tistimunianza. È i cani, per via, sò assai più intelligenti di qualsiasi sistema di apprendimentu di macchina.
L'apprendimentu automaticu hè una di e tendenze tecnologiche fundamentali più impurtanti oghje. Questu hè unu di i modi principali in quale a tecnulugia cambierà u mondu intornu à noi in a prossima dicada. Certi aspetti di sti cambiamenti sò causa di preoccupazione. Per esempiu, u putenziale impattu di machine learning nant'à u mercatu di u travagliu, o u so usu per scopi unthical (per esempiu, da regimi autoritariu). Ci hè un altru prublema chì questu post indirizza: bias di intelligenza artificiale.
Questa ùn hè micca una storia faciule.
L'IA di Google pò truvà i misgi. Questa nutizia da u 2012 era qualcosa di speciale allora.
Cosa hè "AI Bias"?
"Dati crudi" hè à tempu un oxymoron è una mala idea; dati deve esse preparatu bè è cun cura. - Geoffrey Bocker
In qualchì locu prima di u 2013, per fà un sistema chì, per dì, ricunnosce i misgi in i ritratti, avete bisognu di discrìviri passi lògichi. Cumu truvà i cantoni in una maghjina, ricunnosce l'ochji, analizà texturizati per fur, cuntà e zampe, è cusì. Allora mette tutti i cumpunenti inseme è scopre chì ùn funziona micca veramente. Cum'è un cavallu meccanicu - teoricamente pò esse fattu, ma in pratica hè troppu cumplessu per discrìviri. U risultatu finali hè centinaie (o ancu millaie) di regule scritte a manu. È micca un solu mudellu di travagliu.
Cù l'avventu di l'apprendimentu automaticu, avemu cessatu di utilizà e regule "manuali" per ricunnosce un oggettu particulari. Invece, pigliamu un milla campioni di "questu", X, mille campioni di "altru", Y, è avè l'urdinatore custruisce un mudellu basatu nantu à a so analisi statistica. Dopu demu à stu mudellu alcuni dati di mostra è determina cun una certa precisione s'ellu si adatta à unu di i setti. L'apprendimentu automaticu genera un mudellu da e dati piuttostu chè da un umanu chì scrive. I risultati sò impressiunanti, soprattuttu in u campu di a ricunniscenza di l'imaghjini è di i mudelli, è hè per quessa chì l'intera industria di a tecnulugia si move avà à l'apprendimentu machine (ML).
Ma ùn hè micca cusì simplice. In u mondu reale, i vostri millaie d'esempii di X o Y cuntenenu ancu A, B, J, L, O, R, è ancu L. Questi ùn ponu micca esse distribuiti uniformemente, è alcuni ponu accade cusì freti chì u sistema pagherà più. attenzione à elli cà à l'ogetti chì vi interessanu.
Chì significà questu in pratica? U mo esempiu preferitu hè quandu i sistemi di ricunniscenza di l'imagine . Hè chjaru perchè: a maiò parte di e fotografie d'esempiu di "pecure" sò pigliate in i prati induve vivenu, è in queste imagine l'erba occupa assai più spaziu cà i picculi fluffs bianchi, è hè l'erba chì u sistema cunsidereghja più impurtante. .
Ci sò esempi più serii. Una recente per a rilevazione di u cancer di a pelle in e fotografie. Hè risultatu chì i dermatologi spessu fotografianu u regnu cù e manifestazioni di u cancer di a pelle per registrà a dimensione di e formazioni. Ùn ci sò micca guverni in l'esempiu di ritratti di a pelle sana. Per un sistema di AI, tali rigulari (più precisamente, i pixelli chì definiscemu cum'è "regnu") sò diventati una di e diffirenzii trà setti d'esempii, è à volte più impurtante di una piccula rash in a pelle. Allora un sistema creatu per identificà u cancer di a pelle à volte ricunnosce i guvernatori invece.
U puntu chjave quì hè chì u sistema ùn hà micca una cunniscenza semantica di ciò chì vede. Fighjemu un inseme di pixel è vedemu in elli una pecura, a pelle o i regni, ma u sistema hè solu una linea numerica. Ùn vede micca spaziu tridimensionale, ùn vede micca oggetti, texturizati o pecuri. Ella simpricimenti vede mudelli in i dati.
A difficultà di diagnosticà tali prublemi hè chì a rete neurale (u mudellu generatu da u vostru sistema di apprendimentu machine) hè custituitu da millaie di cintunari di millaie di nodi. Ùn ci hè micca un modu faciule per vede in un mudellu è vede cumu si face una decisione. Avè un tali modu significaria chì u prucessu hè abbastanza simplice per descriverà tutte e regule manualmente, senza usà l'apprendimentu machine. A ghjente si preoccupa chì l'apprendimentu automaticu hè diventatu qualcosa di una scatula nera. (Spiegheraghju un pocu dopu perchè sta paragone hè sempre troppu.)
Questu, in termini ginirali, hè u prublema di preghjudiziu in l'intelligenza artificiale o l'apprendimentu di machine: un sistema per truvà mudelli in dati pò truvà i mudelli sbagliati, è ùn pudete micca avvistà. Questa hè una caratteristica fundamentale di a tecnulugia, è hè ovvia per tutti quelli chì travaglianu cun ella in l'accademia è in e grande cumpagnie tecnologiche. Ma i so cunsiquenzi sò cumplessi, è cusì sò e nostre pussibuli suluzioni à queste cunsequenze.
Parlemu prima di e cunsequenze.
AI pò, implicitamente per noi, fà una scelta in favore di certe categurie di persone, basatu annantu à un gran numaru di signali imperceptible.
Scénarios de biais de l'IA
A più ovvia è spaventosa, stu prublema pò manifestà quandu si tratta di diversità umana. Recentemente chì Amazon hà pruvatu à custruisce un sistema di machine learning per a screening iniziale di i candidati à u travagliu. Siccomu ci sò più omi trà i travagliadori di Amazon, l'esempi di "assunzione di successu" sò ancu più spessu maschili, è ci era più omi in a selezzione di currículum suggeriti da u sistema. Amazon hà nutatu questu è ùn hà micca liberatu u sistema in produzzione.
A cosa più impurtante in questu esempiu hè chì u sistema hè statu rumore per favurizà i candidati maschili, malgradu u fattu chì u sessu ùn era micca specificatu nantu à u curriculum vitae. U sistema hà vistu altri mudelli in esempi di "boni assunzioni": per esempiu, e donne puderanu aduprà parolle spiciali per discrive e realizazioni, o avè un passatempi speciale. Di sicuru, u sistema ùn sapia micca ciò chì era "hockey", o quale era "persone", o quale era "successu" - hà fattu solu una analisi statistica di u testu. Ma i mudelli ch'ella hà vistu più prubabilmente passanu inosservati da l'omu, è alcuni di elli (per esempiu, u fattu chì e persone di diversi sessi descrizanu u successu in modu diversu) seranu probabilmente difficili per noi di vede ancu s'ellu ci fighjemu.
In più - peggiu. Un sistema d'apprendimentu automaticu chì hè assai bonu per truvà u cancer nantu à a pelle pallida ùn pò micca fà cusì bè nantu à a pelle scura, o viceversa. Micca necessariamente per via di preghjudiziu, ma perchè probabilmente avete bisognu di custruisce un mudellu separatu per un culore di pelle diversu, scegliendu diverse caratteristiche. I sistemi di machine learning ùn sò micca intercambiabili ancu in una zona cusì stretta cum'è u ricunniscenza di l'imaghjini. Avete bisognu di aghjustà u sistema, qualchì volta solu per prucessu è errore, per avè un bonu manicu nantu à e caratteristiche in i dati chì site interessatu finu à ottene a precisione chì vulete. Ma ciò chì ùn avete micca nutatu hè chì u sistema hè precisu 98% di u tempu cù un gruppu, è solu 91% (ancu più precisu di l'analisi umana) cù l'altru.
Finu a ora aghju usatu principarmenti esempi riguardanti e persone è e so caratteristiche. A discussione intornu à stu prublema si focalizeghja principalmente nantu à questu tema. Ma hè impurtante capisce chì u preghjudiziu versu e persone hè solu una parte di u prublema. Useremu l'apprendimentu automaticu per parechje cose, è l'errore di campionamentu serà pertinente per tutti. Per d 'altra banda, sè vo travaglià cù e persone, u preghjudiziu in i dati ùn pò micca esse ligatu cù elli.
Per capiscenu questu, vultemu à l'esempiu di u cancer di a pelle è cunsiderà trè pussibulità ipotetiche per fallimentu di u sistema.
- Distribuzione eterogenea di e persone: un numeru sbilanciatu di ritratti di diversi toni di a pelle, chì porta à falsi pusitivi o falsi negativi per via di a pigmentazione.
- I dati nantu à quale u sistema hè furmatu cuntene una funzione chì si trova in modu freti è heterogeneamente distribuitu chì ùn hè micca assuciatu cù e persone è ùn hà micca valore diagnosticu: un regnu in ritratti di cancru di a pelle o erba in ritratti di pecuri. In questu casu, u risultatu serà diversu se u sistema trova pixel in l'imaghjini di qualcosa chì l'ochju umanu identificanu cum'è "reg".
- I dati cuntenenu una caratteristica di terzu chì una persona ùn pò micca vede ancu s'ellu cerca.
Cosa significa? Sapemu a priori chì i dati ponu rapprisintà diversi gruppi di persone in modu diversu, è à u minimu pudemu pianificà di circà tali eccezzioni. In altri palori, ci sò assai ragiuni suciali per assume chì e dati nantu à i gruppi di persone cuntene digià qualchì preghjudiziu. Se fighjemu a foto cù u regnu, avemu da vede stu regnu - avemu solu ignoratu prima, sapendu chì ùn importa micca, è scurdate chì u sistema ùn sapi nunda.
Ma chì sì tutti i vostri ritratti di a pelle malsana sò stati pigliati in un uffiziu sottu a lumera incandescente, è a vostra pelle sana hè stata presa sottu u lume fluoriscente? E se, dopu avè finitu di sparà a pelle sana, prima di sparà a pelle malsana, avete aghjurnatu u sistema operatore in u vostru telefunu, è Apple o Google cambiassi pocu l'algoritmu di riduzione di u rumore? Una persona ùn pò micca nutà questu, ùn importa micca quantu cerca tali caratteristiche. Ma u sistema di usu di a macchina vi vede immediatamente è aduprà questu. Ella ùn sà nunda.
Finu a ora avemu parlatu di correlazioni spurious, ma puderia ancu esse chì i dati sò precisi è i risultati sò curretti, ma ùn vulete micca aduprà per ragioni etiche, legali o di gestione. Alcune ghjuridizione, per esempiu, ùn permettenu micca e donne per riceve un scontu nantu à a so assicuranza, ancu s'è e donne ponu esse cunduttori più sicuri. Pudemu facilmente imaginà un sistema chì, quandu analizà e dati storichi, assignaria un fattore di risicu più bassu à i nomi femminili. Va bè, sguassemu i nomi da a selezzione. Ma ricordate l'esempiu di l'Amazonia: u sistema pò determinà u sessu basatu annantu à altri fattori (ancu s'ellu ùn sà micca quale hè u generu, o ancu ciò chì hè una vittura), è ùn avete micca nutatu questu finu à chì u regulatore analizza retroattivamente i tariffi chì avete. offre è vi accusa vi sarà multa.
Infine, hè spessu assume chì avemu aduprà solu tali sistemi per prughjetti chì implicanu persone è interazzione suciale. Questu hè sbagliatu. Sè vo fate turbine di gas, probabilmente vulete applicà l'apprendimentu machine à a telemetria trasmessa da decine o centinaie di sensori nantu à u vostru pruduttu (audio, video, temperatura, è qualsiasi altri sensori generanu dati chì ponu esse facilmente adattati per creà una macchina. mudellu di apprendimentu). Ipoteticamente, pudete dì: "Eccu dati da mille turbine chì anu fallutu prima di fallu, è quì sò dati da mille turbine chì ùn anu micca fallutu. Custruite un mudellu per dì quale hè a diffarenza trà elli ". Ebbè, avà imaginate chì i sensori Siemens sò stallati nantu à u 75% di e turbine cattivi, è solu u 12% di i boni (ùn ci hè micca cunnessione cù fallimenti). U sistema hà da custruisce un mudellu per truvà turbine cù sensori Siemens. Oops!
Foto - Moritz Hardt, UC Berkeley
Gestisce l'IA Bias
Chì pudemu fà per quessa ? Pudete avvicinà u prublema da trè anguli:
- Rigurosità metudologica in a cullizzioni è a gestione di dati per a furmazione di u sistema.
- Strumenti tecnichi per analizà è diagnosticà u cumpurtamentu di u mudellu.
- Formate, educate è fate attenzione quandu implementate l'apprendimentu automaticu in i prudutti.
Ci hè un scherzu in u libru di Molière « I Bourgeois in a nubiltà » : à un omu si dicia chì a literatura hè spartuta in prosa è puesia, è era piacè di scopre ch’ellu avia parlatu in prosa tutta a so vita, senza sapè. Hè prubabilmente cusì chì i statistichi si sentenu oghje : senza avè capitu, anu dedicatu a so carriera à l'intelligenza artificiale è l'errore di campionamentu. A ricerca di l'errore di campionamentu è a preoccupazione ùn hè micca un prublema novu, avemu solu bisognu à avvicinà sistematicamente a so suluzione. Cum'è l'esitatu sopra, in certi casi, hè veramente più faciule per fà questu studiendu prublemi riguardanti i dati di e persone. A priori assumemu chì pudemu avè preghjudizii riguardu à diversi gruppi di persone, ma hè difficiule per noi ancu imaginà un preghjudiziu annantu à i sensori Siemens.
Ciò chì hè novu in tuttu questu, sicuru, hè chì a ghjente ùn face più analisi statistiche direttamente. Hè realizatu da machini chì creanu mudelli grandi è cumplessi chì sò difficiuli di capiscenu. U prublema di a trasparenza hè unu di i principali aspetti di u prublema di preghjudiziu. Avemu a paura chì u sistema ùn hè micca solu preghjudiziu, ma chì ùn ci hè micca manera di detectà u so preghjudiziu, è chì l'apprendimentu di a machina hè sfarente di l'altri forme d'automatizazione, chì sò supposti cumposti da passi lògichi chjaru chì ponu esse pruvati.
Ci sò dui prublemi quì. Puderemu ancu esse capace di fà un certu tipu di auditu di i sistemi di apprendimentu automaticu. E audità qualsiasi altru sistema ùn hè micca più faciule.
Prima, una di e direzzione di a ricerca muderna in u campu di l'apprendimentu machine hè a ricerca di metudi per identificà e funziunalità impurtanti di i sistemi di apprendimentu di machine. Dice questu, l'apprendimentu di a machina (in u so statu attuale) hè un campu completamente novu di a scienza chì cambia rapidamente, per quessa, ùn pensate micca chì e cose chì sò impussibili oghje ùn ponu micca prestu prestu veramente reale. Prughjettu - un esempiu interessante di questu.
Siconda, l'idea chì pudete pruvà è capisce u prucessu di decisione di sistemi o urganisazioni esistenti hè bona in teoria, ma cusì cusì in pratica. Capisce cumu e decisioni sò prese in una grande urganizazione ùn hè micca faciule. Ancu s'ellu ci hè un prucessu di decisione formale, ùn riflette micca cumu a ghjente interagisce veramente, è spessu ùn anu micca un accostu logicu è sistematicu per fà e so decisioni. Cum'è u mo cullegu hà dettu , e persone sò ancu scatuli neri.
Pigliate mille persone in parechje imprese è istituzioni sovrapposte, è u prublema diventa ancu più cumplessu. Sapemu dopu à u fattu chì u Space Shuttle era destinatu à rompe à u ritornu, è l'individui in a NASA avianu infurmazioni chì li dete ragiuni per pensà chì qualcosa di male puderia accade, ma u sistema. in generale Ùn sapia micca questu. A NASA hà ancu passatu per un auditu simili dopu avè persu a so navetta precedente, è ancu hà persu un altru per una ragione assai simili. Hè faciule d'argumintà chì l'urganisazioni è e persone seguenu regule chjaru è logiche chì ponu esse testate, capite è cambiate - ma l'esperienza prova altrimenti. Questu "».
Spessu paragunà l'apprendimentu di a macchina cù e basa di dati, in particulare quelli relazionali - una nova tecnulugia fundamentale chì hà cambiatu e capacità di l'informatica è u mondu intornu, chì hè diventatu parte di tuttu, chì avemu aduprà constantemente senza rializà. E basa di dati anu ancu prublemi, è sò di natura simili: u sistema pò esse custruitu nantu à ipotesi cattivi o dati cattivi, ma serà difficiule di nutà, è e persone chì utilizanu u sistema farà ciò chì li dice senza dumandà dumande. Ci hè una mansa di vechji scherzi nantu à e persone di l'impositu chì una volta anu scrittu u vostru nome sbagliatu, è cunvince per correggere l'errore hè assai più difficiuli di cambià veramente u vostru nome. Ci hè parechje manere di pensà à questu, ma ùn hè micca chjaru chì hè megliu: cum'è un prublema tecnicu in SQL, o cum'è un bug in una liberazione Oracle, o cum'è un fallimentu di l'istituzioni burocratiche? Quantu hè difficiule di truvà un bug in un prucessu chì hà purtatu à u sistema chì ùn hà micca una funzione di correzione di typo? Puderia esse statu capitu prima chì a ghjente hà cuminciatu à lagnà?
Stu prublema hè illustratu ancu più simplicemente da storie quandu i cunduttori guidanu in i fiumi per via di dati obsoleti in u navigatore. Va bè, e carte anu da esse aghjurnatu constantemente. Ma quantu hè a culpa TomTom per chì a vostra vittura hè sbulicata in mare?
U mutivu chì dicu questu hè chì iè, u preghjudiziu di l'apprendimentu di a macchina creerà prublemi. Ma sti prublemi seranu simili à quelli chì avemu affruntatu in u passatu, è ponu esse nutati è risolti (o micca) quantu avemu pussutu in u passatu. Dunque, hè improbabile chì un scenariu in u quale u preghjudiziu di l'IA causa danni à i ricercatori anziani chì travaglianu in una grande urganizazione. Hè assai prubabile, qualchì imprenditore di tecnulugia insignificante o venditore di software scriverà qualcosa nantu à i so ghjinochji, utilizendu cumpunenti open source, biblioteche è arnesi chì ùn capiscenu micca. È u cliente sfurtunatu hà da cumprà a frasa "intelligenza artificiale" in a descrizzione di u produttu è, senza dumandà nisuna quistione, a distribuisce à i so impiegati pocu pagati, urdinendu à fà ciò chì l'AI dice. Questu hè esattamente ciò chì hè accadutu cù e basa di dati. Questu ùn hè micca un prublema di intelligenza artificiale, o ancu un prublema di software. Questu hè u fattore umanu.
cunchiusioni
L'apprendimentu automaticu pò fà tuttu ciò chì pudete insignà à un cane - ma ùn pudete mai esse sicuru di ciò chì esattamente avete insignatu à u cane.
Spessu mi sentu chì u terminu "intelligenza artificiale" si mette solu in modu di cunversazione cusì. Stu termu dà a falsa impressione chì l'avemu veramente creatu - questa intelligenza. Chì simu in a nostra strada per HAL9000 o Skynet - qualcosa chì veramente capisce. Ma nò. Quessi sò solu machini, è hè assai più precisu per paragunà cù, per dì, una lavatrice. Ella lava assai megliu cà un umanu, ma si mette i piatti in u so invece di lavanderia, ella... li lavarà. I piatti diventeranu ancu puliti. Ma questu ùn serà micca ciò chì avete aspittatu, è questu ùn succede micca perchè u sistema hà qualchì preghjudiziu in quantu à i piatti. A lavatrice ùn sà micca ciò chì i piatti sò o ciò chì i vestiti sò - hè solu un esempiu d'automatizazione, conceptualmente micca sfarente di cumu i prucessi eranu automatizati prima.
Sia chì parlemu di vitture, aerei, o basa di dati, sti sistemi seranu à tempu assai putenti è assai limitati. Dipenderanu interamente da cumu si usanu sti sistemi, se e so intenzioni sò boni o cattivi, è quantu capiscenu cumu travaglianu.
Dunque, per dì chì "l'intelligenza artificiale hè matematica, per quessa ùn pò micca avè preghjudiziu" hè completamente falsu. Ma hè ugualmente falsu di dì chì l'apprendimentu automaticu hè "natura subjectiva". L'apprendimentu di a macchina trova mudelli in dati, è chì mudelli trova dipende di e dati, è i dati dipende di noi. Cum'è ciò chì facemu cun elli. L'apprendimentu di a machina face certe cose assai megliu di ciò chì pudemu - ma i cani, per esempiu, sò assai più efficaci cà l'omu in a rilevazione di droghe, chì ùn hè micca un mutivu per aduprà cum'è testimoni è fà ghjudiziu basatu annantu à a so tistimunianza. È i cani, per via, sò assai più intelligenti di qualsiasi sistema di apprendimentu di macchina.
Traduzione: .
Editatu: .
Cumunità: .
Source: www.habr.com