tl; dr:
- L'aprenentatge automàtic busca patrons a les dades. Però la intel·ligència artificial pot ser "esbiaixada", és a dir, trobar patrons incorrectes. Per exemple, un sistema de detecció de càncer de pell basat en fotografies pot prestar especial atenció a les imatges preses al consultori d'un metge. L'aprenentatge automàtic no pot entendre: els seus algorismes només identifiquen patrons en números, i si les dades no són representatives, també ho serà el resultat del seu processament. I atrapar aquests errors pot ser difícil a causa de la mateixa mecànica de l'aprenentatge automàtic.
- L'àrea problemàtica més evident i descoratjadora és la diversitat humana. Hi ha moltes raons per les quals les dades sobre persones poden perdre objectivitat fins i tot en l'etapa de recollida. Però no us penseu que aquest problema només afecta a les persones: exactament les mateixes dificultats sorgeixen quan s'intenta detectar una inundació en un magatzem o una turbina de gas fallida. Alguns sistemes poden estar esbiaixats cap al color de la pell, d'altres estaran esbiaixats cap als sensors Siemens.
- Aquests problemes no són nous per a l'aprenentatge automàtic i no són únics. En qualsevol estructura complexa es fan suposicions errònies i sempre és difícil entendre per què es va prendre una decisió determinada. Hem de combatre-ho d'una manera integral: crear eines i processos per a la verificació i educar els usuaris perquè no segueixin cegament les recomanacions d'IA. L'aprenentatge automàtic fa algunes coses molt millor que nosaltres, però els gossos, per exemple, són molt més efectius que els humans a l'hora de detectar drogues, la qual cosa no és una raó per utilitzar-les com a testimonis i fer judicis basats en el seu testimoni. I els gossos, per cert, són molt més intel·ligents que qualsevol sistema d'aprenentatge automàtic.
L'aprenentatge automàtic és una de les tendències tecnològiques fonamentals més importants actuals. Aquesta és una de les principals maneres en què la tecnologia canviarà el món que ens envolta en la propera dècada. Alguns aspectes d'aquests canvis són motiu de preocupació. Per exemple, l'impacte potencial de l'aprenentatge automàtic en el mercat laboral, o el seu ús amb finalitats poc ètiques (per exemple, per règims autoritaris). Hi ha un altre problema que aborda aquesta publicació: biaix de la intel·ligència artificial.
Aquesta no és una història fàcil.
L'IA de Google pot trobar gats. Aquesta notícia del 2012 era una cosa especial aleshores.
Què és "AI Bias"?
"Les dades en brut" són alhora un oxímoron i una mala idea; les dades s'han de preparar bé i amb cura. —Geoffrey Bocker
En algun lloc abans del 2013, per fer un sistema que, per exemple, reconegués gats a les fotografies, calia descriure passos lògics. Com trobar els racons d'una imatge, reconèixer els ulls, analitzar textures per a la pell, comptar les potes, etc. A continuació, poseu tots els components junts i descobriu que realment no funciona. Igual que un cavall mecànic, teòricament es pot fer, però a la pràctica és massa complex per descriure-ho. El resultat final són centenars (o fins i tot milers) de regles escrites a mà. I ni un sol model de treball.
Amb l'arribada de l'aprenentatge automàtic, vam deixar d'utilitzar regles "manuals" per reconèixer un objecte concret. En canvi, prenem mil mostres d'"això", X, mil mostres d'"altre", Y, i fem que l'ordinador construeixi un model basat en la seva anàlisi estadística. A continuació, donem a aquest model algunes dades de mostra i determina amb certa precisió si s'adapta a un dels conjunts. L'aprenentatge automàtic genera un model a partir de dades en lloc d'un humà que l'escriu. Els resultats són impressionants, sobretot en el camp del reconeixement d'imatges i patrons, i per això tota la indústria tecnològica s'està movent ara a l'aprenentatge automàtic (ML).
Però no és tan senzill. Al món real, els vostres milers d'exemples de X o Y també contenen A, B, J, L, O, R i fins i tot L. És possible que aquests no estiguin distribuïts de manera uniforme i alguns poden ocórrer amb tanta freqüència que el sistema pagui més. atenció a ells que als objectes que t'interessen.
Què significa això a la pràctica? El meu exemple preferit és quan els sistemes de reconeixement d'imatges . És clar per què: la majoria de fotografies d'exemple d'"ovelles" es fan als prats on viuen, i en aquestes imatges l'herba ocupa molt més espai que les petites pelusses blanques, i és l'herba que el sistema considera més important. .
Hi ha exemples més seriosos. Un de recent per detectar el càncer de pell en fotografies. Va resultar que els dermatòlegs sovint fotografien la regla juntament amb les manifestacions del càncer de pell per registrar la mida de les formacions. No hi ha regles a les fotografies d'exemple de pell sana. Per a un sistema d'IA, aquests regles (més precisament, els píxels que definim com a "regle") s'han convertit en una de les diferències entre conjunts d'exemples i, de vegades, més importants que una petita erupció a la pell. Així, un sistema creat per identificar el càncer de pell de vegades reconeixia governants.
El punt clau aquí és que el sistema no té cap comprensió semàntica del que mira. Observem un conjunt de píxels i hi veiem una ovella, pell o regles, però el sistema és només una línia numèrica. Ella no veu l'espai tridimensional, no veu objectes, textures ni ovelles. Simplement veu patrons a les dades.
La dificultat per diagnosticar aquests problemes és que la xarxa neuronal (el model generat pel vostre sistema d'aprenentatge automàtic) consta de milers de centenars de milers de nodes. No hi ha una manera fàcil de mirar un model i veure com pren una decisió. Tenir aquesta manera significaria que el procés és prou senzill per descriure totes les regles manualment, sense utilitzar l'aprenentatge automàtic. La gent es preocupa que l'aprenentatge automàtic s'hagi convertit en una mena de caixa negra. (explicaré una mica més endavant per què aquesta comparació encara és massa.)
Aquest, en termes generals, és el problema del biaix en la intel·ligència artificial o l'aprenentatge automàtic: un sistema per trobar patrons en dades pot trobar patrons equivocats, i és possible que no ho notis. Aquesta és una característica fonamental de la tecnologia, i és evident per a tothom que hi treballa a l'àmbit acadèmic i a les grans empreses tecnològiques. Però les seves conseqüències són complexes, i també ho són les nostres possibles solucions a aquestes conseqüències.
Parlem primer de les conseqüències.
La IA pot, implícitament per a nosaltres, fer una elecció a favor de determinades categories de persones, basant-se en un gran nombre de senyals imperceptibles
Escenaris de biaix de l'IA
El més evident i espantós és que aquest problema es pot manifestar quan es tracta de la diversitat humana. Recentment que Amazon va intentar construir un sistema d'aprenentatge automàtic per a la selecció inicial dels candidats a la feina. Com que hi ha més homes entre els treballadors d'Amazon, els exemples de "contractació amb èxit" també són més sovint masculins, i hi havia més homes en la selecció de currículums suggerida pel sistema. Amazon es va adonar d'això i no va llançar el sistema en producció.
El més important d'aquest exemple és que es rumorejava que el sistema afavoria els sol·licitants masculins, malgrat que el gènere no s'especificava al currículum. El sistema va veure altres patrons en exemples de "bonnes contractacions": per exemple, les dones podrien utilitzar paraules especials per descriure èxits o tenir aficions especials. Per descomptat, el sistema no sabia què era "hoquei", ni qui eren "persones", ni quin era l'"èxit": simplement va fer una anàlisi estadística del text. Però els patrons que va veure probablement passarien desapercebuts per als humans, i alguns d'ells (per exemple, el fet que persones de diferents gèneres descriuen l'èxit de manera diferent) probablement ens resultaran difícils de veure encara que els miréssim.
Més enllà - pitjor. Un sistema d'aprenentatge automàtic que és molt bo per trobar càncer a la pell pàl·lida pot no funcionar tan bé a la pell fosca, o viceversa. No necessàriament per biaix, sinó perquè probablement haureu de construir un model separat per a un color de pell diferent, escollint característiques diferents. Els sistemes d'aprenentatge automàtic no són intercanviables fins i tot en una àrea tan estreta com el reconeixement d'imatges. Heu de modificar el sistema, de vegades només per prova i error, per tenir un bon maneig de les característiques de les dades que us interessen fins a aconseguir la precisió que voleu. Però el que potser no noteu és que el sistema és precís el 98% del temps amb un grup i només el 91% (encara que sigui més precís que l'anàlisi humana) amb l'altre.
Fins ara he utilitzat principalment exemples relatius a persones i les seves característiques. La discussió sobre aquest problema se centra principalment en aquest tema. Però és important entendre que el biaix cap a les persones és només una part del problema. Utilitzarem l'aprenentatge automàtic per a moltes coses i l'error de mostreig serà rellevant per a totes. D'altra banda, si treballes amb persones, és possible que el biaix de les dades no estigui relacionat amb ells.
Per entendre-ho, tornem a l'exemple del càncer de pell i considerem tres possibilitats hipotètiques de fallada del sistema.
- Distribució heterogènia de les persones: un nombre desequilibrat de fotografies de diferents tons de pell, donant lloc a falsos positius o falsos negatius per pigmentació.
- Les dades sobre les quals s'entrena el sistema contenen una característica freqüent i distribuïda de manera heterogènia que no s'associa amb les persones i no té cap valor diagnòstic: un regle en fotografies de càncer de pell o herba en fotografies d'ovelles. En aquest cas, el resultat serà diferent si el sistema troba píxels a la imatge d'alguna cosa que l'ull humà identifica com a "regidor".
- Les dades contenen una característica de tercers que una persona no pot veure encara que la cerqui.
Què vol dir? Sabem a priori que les dades poden representar diferents grups de persones de manera diferent i, com a mínim, podem planificar buscar aquestes excepcions. En altres paraules, hi ha moltes raons socials per assumir que les dades sobre grups de persones ja contenen algun biaix. Si mirem la foto amb el regle, veurem aquest regle: simplement l'hem ignorat abans, sabent que no importa i oblidant que el sistema no sap res.
Però, què passa si totes les teves fotos de pell no saludable es fessin a una oficina amb llum incandescent i la teva pell sana fos feta amb llum fluorescent? Què passa si, després d'haver acabat de disparar una pell sana, abans de disparar una pell no saludable, actualitzeu el sistema operatiu del vostre telèfon i Apple o Google canviessin lleugerament l'algoritme de reducció de soroll? Una persona no pot notar-ho, per molt que busqui aquestes característiques. Però el sistema d'ús de la màquina ho veurà i utilitzarà immediatament. Ella no sap res.
Fins ara hem parlat de correlacions espúries, però també pot ser que les dades siguin precises i els resultats siguin correctes, però no les voleu utilitzar per motius ètics, legals o de gestió. Algunes jurisdiccions, per exemple, no permeten que les dones rebin un descompte a la seva assegurança, tot i que les dones poden ser conductores més segures. Ens podem imaginar fàcilment un sistema que, en analitzar dades històriques, assignaria un menor factor de risc als noms femenins. D'acord, eliminem noms de la selecció. Però recordeu l'exemple d'Amazon: el sistema pot determinar el gènere en funció d'altres factors (tot i que no sàpiga quin és el gènere, ni tan sols què és un cotxe), i no ho notareu fins que el regulador analitzi retroactivament les tarifes que us poseu. ofereix i et cobra, seràs multat.
Finalment, sovint s'assumeix que només utilitzarem aquests sistemes per a projectes que impliquen persones i interaccions socials. Això està malament. Si fabriqueu turbines de gas, probablement voldreu aplicar l'aprenentatge automàtic a la telemetria transmesa per desenes o centenars de sensors del vostre producte (àudio, vídeo, temperatura i qualsevol altre sensor generen dades que es poden adaptar molt fàcilment per crear una màquina). model d'aprenentatge). Hipotèticament, podríeu dir: “Aquí hi ha dades de mil turbines que van fallar abans que fallessin, i aquí hi ha dades de mil turbines que no van fallar. Construeix un model per dir quina és la diferència entre ells". Bé, ara imagineu-vos que els sensors Siemens estan instal·lats en el 75% de les turbines dolentes i només en el 12% de les bones (no hi ha cap connexió amb les avaries). El sistema construirà un model per trobar turbines amb sensors Siemens. Vaja!
Imatge: Moritz Hardt, UC Berkeley
Gestió del bias de la IA
Què podem fer al respecte? Podeu abordar el tema des de tres angles:
- Rigor metodològic en la recollida i gestió de dades per a la formació del sistema.
- Eines tècniques per analitzar i diagnosticar el comportament del model.
- Entreneu, eduqueu i aneu amb compte a l'hora d'implementar l'aprenentatge automàtic als productes.
Hi ha una broma al llibre de Molière “Els burgesos a la noblesa”: a un home se li va dir que la literatura es divideix en prosa i poesia, i es va alegrar de descobrir que havia estat parlant en prosa tota la vida, sense saber-ho. Segurament així és com se senten els estadístics avui: sense adonar-se'n, han dedicat la seva carrera a la intel·ligència artificial i l'error de mostreig. Cercar l'error de mostreig i preocupar-se per ell no és un problema nou, només cal que ens apropem sistemàticament a la seva solució. Com s'ha esmentat anteriorment, en alguns casos és més fàcil fer-ho estudiant problemes relacionats amb les dades de les persones. A priori assumim que podem tenir prejudicis respecte a diferents grups de persones, però ens costa ni tan sols imaginar-nos un prejudici sobre els sensors de Siemens.
La novetat de tot això, és clar, és que la gent ja no fa anàlisis estadístiques directament. Es realitza per màquines que creen models grans, complexos i difícils d'entendre. La qüestió de la transparència és un dels aspectes principals del problema del biaix. Temem que el sistema no només estigui esbiaixat, sinó que no hi ha manera de detectar-ne el biaix i que l'aprenentatge automàtic sigui diferent d'altres formes d'automatització, que se suposa que consisteixen en passos lògics clars que es poden provar.
Aquí hi ha dos problemes. És possible que encara puguem realitzar algun tipus d'auditoria dels sistemes d'aprenentatge automàtic. I auditar qualsevol altre sistema en realitat no és més fàcil.
En primer lloc, una de les direccions de la investigació moderna en el camp de l'aprenentatge automàtic és la recerca de mètodes per identificar la funcionalitat important dels sistemes d'aprenentatge automàtic. Dit això, l'aprenentatge automàtic (en el seu estat actual) és un camp de la ciència completament nou que està canviant ràpidament, així que no us penseu que les coses que avui són impossibles no es poden convertir aviat en realitat. Projecte - Un exemple interessant d'això.
En segon lloc, la idea que podeu provar i entendre el procés de presa de decisions dels sistemes o organitzacions existents és bona en teoria, però també a la pràctica. Entendre com es prenen les decisions en una gran organització no és fàcil. Fins i tot si hi ha un procés formal de presa de decisions, no reflecteix com interactuen realment les persones, i ells mateixos sovint no tenen un enfocament lògic i sistemàtic per prendre les seves decisions. Com deia el meu company , la gent també és caixes negres.
Agafeu mil persones en diverses empreses i institucions superposades, i el problema es fa encara més complex. Sabem després del fet que el transbordador espacial estava destinat a trencar-se al retorn, i els individus de la NASA tenien informació que els donava motius per pensar que podria passar alguna cosa dolenta, però el sistema en general Això no ho sabia. La NASA fins i tot acaba de passar per una auditoria similar després de perdre la seva llançadora anterior i, tanmateix, en va perdre una altra per un motiu molt similar. És fàcil argumentar que les organitzacions i les persones segueixen regles clares i lògiques que es poden provar, entendre i canviar, però l'experiència demostra el contrari. Això "».
Sovint comparo l'aprenentatge automàtic amb les bases de dades, especialment les relacionals, una nova tecnologia fonamental que ha canviat les capacitats de la informàtica i del món que l'envolta, que s'ha convertit en part de tot, que fem servir constantment sense adonar-nos-en. Les bases de dades també tenen problemes, i són de naturalesa semblant: el sistema es pot construir a partir de supòsits o dades dolentes, però serà difícil de notar-ho i les persones que fan servir el sistema faran el que els digui sense fer preguntes. Hi ha moltes bromes antigues sobre els impostos que una vegada van escriure el teu nom malament, i convèncer-los perquè corregin l'error és molt més difícil que canviar el teu nom. Hi ha moltes maneres de pensar-ho, però no està clar quina és millor: com un problema tècnic en SQL, o com un error en una versió d'Oracle, o com un fracàs de les institucions burocràtiques? Què tan difícil és trobar un error en un procés que ha fet que el sistema no tingui una funció de correcció d'ortografia? Això s'hauria pogut esbrinar abans que la gent comencés a queixar-se?
Aquest problema s'il·lustra encara més simplement amb històries quan els conductors condueixen als rius a causa de les dades obsoletes del navegador. D'acord, els mapes s'han d'actualitzar constantment. Però, quina culpa té TomTom que el teu cotxe hagi sortit al mar?
La raó per la qual dic això és que sí, el biaix d'aprenentatge automàtic crearà problemes. Però aquests problemes seran similars als que ens hem enfrontat en el passat, i es poden notar i resoldre (o no) tan bé com ho vam poder fer en el passat. Per tant, és poc probable que els investigadors sèniors que treballin en una gran organització passin un escenari en què el biaix de la IA provoqui danys. El més probable és que algun contractista tecnològic insignificant o proveïdor de programari escrigui alguna cosa de genolls, utilitzant components, biblioteques i eines de codi obert que no entenen. I el client desafortunat comprarà la frase "intel·ligència artificial" a la descripció del producte i, sense fer cap pregunta, la distribuirà als seus empleats mal pagats, ordenant-los que facin el que diu la IA. Això és exactament el que va passar amb les bases de dades. Aquest no és un problema d'intel·ligència artificial, ni tan sols un problema de programari. Aquest és el factor humà.
Conclusió
L'aprenentatge automàtic pot fer qualsevol cosa que puguis ensenyar a un gos, però mai no pots estar segur de què vas ensenyar exactament al gos.
Sovint penso que el terme "intel·ligència artificial" només s'interposa en converses com aquesta. Aquest terme dóna la falsa impressió que realment el vam crear: aquesta intel·ligència. Que anem cap a HAL9000 o Skynet, una cosa que en realitat entén. Però no. Aquestes són només màquines, i és molt més precís comparar-les amb, per exemple, una rentadora. Ella fa la bugada molt millor que un humà, però si li poses plats en comptes de la bugada, ella... la rentarà. Els plats fins i tot quedaran nets. Però això no serà el que esperaves, i això no passarà perquè el sistema té cap prejudici pel que fa als plats. La rentadora no sap què són els plats o la roba: és només un exemple d'automatització, conceptualment no és diferent de com s'automatitzaven els processos abans.
Tant si estem parlant de cotxes, avions o bases de dades, aquests sistemes seran molt potents i molt limitats. Dependran completament de com la gent faci servir aquests sistemes, de si les seves intencions són bones o dolentes i de com entenguin com funcionen.
Per tant, dir que “la intel·ligència artificial és matemàtica, per tant no pot tenir biaixos” és completament fals. Però és igualment fals dir que l'aprenentatge automàtic és "de naturalesa subjectiva". L'aprenentatge automàtic troba patrons a les dades, i quins patrons troba depenen de les dades, i les dades depenen de nosaltres. Igual que el que fem amb ells. L'aprenentatge automàtic fa algunes coses molt millor que nosaltres, però els gossos, per exemple, són molt més efectius que els humans a l'hora de detectar drogues, la qual cosa no és una raó per utilitzar-les com a testimonis i fer judicis basats en el seu testimoni. I els gossos, per cert, són molt més intel·ligents que qualsevol sistema d'aprenentatge automàtic.
Traducció: .
Edició: .
Comunitat: .
Font: www.habr.com