tl; dr:
- A aprendizaxe automática busca patróns nos datos. Pero a intelixencia artificial pode ser "sesgada", é dicir, atopar patróns incorrectos. Por exemplo, un sistema de detección de cancro de pel baseado en fotografías pode prestar especial atención ás imaxes tomadas no consultorio dun médico. A aprendizaxe automática non pode comprender: os seus algoritmos só identifican patróns en números, e se os datos non son representativos, tamén o fará o resultado do seu procesamento. E capturar tales erros pode ser difícil debido á propia mecánica da aprendizaxe automática.
- O problema máis obvio e desalentador é a diversidade humana. Hai moitas razóns polas que os datos sobre persoas poden perder obxectividade mesmo na fase de recollida. Pero non penses que este problema só afecta ás persoas: exactamente as mesmas dificultades xorden cando se intenta detectar unha inundación nun almacén ou unha turbina de gas fallida. Algúns sistemas poden estar sesgados pola cor da pel, outros estarán sesgados polos sensores Siemens.
- Estes problemas non son novos para a aprendizaxe automática e están lonxe de ser exclusivos del. As suposicións erróneas fanse en calquera estrutura complexa e sempre é difícil comprender por que se tomou unha determinada decisión. Necesitamos combater isto dunha forma integral: crear ferramentas e procesos para a verificación e educar aos usuarios para que non sigan cegamente as recomendacións da IA. A aprendizaxe automática fai algunhas cousas moito mellor que nós, pero os cans, por exemplo, son moito máis eficaces que os humanos para detectar drogas, o que non é un motivo para usalas como testemuñas e emitir xuízos baseados no seu testemuño. E os cans, por certo, son moito máis intelixentes que calquera sistema de aprendizaxe automática.
A aprendizaxe automática é unha das tendencias tecnolóxicas fundamentais máis importantes na actualidade. Esta é unha das principais formas en que a tecnoloxía cambiará o mundo que nos rodea na próxima década. Algúns aspectos destes cambios son motivo de preocupación. Por exemplo, o impacto potencial da aprendizaxe automática no mercado laboral ou o seu uso con fins pouco éticos (por exemplo, por réximes autoritarios). Hai outro problema que aborda esta publicación: sesgo da intelixencia artificial.
Esta non é unha historia fácil.
A IA de Google pode atopar gatos. Esta noticia de 2012 era algo especial daquela.
Que é "AI Bias"?
"Datos en bruto" é á vez un oxímoron e unha mala idea; os datos deben prepararse ben e coidadosamente. - Geoffrey Boker
Nalgún lugar antes de 2013, para facer un sistema que, por exemplo, recoñeza gatos en fotografías, había que describir pasos lóxicos. Como atopar recunchos nunha imaxe, recoñecer ollos, analizar texturas para a pel, contar patas, etc. A continuación, xunta todos os compoñentes e descubre que realmente non funciona. Moi parecido a un cabalo mecánico - teoricamente pódese facer, pero na práctica é demasiado complexo para describir. O resultado final son centos (ou incluso miles) de regras escritas a man. E nin un só modelo de traballo.
Coa chegada da aprendizaxe automática, deixamos de usar regras "manuais" para recoñecer un obxecto en particular. Pola contra, tomamos mil mostras de "isto", X, mil mostras de "outro", Y, e facémoslle que o ordenador constrúa un modelo baseado na súa análise estatística. Despois dámoslle a este modelo algúns datos de mostra e determina con certa precisión se encaixa nun dos conxuntos. A aprendizaxe automática xera un modelo a partir de datos e non de que un humano o escriba. Os resultados son impresionantes, especialmente no campo do recoñecemento de imaxes e patróns, e é por iso que toda a industria tecnolóxica está a pasar agora á aprendizaxe automática (ML).
Pero non é tan sinxelo. No mundo real, os teus miles de exemplos de X ou Y tamén conteñen A, B, J, L, O, R e incluso L. É posible que estes non estean distribuídos uniformemente e algúns poden ocorrer con tanta frecuencia que o sistema pagará máis atención a eles que a obxectos que che interesan.
Que significa isto na práctica? O meu exemplo favorito é cando os sistemas de recoñecemento de imaxes . Está claro o porqué: a maioría das fotografías de exemplo de "ovellas" están tomadas nos prados onde viven, e nestas imaxes a herba ocupa moito máis espazo que as pequenas pelusas brancas, e é a herba que o sistema considera máis importante. .
Hai exemplos máis serios. Unha recente para detectar o cancro de pel en fotografías. Descubriuse que os dermatólogos adoitan fotografiar a regra xunto coas manifestacións do cancro de pel para rexistrar o tamaño das formacións. Non hai regras nas fotografías de exemplo de pel sa. Para un sistema de IA, tales regras (máis precisamente, os píxeles que definimos como "regra") convertéronse nunha das diferenzas entre conxuntos de exemplos, e ás veces máis importantes que unha pequena erupción na pel. Así, un sistema creado para identificar o cancro de pel ás veces recoñecía gobernantes no seu lugar.
O punto clave aquí é que o sistema non ten unha comprensión semántica do que está mirando. Miramos un conxunto de píxeles e vemos neles unha ovella, pel ou regras, pero o sistema é só unha liña numérica. Ela non ve espazo tridimensional, non ve obxectos, texturas ou ovellas. Ela simplemente ve patróns nos datos.
A dificultade para diagnosticar tales problemas é que a rede neuronal (o modelo xerado polo seu sistema de aprendizaxe automática) consta de miles de centos de miles de nós. Non hai un xeito sinxelo de mirar un modelo e ver como toma unha decisión. Ter tal xeito significaría que o proceso é o suficientemente sinxelo como para describir todas as regras manualmente, sen usar a aprendizaxe automática. A xente preocúpalle que a aprendizaxe automática se converta nunha especie de caixa negra. (Explicarei un pouco máis tarde por que esta comparación aínda é demasiado.)
Este, en termos xerais, é o problema do sesgo na intelixencia artificial ou na aprendizaxe automática: un sistema para atopar patróns en datos pode atopar os patróns incorrectos, e pode que non o note. Esta é unha característica fundamental da tecnoloxía, e é obvio para todos os que traballan con ela no ámbito académico e nas grandes empresas tecnolóxicas. Pero as súas consecuencias son complexas, e tamén o son as nosas posibles solucións a esas consecuencias.
Falemos primeiro das consecuencias.
A IA pode, implícitamente para nós, facer unha elección a favor de determinadas categorías de persoas, baseándose nun gran número de sinais imperceptibles
Escenarios de sesgo da IA
O máis obvio e aterrador é que este problema pode manifestarse cando se trata da diversidade humana. Recentemente que Amazon intentou construír un sistema de aprendizaxe automática para a selección inicial dos candidatos a emprego. Dado que hai máis homes entre os traballadores de Amazon, os exemplos de "contratación exitosa" tamén son máis masculinos, e houbo máis homes na selección de currículos suxeridos polo sistema. Amazon notou isto e non lanzou o sistema en produción.
O máis importante neste exemplo é que se rumoreaba que o sistema favorecía aos candidatos masculinos, a pesar de que o sexo non se especificaba no currículo. O sistema viu outros patróns en exemplos de "boas contratacións": por exemplo, as mulleres poden usar palabras especiais para describir logros ou ter afeccións especiais. Por suposto, o sistema non sabía que era o "hóckey", nin quen eran as "persoas", nin que era o "éxito", simplemente realizou unha análise estatística do texto. Pero os patróns que viu probablemente pasarían desapercibidos para os humanos, e algúns deles (por exemplo, o feito de que as persoas de diferentes xéneros describan o éxito de forma diferente) probablemente serían difíciles de ver aínda que os mirásemos.
Ademais - peor. Un sistema de aprendizaxe automática que é moi bo para atopar cancro na pel pálida pode non funcionar tan ben na pel escura, ou viceversa. Non necesariamente por sesgo, senón porque probablemente necesites construír un modelo separado para unha cor de pel diferente, escollendo características diferentes. Os sistemas de aprendizaxe automática non son intercambiables nin sequera nunha área tan estreita como o recoñecemento de imaxes. Debes axustar o sistema, ás veces só a través de probas e erros, para ter un bo control das funcións dos datos que che interesan ata conseguir a precisión que queres. Pero o que pode non notar é que o sistema é preciso o 98% das veces cun grupo, e só o 91% (aínda máis preciso que a análise humana) co outro.
Ata agora usei principalmente exemplos relativos a persoas e as súas características. A discusión arredor deste problema céntrase principalmente neste tema. Pero é importante entender que o prexuízo cara ás persoas é só parte do problema. Usaremos a aprendizaxe automática para moitas cousas, e o erro de mostraxe será relevante para todas elas. Por outra banda, se traballas con persoas, o sesgo dos datos pode non estar relacionado con eles.
Para entender isto, volvamos ao exemplo do cancro de pel e consideremos tres posibilidades hipotéticas de fallo do sistema.
- Distribución heteroxénea das persoas: un número desequilibrado de fotografías de diferentes tons de pel, dando lugar a falsos positivos ou falsos negativos pola pigmentación.
- Os datos sobre os que se adestra o sistema contén unha característica frecuente e distribuída de forma heteroxénea que non está asociada ás persoas e que non ten ningún valor diagnóstico: unha regra en fotografías de cancro de pel ou herba en fotografías de ovellas. Neste caso, o resultado será diferente se o sistema atopa píxeles na imaxe de algo que o ollo humano identifica como "regra".
- Os datos conteñen unha característica de terceiros que unha persoa non pode ver aínda que a busque.
Qué significa? Sabemos a priori que os datos poden representar diferentes grupos de persoas de forma diferente e, como mínimo, podemos planificar buscar tales excepcións. Noutras palabras, hai moitas razóns sociais para asumir que os datos sobre grupos de persoas xa conteñen algún sesgo. Se miramos a foto coa regra, veremos esta regra: simplemente ignorámola antes, sabendo que non importa e esquecendo que o sistema non sabe nada.
Pero e se todas as túas fotos de pel insalubre foron tomadas nunha oficina con luz incandescente e a túa pel sa se fixera con luz fluorescente? E se, despois de rematar de disparar a pel sa, antes de disparar a pel insalubre, actualizaches o sistema operativo do teu teléfono e Apple ou Google cambiasen lixeiramente o algoritmo de redución de ruído? Unha persoa non pode notar isto, por moito que busque tales características. Pero o sistema de uso da máquina verá e utilizará isto inmediatamente. Ela non sabe nada.
Ata agora falamos de correlacións espurias, pero tamén pode ser que os datos sexan precisos e os resultados sexan correctos, pero non quere utilizalos por razóns éticas, legais ou de xestión. Algunhas xurisdicións, por exemplo, non permiten que as mulleres reciban un desconto no seu seguro, aínda que as mulleres poden ser condutores máis seguros. Podemos imaxinar facilmente un sistema que, ao analizar os datos históricos, asignaría un menor factor de risco aos nomes femininos. Vale, eliminemos os nomes da selección. Pero lembra o exemplo de Amazon: o sistema pode determinar o sexo en función doutros factores (aínda que non saiba que xénero é, nin sequera que é un coche), e non te decatarás diso ata que o regulador analice retroactivamente as tarifas ofréceche e cóbrache será multado.
Por último, adóitase asumir que só usaremos estes sistemas para proxectos que impliquen persoas e interaccións sociais. Isto está mal. Se fabricas turbinas de gas, probablemente queiras aplicar a aprendizaxe automática á telemetría transmitida por decenas ou centos de sensores do teu produto (audio, vídeo, temperatura e calquera outro sensor xeran datos que poden adaptarse moi facilmente para crear unha máquina). modelo de aprendizaxe). Hipotéticamente, poderíase dicir: “Aquí están os datos de mil turbinas que fallaron antes de fallar, e aquí están os datos de mil turbinas que non fallaron. Construír un modelo para dicir cal é a diferenza entre eles". Ben, agora imaxina que os sensores de Siemens están instalados no 75% das turbinas malas, e só no 12% das boas (non hai conexión con fallos). O sistema construirá un modelo para atopar turbinas con sensores Siemens. Vaia!
Imaxe: Moritz Hardt, UC Berkeley
Xestionar o sesgo da IA
Que podemos facer respecto diso? Podes abordar o problema desde tres ángulos:
- Rigor metodolóxico na recollida e xestión de datos para a formación do sistema.
- Ferramentas técnicas para analizar e diagnosticar o comportamento do modelo.
- Adestra, educa e teña coidado ao implementar a aprendizaxe automática nos produtos.
Hai unha broma no libro de Molière "Os burgueses na nobreza": a un home dixéronlle que a literatura está dividida en prosa e poesía, e quedou encantado ao descubrir que levaba toda a vida falando en prosa, sen sabelo. Probablemente así se sintan hoxe os estatísticos: sen darse conta, dedicaron a súa carreira á intelixencia artificial e ao erro de mostraxe. Buscar o erro de mostraxe e preocuparse por el non é un problema novo, só precisamos abordar sistemáticamente a súa solución. Como se mencionou anteriormente, nalgúns casos é realmente máis fácil facelo estudando problemas relacionados cos datos das persoas. Supoñemos a priori que podemos ter prexuízos con respecto a diferentes grupos de persoas, pero é difícil que imaxinamos un prexuízo sobre os sensores Siemens.
O novo de todo isto, por suposto, é que a xente xa non fai análise estatística directamente. Realízase por máquinas que crean modelos grandes e complexos de difícil comprensión. A cuestión da transparencia é un dos principais aspectos do problema da parcialidade. Temos que o sistema non só estea sesgado, senón que non haxa forma de detectar o seu sesgo e que a aprendizaxe automática sexa diferente doutras formas de automatización, que se supón que consisten en pasos lóxicos claros que se poden probar.
Aquí hai dous problemas. É posible que aínda poidamos realizar algún tipo de auditoría dos sistemas de aprendizaxe automática. E auditar calquera outro sistema en realidade non é máis sinxelo.
En primeiro lugar, unha das direccións da investigación moderna no campo da aprendizaxe automática é a busca de métodos para identificar a funcionalidade importante dos sistemas de aprendizaxe automática. Dito isto, a aprendizaxe automática (no seu estado actual) é un campo da ciencia completamente novo que está a cambiar rapidamente, así que non penses que as cousas que hoxe son imposibles non poden chegar a ser moi reais. Proxecto - un exemplo interesante diso.
En segundo lugar, a idea de que podes probar e comprender o proceso de toma de decisións dos sistemas ou organizacións existentes é boa en teoría, pero tamén na práctica. Entender como se toman as decisións nunha gran organización non é doado. Aínda que exista un proceso formal de toma de decisións, non reflicte a forma en que as persoas interactúan realmente, e eles mesmos moitas veces non teñen un enfoque lóxico e sistemático para tomar as súas decisións. Como dixo o meu compañeiro , as persoas tamén son caixas negras.
Leve mil persoas en varias empresas e institucións superpostas, e o problema faise aínda máis complexo. Sabemos despois do feito de que o transbordador espacial estaba destinado a romper ao regresar, e os individuos da NASA tiñan información que lles daba razóns para pensar que algo malo podería ocorrer, pero o sistema xeralmente Eu non sabía isto. A NASA mesmo pasou por unha auditoría similar despois de perder a súa lanzadeira anterior, e aínda así perdeu outra por un motivo moi similar. É doado argumentar que as organizacións e as persoas seguen regras claras e lóxicas que poden ser probadas, entendidas e modificadas, pero a experiencia demostra o contrario. Este "».
Moitas veces comparo a aprendizaxe automática coas bases de datos, especialmente as relacionais, unha nova tecnoloxía fundamental que cambiou as capacidades da informática e do mundo que a rodea, que pasou a formar parte de todo, que usamos constantemente sen darnos conta. As bases de datos tamén teñen problemas, e son de natureza semellante: o sistema pode estar construído sobre malas suposicións ou malos datos, pero será difícil notar, e as persoas que utilicen o sistema farán o que lles di sen facer preguntas. Hai moitas bromas antigas sobre os fiscais que antes escribiron mal o teu nome, e convencelos de que corrixan o erro é moito máis difícil que cambiar o teu nome. Hai moitas formas de pensar sobre isto, pero non está claro cal é mellor: como un problema técnico en SQL, ou como un erro nunha versión de Oracle, ou como un fracaso das institucións burocráticas? Que difícil é atopar un erro nun proceso que fixo que o sistema non teña unha función de corrección de erros tipográficos? Poderíase descubrir isto antes de que a xente comezase a queixarse?
Este problema móstrase aínda máis simplemente por historias cando os condutores conducen aos ríos debido a datos obsoletos do navegador. Está ben, os mapas deben actualizarse constantemente. Pero canta culpa ten a TomTom de que o teu coche saia ao mar?
A razón pola que digo isto é que si, o sesgo da aprendizaxe automática creará problemas. Pero estes problemas serán similares aos que nos enfrontamos no pasado, e pódense notar e resolver (ou non) tan ben como puidemos no pasado. Polo tanto, é improbable que un escenario no que o sesgo da IA cause dano a investigadores seniores que traballan nunha gran organización. O máis probable é que algún contratista de tecnoloxía ou vendedor de software insignificante escriba algo de xeonllos, utilizando compoñentes, bibliotecas e ferramentas de código aberto que non entenden. E o cliente desafortunado comprará a frase "intelixencia artificial" na descrición do produto e, sen facer ningunha pregunta, distribuíraa aos seus empregados mal pagados, ordenándolles que fagan o que di a IA. Isto é exactamente o que pasou coas bases de datos. Este non é un problema de intelixencia artificial, nin sequera un problema de software. Este é o factor humano.
Conclusión
A aprendizaxe automática pode facer calquera cousa que poidas ensinarlle a un can, pero nunca podes estar seguro de que lle ensinaches exactamente ao can.
Moitas veces sinto que o termo "intelixencia artificial" só interfire en conversas como esta. Este termo dá a falsa impresión de que realmente o creamos: esta intelixencia. Que imos camiño de HAL9000 ou Skynet, algo que en realidade entende. Pero non. Estas son só máquinas, e é moito máis preciso comparalas con, por exemplo, unha lavadora. Ela lava a roupa moito mellor que un humano, pero se lle metes pratos en lugar da roupa, ela... vai lavar. Os pratos ata quedarán limpos. Pero isto non será o que esperabas, e isto non sucederá porque o sistema ten algún prexuízo respecto dos pratos. A lavadora non sabe que son os pratos nin que roupa son: é só un exemplo de automatización, conceptualmente non diferente de como se automatizaban os procesos antes.
Xa se trate de coches, avións ou bases de datos, estes sistemas serán moi potentes e moi limitados. Dependerán enteiramente de como a xente use estes sistemas, de se as súas intencións son boas ou malas e de canto entendan como funcionan.
Polo tanto, dicir que "a intelixencia artificial son matemáticas, polo que non pode ter prexuízos" é completamente falso. Pero é igualmente falso dicir que a aprendizaxe automática é "de natureza subxectiva". A aprendizaxe automática atopa patróns nos datos e os patróns que atopa dependen dos datos e os datos dependen de nós. Igual que facemos con eles. A aprendizaxe automática fai algunhas cousas moito mellor que nós, pero os cans, por exemplo, son moito máis eficaces que os humanos para detectar drogas, o que non é un motivo para usalas como testemuñas e emitir xuízos baseados no seu testemuño. E os cans, por certo, son moito máis intelixentes que calquera sistema de aprendizaxe automática.
Tradución: .
Edición: .
Comunidade: .
Fonte: www.habr.com