tl; dr:
- El aprendizaje automático busca patrones en los datos. Pero la inteligencia artificial puede ser “sesgada”, es decir, encontrar patrones incorrectos. Por ejemplo, un sistema de detección de cáncer de piel basado en fotografías podría prestar especial atención a las imágenes tomadas en el consultorio de un médico. El aprendizaje automático no puede понимать: sus algoritmos sólo identifican patrones en los números, y si los datos no son representativos, también lo será el resultado de su procesamiento. Y detectar esos errores puede resultar difícil debido a la propia mecánica del aprendizaje automático.
- El área problemática más obvia y de enormes proporciones es la diversidad humana. Hay muchas razones por las que los datos sobre las personas pueden perder objetividad incluso en la etapa de recopilación. Pero no penséis que este problema afecta sólo a las personas: exactamente las mismas dificultades surgen cuando se intenta detectar una inundación en un almacén o una turbina de gas averiada. Algunos sistemas pueden estar sesgados hacia el color de la piel, otros estarán sesgados hacia los sensores Siemens.
- Estos problemas no son nuevos para el aprendizaje automático y están lejos de ser exclusivos de él. En cualquier estructura compleja se hacen suposiciones erróneas y siempre resulta difícil comprender por qué se tomó una decisión concreta. Necesitamos combatir esto de manera integral: crear herramientas y procesos de verificación y educar a los usuarios para que no sigan ciegamente las recomendaciones de la IA. El aprendizaje automático hace algunas cosas mucho mejor que nosotros, pero los perros, por ejemplo, son mucho más eficaces que los humanos para detectar drogas, lo que no es motivo para utilizarlos como testigos y emitir juicios basados en sus testimonios. Y los perros, por cierto, son mucho más inteligentes que cualquier sistema de aprendizaje automático.
El aprendizaje automático es una de las tendencias tecnológicas fundamentales más importantes en la actualidad. Esta es una de las principales formas en que la tecnología cambiará el mundo que nos rodea en la próxima década. Algunos aspectos de estos cambios son motivo de preocupación. Por ejemplo, el impacto potencial del aprendizaje automático en el mercado laboral, o su uso con fines poco éticos (por ejemplo, por regímenes autoritarios). Hay otro problema que aborda esta publicación: sesgo de inteligencia artificial.
Esta no es una historia fácil.
La IA de Google puede encontrar gatos. Esta noticia de 2012 fue algo especial en aquel entonces.
¿Qué es el “sesgo de IA”?
Los “datos sin procesar” son a la vez un oxímoron y una mala idea; Los datos deben prepararse bien y con cuidado. —Geoffrey Bóker
En algún momento antes de 2013, para crear un sistema que, por ejemplo, reconociera gatos en fotografías, había que describir pasos lógicos. Cómo encontrar esquinas en una imagen, reconocer ojos, analizar texturas en busca de pelaje, contar patas, etc. Luego junta todos los componentes y descubre que en realidad no funciona. Es muy parecido a un caballo mecánico: en teoría se puede fabricar, pero en la práctica es demasiado complejo para describirlo. El resultado final son cientos (o incluso miles) de reglas escritas a mano. Y ni un solo modelo funcional.
Con la llegada del aprendizaje automático, dejamos de utilizar reglas "manuales" para reconocer un objeto en particular. En lugar de eso, tomamos mil muestras de “esto”, X, mil muestras de “otro”, Y, y hacemos que la computadora construya un modelo basado en su análisis estadístico. Luego le damos a este modelo algunos datos de muestra y determina con cierta precisión si se ajusta a uno de los conjuntos. El aprendizaje automático genera un modelo a partir de datos en lugar de que lo escriba un ser humano. Los resultados son impresionantes, especialmente en el campo del reconocimiento de imágenes y patrones, y es por eso que toda la industria tecnológica está pasando al aprendizaje automático (ML).
Pero no es tan simple. En el mundo real, sus miles de ejemplos de X o Y también contienen A, B, J, L, O, R e incluso L. Es posible que estos no estén distribuidos uniformemente y algunos pueden ocurrir con tanta frecuencia que el sistema pagará más. atención a ellos que a los objetos que te interesan.
¿Qué significa esto en la práctica? Mi ejemplo favorito es cuando los sistemas de reconocimiento de imágenes . Está claro por qué: la mayoría de las fotografías de ejemplo de "ovejas" están tomadas en los prados donde viven, y en estas imágenes la hierba ocupa mucho más espacio que las pequeñas pelusas blancas, y es la hierba la que el sistema considera más importante. .
Hay ejemplos más serios. uno reciente para detectar cáncer de piel en fotografías. Resultó que los dermatólogos suelen fotografiar la regla junto con las manifestaciones del cáncer de piel para registrar el tamaño de las formaciones. No hay reglas en las fotografías de ejemplo de piel sana. Para un sistema de IA, tales reglas (más precisamente, los píxeles que definimos como "regla") se han convertido en una de las diferencias entre conjuntos de ejemplos y, a veces, en más importantes que una pequeña erupción en la piel. Por eso, un sistema creado para identificar el cáncer de piel a veces reconocía a los gobernantes.
El punto clave aquí es que el sistema no tiene una comprensión semántica de lo que está mirando. Observamos un conjunto de píxeles y vemos en ellos una oveja, una piel o reglas, pero el sistema es sólo una recta numérica. No ve el espacio tridimensional, no ve objetos, texturas ni ovejas. Simplemente ve patrones en los datos.
La dificultad para diagnosticar este tipo de problemas es que la red neuronal (el modelo generado por su sistema de aprendizaje automático) consta de miles de cientos de miles de nodos. No existe una manera fácil de examinar un modelo y ver cómo toma una decisión. Tener tal forma significaría que el proceso es lo suficientemente simple como para describir todas las reglas manualmente, sin utilizar el aprendizaje automático. A la gente le preocupa que el aprendizaje automático se haya convertido en una especie de caja negra. (Explicaré un poco más adelante por qué esta comparación sigue siendo demasiado).
Éste, en términos generales, es el problema del sesgo en la inteligencia artificial o el aprendizaje automático: un sistema para encontrar patrones en los datos puede encontrar patrones incorrectos y es posible que usted no lo note. Esta es una característica fundamental de la tecnología y es obvia para todos los que trabajan con ella en el mundo académico y en las grandes empresas tecnológicas. Pero sus consecuencias son complejas, al igual que nuestras posibles soluciones a esas consecuencias.
Hablemos primero de las consecuencias.
La IA puede, implícitamente para nosotros, tomar decisiones a favor de determinadas categorías de personas, basándose en un gran número de señales imperceptibles.
Escenarios de sesgo de IA
Lo más obvio y aterrador es que este problema puede manifestarse cuando se trata de la diversidad humana. Recientemente que Amazon intentó construir un sistema de aprendizaje automático para la selección inicial de candidatos a puestos de trabajo. Dado que hay más hombres entre los trabajadores de Amazon, los ejemplos de “contratación exitosa” también son más a menudo masculinos, y hubo más hombres en la selección de currículums sugeridos por el sistema. Amazon se dio cuenta de esto y no puso el sistema en producción.
Lo más importante en este ejemplo es que se rumoreaba que el sistema favorecía a los solicitantes masculinos, a pesar de que el género no estaba especificado en el currículum. El sistema vio otros patrones en ejemplos de "buenas contrataciones": por ejemplo, las mujeres podrían usar palabras especiales para describir logros o tener pasatiempos especiales. Por supuesto, el sistema no sabía qué era el "hockey", ni quiénes eran las "personas", ni qué era el "éxito": simplemente realizaba un análisis estadístico del texto. Pero los patrones que vio probablemente pasarían desapercibidos para los humanos, y algunos de ellos (por ejemplo, el hecho de que personas de diferentes géneros describen el éxito de manera diferente) probablemente nos resultarían difíciles de ver incluso si los miráramos.
Además, peor. Un sistema de aprendizaje automático que es muy bueno para encontrar cáncer en pieles pálidas puede no funcionar tan bien en pieles oscuras, o viceversa. No necesariamente por prejuicios, sino porque probablemente necesites construir un modelo separado para un color de piel diferente, eligiendo diferentes características. Los sistemas de aprendizaje automático no son intercambiables ni siquiera en un área tan limitada como el reconocimiento de imágenes. Es necesario modificar el sistema, a veces simplemente mediante prueba y error, para controlar bien las características de los datos que le interesan hasta lograr la precisión que desea. Pero lo que quizás no notes es que el sistema es preciso el 98% de las veces con un grupo, y sólo el 91% (incluso más preciso que el análisis humano) con el otro.
Hasta ahora he utilizado principalmente ejemplos relacionados con personas y sus características. La discusión en torno a este problema se centra principalmente en este tema. Pero es importante comprender que el prejuicio hacia las personas es sólo una parte del problema. Usaremos el aprendizaje automático para muchas cosas y el error de muestreo será relevante para todas ellas. Por otro lado, si trabaja con personas, es posible que el sesgo de los datos no esté relacionado con ellas.
Para entender esto, volvamos al ejemplo del cáncer de piel y consideremos tres posibilidades hipotéticas de falla del sistema.
- Distribución heterogénea de personas: un número desequilibrado de fotografías de diferentes tonos de piel, dando lugar a falsos positivos o falsos negativos debido a la pigmentación.
- Los datos con los que se entrena el sistema contienen una característica frecuente y distribuida de forma heterogénea que no está asociada con las personas y no tiene valor diagnóstico: una regla en fotografías de cáncer de piel o pasto en fotografías de ovejas. En este caso, el resultado será diferente si el sistema encuentra píxeles en la imagen de algo que el ojo humano identifica como una “regla”.
- Los datos contienen una característica de terceros que una persona no puede ver aunque la busque.
¿Qué significa? Sabemos a priori que los datos pueden representar diferentes grupos de personas de manera diferente y, como mínimo, podemos planificar la búsqueda de tales excepciones. En otras palabras, hay muchas razones sociales para suponer que los datos sobre grupos de personas ya contienen algún sesgo. Si miramos la foto con la regla, veremos esta regla; antes simplemente la ignoramos, sabiendo que no importa y olvidando que el sistema no sabe nada.
Pero, ¿qué pasaría si todas sus fotografías de piel no saludable fueran tomadas en una oficina bajo luz incandescente y su piel sana fuera tomada bajo luz fluorescente? ¿Qué pasaría si, después de terminar de fotografiar piel sana, antes de fotografiar piel no saludable, actualizaras el sistema operativo de tu teléfono y Apple o Google cambiaran ligeramente el algoritmo de reducción de ruido? Una persona no puede notar esto, por mucho que busque tales características. Pero el sistema de uso de la máquina verá y utilizará esto inmediatamente. Ella no sabe nada.
Hasta ahora hemos hablado de correlaciones espurias, pero también podría ser que los datos sean precisos y los resultados correctos, pero no desee utilizarlos por razones éticas, legales o de gestión. Algunas jurisdicciones, por ejemplo, no permiten que las mujeres reciban un descuento en su seguro, aunque puedan ser conductoras más seguras. Podemos imaginar fácilmente un sistema que, al analizar datos históricos, asignaría un factor de riesgo menor a los nombres femeninos. Bien, eliminemos los nombres de la selección. Pero recuerde el ejemplo de Amazon: el sistema puede determinar el género basándose en otros factores (aunque no sabe qué es un género, ni siquiera qué es un automóvil), y usted no se dará cuenta de esto hasta que el regulador analice retroactivamente las tarifas que usted oferta y te cobra serás multado.
Finalmente, a menudo se supone que sólo usaremos dichos sistemas para proyectos que involucran personas e interacciones sociales. Esto está mal. Si fabrica turbinas de gas, probablemente querrá aplicar el aprendizaje automático a la telemetría transmitida por decenas o cientos de sensores en su producto (audio, video, temperatura y cualquier otro sensor genera datos que se pueden adaptar muy fácilmente para crear una máquina). modelo de aprendizaje). Hipotéticamente, se podría decir: “Aquí hay datos de mil turbinas que fallaron antes de fallar, y aquí hay datos de mil turbinas que no fallaron. Construya un modelo para saber cuál es la diferencia entre ellos”. Bueno, ahora imaginemos que los sensores Siemens están instalados en el 75% de las turbinas defectuosas y solo en el 12% de las buenas (no hay conexión con las fallas). El sistema construirá un modelo para encontrar turbinas con sensores Siemens. ¡Ups!
Foto: Moritz Hardt, UC Berkeley
Gestión del sesgo de la IA
¿Qué podemos hacer al respecto? Puedes abordar el tema desde tres ángulos:
- Rigor metodológico en la recogida y gestión de datos para el entrenamiento del sistema.
- Herramientas técnicas para analizar y diagnosticar el comportamiento del modelo.
- Capacite, eduque y tenga cuidado al implementar el aprendizaje automático en los productos.
Hay un chiste en el libro de Molière “Los burgueses de la nobleza”: a un hombre le dijeron que la literatura se divide en prosa y poesía, y quedó encantado al descubrir que había estado hablando en prosa toda su vida, sin saberlo. Probablemente así se sientan hoy los estadísticos: sin darse cuenta, han dedicado su carrera a la inteligencia artificial y al error de muestreo. Buscar errores de muestreo y preocuparse por ellos no es un problema nuevo, sólo debemos abordar sistemáticamente su solución. Como se mencionó anteriormente, en algunos casos es más fácil hacerlo estudiando problemas relacionados con datos de personas. A priori asumimos que podemos tener prejuicios sobre diferentes grupos de personas, pero nos resulta difícil siquiera imaginar un prejuicio sobre los sensores de Siemens.
Lo nuevo de todo esto, por supuesto, es que la gente ya no hace análisis estadísticos directamente. Se lleva a cabo mediante máquinas que crean modelos grandes, complejos y difíciles de entender. La cuestión de la transparencia es uno de los principales aspectos del problema del sesgo. Tememos que el sistema no sólo esté sesgado, sino que no haya forma de detectar su sesgo, y que el aprendizaje automático sea diferente de otras formas de automatización, que se supone que constan de pasos lógicos claros que pueden probarse.
Hay dos problemas aquí. Es posible que aún podamos realizar algún tipo de auditoría de los sistemas de aprendizaje automático. Y auditar cualquier otro sistema no es realmente fácil.
En primer lugar, una de las direcciones de la investigación moderna en el campo del aprendizaje automático es la búsqueda de métodos para identificar funcionalidades importantes de los sistemas de aprendizaje automático. Dicho esto, el aprendizaje automático (en su estado actual) es un campo de la ciencia completamente nuevo que está cambiando rápidamente, así que no creas que las cosas que hoy son imposibles no podrán volverse reales pronto. Proyecto - un ejemplo interesante de esto.
En segundo lugar, la idea de que se puede probar y comprender el proceso de toma de decisiones de sistemas u organizaciones existentes es buena en teoría, pero regular en la práctica. Comprender cómo se toman las decisiones en una organización grande no es fácil. Incluso si existe un proceso formal de toma de decisiones, éste no refleja cómo interactúan realmente las personas y, a menudo, ellas mismas no tienen un enfoque lógico y sistemático para tomar sus decisiones. Como dijo mi colega , las personas también somos cajas negras.
Si tomamos mil personas en varias empresas e instituciones superpuestas, el problema se vuelve aún más complejo. Sabemos después del hecho que el transbordador espacial estaba destinado a romperse al regresar, y las personas dentro de la NASA tenían información que les daba motivos para pensar que algo malo podría suceder, pero el sistema en general No sabía esto. La NASA incluso acaba de pasar por una auditoría similar después de perder su transbordador anterior y, sin embargo, perdió otro por una razón muy similar. Es fácil argumentar que las organizaciones y las personas siguen reglas claras y lógicas que pueden probarse, comprenderse y modificarse, pero la experiencia demuestra lo contrario. Este "".
A menudo comparo el aprendizaje automático con las bases de datos, especialmente las relacionales: una nueva tecnología fundamental que ha cambiado las capacidades de la informática y el mundo que la rodea, que se ha convertido en parte de todo y que utilizamos constantemente sin darnos cuenta. Las bases de datos también tienen problemas, y son de naturaleza similar: el sistema puede estar construido sobre suposiciones erróneas o datos incorrectos, pero será difícil darse cuenta, y las personas que usan el sistema harán lo que les diga sin hacer preguntas. Hay muchos chistes viejos sobre recaudadores de impuestos que alguna vez escribieron mal su nombre, y convencerlos de que corrijan el error es mucho más difícil que cambiar su nombre. Hay muchas maneras de pensar en esto, pero no está claro cuál es mejor: ¿como un problema técnico en SQL, o como un error en una versión de Oracle, o como una falla de las instituciones burocráticas? ¿Qué tan difícil es encontrar un error en un proceso que ha provocado que el sistema no tenga una función de corrección de errores tipográficos? ¿Podría haberse resuelto esto antes de que la gente empezara a quejarse?
Este problema se ilustra aún más fácilmente con historias de conductores que se estrellan en ríos debido a datos desactualizados en el navegador. Bien, los mapas deben actualizarse constantemente. Pero, ¿cuánta culpa tiene TomTom de que su coche haya sido arrastrado al mar?
La razón por la que digo esto es que sí, el sesgo del aprendizaje automático creará problemas. Pero estos problemas serán similares a los que hemos enfrentado en el pasado, y podrán notarse y resolverse (o no) tan bien como pudimos hacerlo en el pasado. Por lo tanto, es poco probable que un escenario en el que el sesgo de la IA cause daño a los investigadores senior que trabajan en una organización grande. Lo más probable es que algún contratista de tecnología o proveedor de software insignificante escriba algo de rodillas, utilizando componentes, bibliotecas y herramientas de código abierto que no comprende. Y el desafortunado cliente comprará la frase "inteligencia artificial" en la descripción del producto y, sin hacer preguntas, la distribuirá a sus empleados mal pagados, ordenándoles que hagan lo que dice la IA. Esto es exactamente lo que pasó con las bases de datos. Este no es un problema de inteligencia artificial, ni siquiera un problema de software. Este es el factor humano.
Conclusión
El aprendizaje automático puede hacer cualquier cosa que puedas enseñarle a un perro, pero nunca puedes estar seguro de qué le enseñaste exactamente.
A menudo siento que el término "inteligencia artificial" sólo interfiere en conversaciones como esta. Este término da la falsa impresión de que en realidad lo creamos nosotros: esta inteligencia. Que estamos en camino hacia HAL9000 o Skynet, algo que en realidad entiende. Pero no. Estas son solo máquinas y es mucho más exacto compararlas con, digamos, una lavadora. Ella lava la ropa mucho mejor que un humano, pero si le pones platos en lugar de ropa, ella... los lavará. Los platos quedarán incluso limpios. Pero esto no será lo que esperabas, y no sucederá porque el sistema tenga prejuicios respecto a los platos. La lavadora no sabe qué son los platos ni qué es la ropa; es solo un ejemplo de automatización, conceptualmente no diferente de cómo se automatizaban los procesos antes.
Ya sea que estemos hablando de automóviles, aviones o bases de datos, estos sistemas serán muy poderosos y muy limitados. Dependerán enteramente de cómo las personas utilicen estos sistemas, de si sus intenciones son buenas o malas y de cuánto comprenden cómo funcionan.
Por tanto, decir que “la inteligencia artificial es matemática, por lo que no puede tener sesgos” es completamente falso. Pero es igualmente falso decir que el aprendizaje automático es “de naturaleza subjetiva”. El aprendizaje automático encuentra patrones en los datos, y los patrones que encuentra dependen de los datos, y los datos dependen de nosotros. Como lo que hacemos con ellos. El aprendizaje automático hace algunas cosas mucho mejor que nosotros, pero los perros, por ejemplo, son mucho más eficaces que los humanos para detectar drogas, lo que no es motivo para utilizarlos como testigos y emitir juicios basados en sus testimonios. Y los perros, por cierto, son mucho más inteligentes que cualquier sistema de aprendizaje automático.
Traducción: .
Edición: .
Comunidad: .
Fuente: habr.com