Sobre preconceito de inteligência artificial

tl; dr:

• O aprendizado de máquina procura padrões nos dados. Mas a inteligência artificial pode ser “tendenciosa” – isto é, encontrar padrões incorretos. Por exemplo, um sistema de detecção de câncer de pele baseado em fotos pode prestar atenção especial às imagens tiradas em um consultório médico. O aprendizado de máquina não pode entender: seus algoritmos apenas identificam padrões em números, e se os dados não forem representativos, o mesmo acontecerá com o resultado de seu processamento. E detectar esses bugs pode ser difícil devido à própria mecânica do aprendizado de máquina.
• A área problemática mais óbvia e assustadora é a diversidade humana. Existem muitas razões pelas quais os dados sobre as pessoas podem perder objectividade mesmo na fase de recolha. Mas não pense que este problema afecta apenas as pessoas: surgem exactamente as mesmas dificuldades quando se tenta detectar uma inundação num armazém ou uma turbina a gás avariada. Alguns sistemas podem ser tendenciosos em relação à cor da pele, outros serão tendenciosos em relação aos sensores Siemens.
• Esses problemas não são novos no aprendizado de máquina e estão longe de ser exclusivos dele. Suposições erradas são feitas em qualquer estrutura complexa, e é sempre difícil entender por que uma determinada decisão foi tomada. Precisamos combater isso de forma abrangente: criar ferramentas e processos de verificação – e educar os usuários para que não sigam cegamente as recomendações da IA. A aprendizagem automática faz algumas coisas muito melhor do que nós - mas os cães, por exemplo, são muito mais eficazes do que os humanos na detecção de drogas, o que não é razão para usá-los como testemunhas e fazer julgamentos com base no seu testemunho. E os cães, aliás, são muito mais inteligentes do que qualquer sistema de aprendizado de máquina.

O aprendizado de máquina é uma das tendências tecnológicas fundamentais mais importantes da atualidade. Esta é uma das principais formas pelas quais a tecnologia mudará o mundo que nos rodeia na próxima década. Alguns aspectos destas mudanças são motivo de preocupação. Por exemplo, o impacto potencial da aprendizagem automática no mercado de trabalho ou a sua utilização para fins antiéticos (por exemplo, por regimes autoritários). Há outro problema que esta postagem aborda: preconceito de inteligência artificial.

Esta não é uma história fácil.

A IA do Google pode encontrar gatos. Essa notícia de 2012 foi algo especial naquela época.

O que é “preconceito de IA”?

“Dados brutos” são ao mesmo tempo um oxímoro e uma má ideia; os dados devem ser bem preparados e cuidadosamente. —Geoffrey Boker

Em algum momento antes de 2013, para criar um sistema que, por exemplo, reconheça gatos em fotografias, era necessário descrever etapas lógicas. Como encontrar cantos em uma imagem, reconhecer olhos, analisar texturas de pelos, contar patas e assim por diante. Em seguida, junte todos os componentes e descubra que realmente não funciona. Muito parecido com um cavalo mecânico - teoricamente pode ser feito, mas na prática é complexo demais para ser descrito. O resultado final são centenas (ou até milhares) de regras escritas à mão. E nem um único modelo funcional.

Com o advento do aprendizado de máquina, paramos de usar regras “manuais” para reconhecer um objeto específico. Em vez disso, pegamos mil amostras de “isto”, X, mil amostras de “outro”, Y, e fazemos o computador construir um modelo baseado em sua análise estatística. Em seguida, fornecemos a este modelo alguns dados de amostra e ele determina com alguma precisão se ele se ajusta a um dos conjuntos. O aprendizado de máquina gera um modelo a partir de dados, e não a partir de um ser humano que o escreve. Os resultados são impressionantes, especialmente no campo do reconhecimento de imagens e padrões, e é por isso que toda a indústria tecnológica está agora a migrar para a aprendizagem automática (ML).

Mas não é tão simples. No mundo real, seus milhares de exemplos de X ou Y também contêm A, B, J, L, O, R e até L. Eles podem não ser distribuídos uniformemente e alguns podem ocorrer com tanta frequência que o sistema pagará mais atenção a eles do que a objetos que lhe interessam.

O que isso significa na prática? Meu exemplo favorito é quando os sistemas de reconhecimento de imagem olhe para uma colina gramada e diga "ovelhas". É claro o porquê: a maioria dos exemplos de fotografias de “ovelhas” são tiradas nos prados onde vivem, e nestas imagens a relva ocupa muito mais espaço do que as pequenas penugens brancas, e é a relva que o sistema considera mais importante .

Existem exemplos mais sérios. Um recente projeto para detectar câncer de pele em fotografias. Descobriu-se que os dermatologistas costumam fotografar a régua junto com as manifestações do câncer de pele para registrar o tamanho das formações. Não há réguas nos exemplos de fotografias de pele saudável. Para um sistema de IA, tais réguas (mais precisamente, os pixels que definimos como “régua”) tornaram-se uma das diferenças entre conjuntos de exemplos e, às vezes, mais importantes do que uma pequena erupção na pele. Portanto, um sistema criado para identificar o câncer de pele às vezes reconhecia os governantes.

O ponto chave aqui é que o sistema não tem compreensão semântica do que está vendo. Olhamos para um conjunto de pixels e vemos neles uma ovelha, uma pele ou uma régua, mas o sistema é apenas uma reta numérica. Ela não vê o espaço tridimensional, não vê objetos, texturas ou ovelhas. Ela simplesmente vê padrões nos dados.

A dificuldade em diagnosticar tais problemas é que a rede neural (o modelo gerado pelo seu sistema de aprendizado de máquina) consiste em milhares de centenas de milhares de nós. Não há uma maneira fácil de analisar um modelo e ver como ele toma uma decisão. Ter tal forma significaria que o processo é simples o suficiente para descrever todas as regras manualmente, sem usar aprendizado de máquina. As pessoas temem que o aprendizado de máquina tenha se tornado uma espécie de caixa preta. (Explicarei um pouco mais tarde porque essa comparação ainda é demais.)

Este, em termos gerais, é o problema do preconceito na inteligência artificial ou na aprendizagem automática: um sistema para encontrar padrões em dados pode encontrar os padrões errados, e você pode não perceber isso. Esta é uma característica fundamental da tecnologia e é óbvia para todos que trabalham com ela na academia e nas grandes empresas de tecnologia. Mas as suas consequências são complexas, assim como as nossas possíveis soluções para essas consequências.

Vamos falar sobre as consequências primeiro.

A IA pode, implicitamente para nós, fazer uma escolha a favor de certas categorias de pessoas, com base num grande número de sinais imperceptíveis

Cenários de preconceito de IA

De forma mais óbvia e assustadora, este problema pode manifestar-se quando se trata da diversidade humana. Recentemente houve um boatoque a Amazon tentou construir um sistema de aprendizado de máquina para triagem inicial de candidatos a empregos. Como há mais homens entre os trabalhadores da Amazon, os exemplos de “contratações bem-sucedidas” também são mais frequentemente masculinos, e houve mais homens na seleção de currículos sugeridos pelo sistema. A Amazon percebeu isso e não colocou o sistema em produção.

O mais importante neste exemplo é que havia rumores de que o sistema favorecia candidatos do sexo masculino, apesar de o sexo não estar especificado no currículo. O sistema viu outros padrões em exemplos de “boas contratações”: por exemplo, as mulheres podem usar palavras especiais para descrever realizações ou ter hobbies especiais. É claro que o sistema não sabia o que era “hóquei”, ou quem eram “pessoas”, ou o que era “sucesso” - ele simplesmente realizou uma análise estatística do texto. Mas os padrões que ela viu provavelmente passariam despercebidos pelos humanos, e alguns deles (por exemplo, o facto de pessoas de géneros diferentes descreverem o sucesso de forma diferente) seriam provavelmente difíceis de ver, mesmo que olhássemos para eles.

Além disso - pior. Um sistema de aprendizado de máquina que é muito bom para encontrar câncer em peles claras pode não funcionar tão bem em peles escuras, ou vice-versa. Não necessariamente por preconceito, mas porque provavelmente você precisará construir um modelo separado para uma cor de pele diferente, escolhendo características diferentes. Os sistemas de aprendizado de máquina não são intercambiáveis, mesmo em uma área tão restrita como o reconhecimento de imagens. Você precisa ajustar o sistema, às vezes apenas por tentativa e erro, para obter um bom controle dos recursos dos dados de seu interesse até atingir a precisão desejada. Mas o que você pode não notar é que o sistema é preciso 98% das vezes com um grupo e apenas 91% (ainda mais preciso que a análise humana) com o outro.

Até agora usei principalmente exemplos relacionados com pessoas e suas características. A discussão em torno deste problema concentra-se principalmente neste tópico. Mas é importante compreender que o preconceito em relação às pessoas é apenas parte do problema. Usaremos o aprendizado de máquina para muitas coisas, e o erro de amostragem será relevante para todas elas. Por outro lado, se você trabalha com pessoas, o preconceito nos dados pode não estar relacionado a elas.

Para entender isso, voltemos ao exemplo do câncer de pele e consideremos três possibilidades hipotéticas de falha do sistema.

1. Distribuição heterogênea de pessoas: número desequilibrado de fotografias de diferentes tons de pele, levando a falsos positivos ou falsos negativos devido à pigmentação.
2. Os dados nos quais o sistema é treinado contêm uma característica de ocorrência frequente e distribuída de forma heterogênea que não está associada a pessoas e não tem valor diagnóstico: uma régua em fotografias de câncer de pele ou grama em fotografias de ovelhas. Nesse caso, o resultado será diferente se o sistema encontrar pixels na imagem de algo que o olho humano identifica como “régua”.
3. Os dados contêm características de terceiros que uma pessoa não consegue ver, mesmo que as procure.

O que isso significa? Sabemos a priori que os dados podem representar diferentes grupos de pessoas de forma diferente e, no mínimo, podemos planear procurar tais excepções. Por outras palavras, existem muitas razões sociais para assumir que os dados sobre grupos de pessoas já contêm algum preconceito. Se olharmos a foto com a régua, veremos essa régua - simplesmente a ignoramos antes, sabendo que não importa, e esquecendo que o sistema não sabe de nada.

Mas e se todas as suas fotos de pele saudável fossem tiradas em um escritório sob luz incandescente e sua pele saudável fosse tirada sob luz fluorescente? E se, depois de terminar de fotografar uma pele saudável, antes de fotografar uma pele não saudável, você atualizasse o sistema operacional do seu telefone e a Apple ou o Google alterassem ligeiramente o algoritmo de redução de ruído? Uma pessoa não consegue perceber isso, por mais que procure tais características. Mas o sistema de uso da máquina verá e usará isso imediatamente. Ela não sabe de nada.

Até agora falamos sobre correlações espúrias, mas também pode ser que os dados sejam precisos e os resultados corretos, mas você não queira usá-los por razões éticas, legais ou de gestão. Algumas jurisdições, por exemplo, não permitem que as mulheres recebam descontos nos seus seguros, embora as mulheres possam ser condutoras mais seguras. Podemos facilmente imaginar um sistema que, ao analisar dados históricos, atribuísse um fator de risco menor aos nomes femininos. Ok, vamos remover nomes da seleção. Mas lembre-se do exemplo da Amazon: o sistema pode determinar o gênero com base em outros fatores (mesmo que não saiba qual é o gênero, ou mesmo o que é um carro), e você não notará isso até que o regulador analise retroativamente as tarifas que você oferecer e cobrar você será multado.

Finalmente, muitas vezes presume-se que utilizaremos tais sistemas apenas para projetos que envolvam pessoas e interações sociais. Isto está errado. Se você fabrica turbinas a gás, provavelmente desejará aplicar o aprendizado de máquina à telemetria transmitida por dezenas ou centenas de sensores em seu produto (áudio, vídeo, temperatura e quaisquer outros sensores geram dados que podem ser facilmente adaptados para criar uma máquina modelo de aprendizagem). Hipoteticamente, você poderia dizer: “Aqui estão os dados de mil turbinas que falharam antes de falharem, e aqui estão os dados de mil turbinas que não falharam. Construa um modelo para saber qual é a diferença entre eles.” Bem, agora imagine que os sensores da Siemens estão instalados em 75% das turbinas ruins e apenas em 12% das boas (não há ligação com falhas). O sistema construirá um modelo para encontrar turbinas com sensores Siemens. Ops!

Foto — Moritz Hardt, UC Berkeley

Gerenciando preconceitos de IA

O que podemos fazer sobre isso? Você pode abordar a questão de três ângulos:

1. Rigor metodológico na coleta e gerenciamento de dados para treinamento do sistema.
2. Ferramentas técnicas para analisar e diagnosticar o comportamento do modelo.
3. Treine, eduque e tenha cuidado ao implementar aprendizado de máquina em produtos.

Há uma piada no livro de Molière “O Burguês na Nobreza”: disseram a um homem que a literatura se divide em prosa e poesia, e ele ficou encantado ao descobrir que tinha falado em prosa durante toda a sua vida, sem saber. Provavelmente é assim que os estatísticos se sentem hoje: sem perceber, dedicaram suas carreiras à inteligência artificial e ao erro de amostragem. Procurar erros amostrais e preocupar-se com eles não é um problema novo, basta abordar sistematicamente a sua solução. Conforme mencionado acima, em alguns casos é realmente mais fácil fazer isso estudando problemas relacionados a dados pessoais. Assumimos a priori que podemos ter preconceitos em relação a diferentes grupos de pessoas, mas é difícil imaginarmos um preconceito em relação aos sensores Siemens.

A novidade nisso tudo, é claro, é que as pessoas não fazem mais análises estatísticas diretamente. É realizado por máquinas que criam modelos grandes, complexos e de difícil compreensão. A questão da transparência é um dos principais aspectos do problema do preconceito. Tememos que o sistema não seja apenas tendencioso, mas que não haja forma de detectar a sua parcialidade, e que a aprendizagem automática seja diferente de outras formas de automação, que supostamente consistem em passos lógicos claros que podem ser testados.

Existem dois problemas aqui. Ainda poderemos realizar algum tipo de auditoria nos sistemas de aprendizado de máquina. E auditar qualquer outro sistema não é, na verdade, mais fácil.

Em primeiro lugar, uma das direções da pesquisa moderna no campo do aprendizado de máquina é a busca por métodos para identificar funcionalidades importantes dos sistemas de aprendizado de máquina. Dito isto, a aprendizagem automática (no seu estado atual) é um campo da ciência completamente novo que está a mudar rapidamente, por isso não pense que coisas que são impossíveis hoje não poderão tornar-se tão reais em breve. Projeto OpenAI - um exemplo interessante disso.

Em segundo lugar, a ideia de que é possível testar e compreender o processo de tomada de decisão de sistemas ou organizações existentes é boa na teoria, mas moderada na prática. Compreender como as decisões são tomadas em uma grande organização não é fácil. Mesmo que exista um processo formal de tomada de decisão, este não reflecte a forma como as pessoas interagem efectivamente, e elas próprias muitas vezes não têm uma abordagem lógica e sistemática para tomarem as suas decisões. Como disse meu colega Vijay Pande, as pessoas também são caixas pretas.

Consideremos mil pessoas em diversas empresas e instituições sobrepostas e o problema se torna ainda mais complexo. Sabemos depois do fato que o ônibus espacial estava destinado a quebrar no retorno, e indivíduos da NASA tinham informações que lhes davam motivos para pensar que algo ruim poderia acontecer, mas o sistema em geral Eu não sabia disso. A NASA acabou de passar por uma auditoria semelhante depois de perder seu ônibus espacial anterior, mas perdeu outro por um motivo muito semelhante. É fácil argumentar que as organizações e as pessoas seguem regras claras e lógicas que podem ser testadas, compreendidas e alteradas – mas a experiência prova o contrário. Esse "A ilusão da Gosplan".

Costumo comparar o aprendizado de máquina com bancos de dados, especialmente os relacionais - uma nova tecnologia fundamental que mudou as capacidades da ciência da computação e do mundo ao seu redor, que se tornou parte de tudo, que usamos constantemente sem perceber. Os bancos de dados também apresentam problemas, e são de natureza semelhante: o sistema pode ser construído com base em suposições ou dados incorretos, mas será difícil perceber, e as pessoas que usam o sistema farão o que ele lhes disser, sem fazer perguntas. Existem muitas piadas antigas sobre fiscais que uma vez escreveram seu nome errado, e convencê-los a corrigir o erro é muito mais difícil do que realmente mudar seu nome. Há muitas maneiras de pensar sobre isso, mas não está claro o que é melhor: como um problema técnico no SQL, ou como um bug em uma versão do Oracle, ou como uma falha de instituições burocráticas? Quão difícil é encontrar um bug em um processo que fez com que o sistema não tivesse um recurso de correção de erros de digitação? Isso poderia ter sido descoberto antes que as pessoas começassem a reclamar?

Este problema é ilustrado de forma ainda mais simples pelas histórias em que motoristas entram em rios devido a dados desatualizados no navegador. Ok, os mapas precisam ser atualizados constantemente. Mas até que ponto a TomTom é culpada pelo seu carro ter explodido no mar?

A razão pela qual digo isso é que sim, o preconceito do aprendizado de máquina criará problemas. Mas estes problemas serão semelhantes aos que enfrentámos no passado e poderão ser notados e resolvidos (ou não) tão bem como fomos capazes de o fazer no passado. Portanto, é improvável que um cenário em que o preconceito da IA ​​cause danos aconteça a investigadores seniores que trabalham numa grande organização. Muito provavelmente, algum contratante de tecnologia ou fornecedor de software insignificante escreverá algo de joelhos, usando componentes, bibliotecas e ferramentas de código aberto que eles não entendem. E o azarado cliente comprará a frase “inteligência artificial” na descrição do produto e, sem fazer perguntas, distribuirá aos seus funcionários mal remunerados, ordenando-lhes que façam o que a IA manda. Foi exatamente isso que aconteceu com os bancos de dados. Este não é um problema de inteligência artificial, nem mesmo um problema de software. Este é o fator humano.

Conclusão

O aprendizado de máquina pode fazer qualquer coisa que você possa ensinar a um cachorro - mas você nunca pode ter certeza do que exatamente ensinou ao cachorro.

Muitas vezes sinto que o termo “inteligência artificial” só atrapalha conversas como esta. Este termo dá a falsa impressão de que nós realmente o criamos – esta inteligência. Que estamos a caminho do HAL9000 ou Skynet - algo que na verdade compreende. Mas não. Estas são apenas máquinas e é muito mais preciso compará-las a, digamos, uma máquina de lavar. Ela lava roupa muito melhor do que um humano, mas se você colocar louça nela em vez de roupa, ela... vai lavá-la. A louça ficará até limpa. Mas não será isso que você esperava e não acontecerá porque o sistema tem preconceitos em relação aos pratos. A máquina de lavar não sabe o que são pratos ou roupas - é apenas um exemplo de automação, conceitualmente não diferente de como os processos eram automatizados antes.

Quer estejamos falando de carros, aviões ou bancos de dados, esses sistemas serão muito poderosos e muito limitados. Dependerão inteiramente de como as pessoas utilizam estes sistemas, se as suas intenções são boas ou más, e até que ponto compreendem como funcionam.

Portanto, dizer que “a inteligência artificial é matemática, portanto não pode ter preconceitos” é completamente falso. Mas é igualmente falso dizer que o aprendizado de máquina é de “natureza subjetiva”. O aprendizado de máquina encontra padrões nos dados, e os padrões que ele encontra dependem dos dados, e os dados dependem de nós. Assim como fazemos com eles. A aprendizagem automática faz algumas coisas muito melhor do que nós - mas os cães, por exemplo, são muito mais eficazes do que os humanos na detecção de drogas, o que não é razão para usá-los como testemunhas e fazer julgamentos com base no seu testemunho. E os cães, aliás, são muito mais inteligentes do que qualquer sistema de aprendizado de máquina.

Tradução: Diana Letskaya.
Edição: Alexey Ivanov.
Comunidade: @PonchikNews.

Fonte: habr.com