tl;dr:
- L'apprentissage automatique cherche des motifs dans les données. Mais l'intelligence artificielle peut être « biaisée » — c'est-à-dire qu'elle peut trouver des schémas incorrects. Par exemple, un système de détection du cancer de la peau à partir de photos peut accorder une attention particulière aux images prises dans un cabinet médical. L'apprentissage automatique ne sait pas comprendre: ses algorithmes se contentent d'identifier des motifs dans les chiffres, et si les données ne sont pas représentatives, le résultat de leur traitement le sera aussi. Détecter de tels bogues peut être difficile en raison de la nature même de l'apprentissage automatique.
- Le domaine problématique le plus évident et le plus inquiétant est la diversité humaine. Il existe de nombreuses raisons pour lesquelles les données concernant les personnes peuvent perdre leur objectivité dès la phase de collecte. Mais ne pensez pas que ce problème concerne uniquement les humains : des difficultés similaires surviennent lors de la détection d'une inondation dans un entrepôt ou d'une turbine à gaz en panne. Certains systèmes peuvent avoir des préjugés sur la couleur de la peau, d'autres peuvent être biaisés envers les capteurs Siemens.
- Ces problèmes ne sont pas nouveaux pour l'apprentissage automatique, et ils ne lui sont pas propres. Des hypothèses incorrectes sont formulées dans toutes les structures complexes, et comprendre pourquoi une certaine décision a été prise est toujours difficile. Il faut lutter contre cela de manière globale : créer des outils et des processus de vérification — et former les utilisateurs pour qu'ils ne suivent pas aveuglément les recommandations de l'IA. L'apprentissage automatique fait vraiment certaines choses beaucoup mieux que nous, — mais les chiens, par exemple, sont bien plus efficaces que les humains pour détecter les drogues, ce qui ne donne pas lieu à les utiliser comme témoins et à rendre des jugements basés sur leurs déclarations. Et les chiens, soit dit en passant, sont bien plus intelligents que tout système d'apprentissage automatique.
Aujourd'hui, l'apprentissage automatique est l'une des tendances technologiques fondamentales les plus importantes. C'est l'un des principaux moyens par lesquels la technologie va changer le monde qui nous entoure dans la prochaine décennie. Certains aspects de ces changements suscitent des inquiétudes. Par exemple, l'impact potentiel de l'apprentissage automatique sur le marché du travail, ou son utilisation à des fins non éthiques (par exemple, par des régimes autoritaires). Il y a un autre problème, que ce post aborde : le biais de l'intelligence artificielle.
C'est une histoire complexe.
L'IA de Google peut trouver des chats. Cette nouvelle de 2012 était alors quelque chose de spécial.
Qu'est-ce que le « biais de l'IA » ?
Les « données brutes » sont à la fois un oxymore et une mauvaise idée ; les données doivent être soigneusement préparées. —Jeffrey Boker
Jusqu'en 2013, pour créer un système capable de reconnaître des chats sur des photos, vous deviez décrire les étapes logiques. Comment trouver les coins dans l'image, reconnaître les yeux, analyser les textures pour détecter la fourrure, compter les pattes, et ainsi de suite. Ensuite, assembler tous les composants — et découvrir que cela ne fonctionne pas vraiment. C'était un peu comme un cheval mécanique — théoriquement, on pouvait le fabriquer, mais en pratique, c'était trop compliqué à décrire. Au final, vous avez des centaines (voire des milliers) de règles écrites à la main. Et aucun modèle fonctionnel.
Avec l'émergence de l'apprentissage automatique, nous avons cessé d'utiliser des règles "manuelles" pour reconnaître des objets. Au lieu de cela, nous prenons mille exemples de "X", mille exemples de "Y", et nous faisons construire un modèle par l'ordinateur basé sur leur analyse statistique. Ensuite, nous fournissons à ce modèle certains exemples de données, et il détermine avec une certaine précision s'ils correspondent à l'un des ensembles. L'apprentissage automatique génère un modèle basé sur des données, et non par une personne qui l'écrit. Les résultats sont impressionnants, surtout dans le domaine de la reconnaissance d'images et de motifs, c'est pourquoi l'ensemble de l'industrie technologique passe maintenant à l'apprentissage automatique (ML).
Mais ce n'est pas si simple. Dans le monde réel, vos milliers d'exemples de X ou Y contiennent également A, B, J, L, O, R et même L. Ils peuvent être répartis de manière inégale, et certains d'entre eux peuvent apparaître si souvent que le système leur accordera plus d'attention qu'aux objets qui vous intéressent.
Qu'est-ce que cela signifie en pratique ? Mon exemple préféré est celui où les systèmes de reconnaissance d'images . On comprend pourquoi : la plupart des photos d'exemples de « mouton » ont été prises dans des prairies où ils vivent, et sur ces images, l'herbe occupe beaucoup plus d'espace que ces petits animaux blancs et duveteux, et c'est l'herbe que les systèmes considèrent comme la plus importante.
Il existe des exemples plus sérieux. Récemment, un sur la détection du cancer de la peau à partir de photographies. Il s'est avéré que les dermatologues photographient souvent une règle avec les manifestations du cancer de la peau afin de documenter la taille des lésions. Sur des exemples de photographies de peau saine, il n'y a pas de règle. Pour le système d'IA, ces règles (précisément, les pixels que nous identifions comme « règle ») sont devenues l'une des distinctions entre les ensembles d'exemples, parfois plus importantes qu'une petite éruption cutanée. Ainsi, le système conçu pour reconnaître le cancer de la peau reconnaissait parfois des règles à la place.
Le point clé ici est que le système n'a pas de compréhension sémantique de ce qu'il regarde. Nous regardons un ensemble de pixels et y voyons un mouton, une peau ou des règles, tandis que le système ne voit qu'une chaîne numérique. Il ne voit pas l'espace tridimensionnel, ni les objets, ni les textures, ni les moutons. Il ne voit que des motifs dans les données.
La complexité du diagnostic de tels problèmes tient au fait que le réseau de neurones (modèle généré par votre système d'apprentissage automatique) est constitué de milliers, voire de centaines de milliers de nœuds. Il n'existe pas de moyen simple de jeter un coup d'œil dans le modèle pour comprendre comment il prend ses décisions. Avoir un tel moyen signifierait que le processus est suffisamment simple pour décrire toutes les règles manuellement, sans recourir à l'apprentissage automatique. Les gens s'inquiètent que l'apprentissage automatique soit devenu une sorte de « boîte noire ». (Je vais expliquer un peu plus tard pourquoi cette comparaison est exagérée.)
C'est, en termes généraux, le problème du biais de l'intelligence artificielle ou de l'apprentissage automatique : un système capable de trouver des motifs dans les données peut découvrir des motifs erronés, et vous pourriez ne pas le remarquer. C'est une caractéristique fondamentale de la technologie, et cela est évident pour tous ceux qui travaillent avec elle dans les cercles scientifiques et au sein des grandes entreprises technologiques. Mais ses conséquences sont complexes, et nos solutions potentielles à ces conséquences le sont également.
Commençons d'abord par les conséquences.
L'IA peut implicitement pour nous faire des choix en faveur de certaines catégories de personnes, en se basant sur de nombreux signaux invisibles.
Scénarios de biais de l'IA
Le plus évident et inquiétant, c'est que ce problème peut se manifester lorsqu'il s'agit de la diversité humaine. Récemment, , que Amazon a tenté de construire un système d'apprentissage automatique pour le pré-scrutin des candidats à un emploi. Étant donné que la majorité des employés d'Amazon sont des hommes, les exemples de « recrutements réussis » sont également majoritairement masculins, et la sélection de CV proposée par le système comportait plus d'hommes. Amazon a remarqué cela et n'a pas mis le système en production.
Le plus important dans cet exemple est que le système aurait, selon les rumeurs, favorisé les candidats masculins, bien que le sexe ne soit pas indiqué dans les CV. Le système a vu d'autres motifs dans les exemples de « recrutements réussis » : par exemple, les femmes peuvent utiliser des mots particuliers pour décrire leurs réalisations, ou avoir des loisirs spécifiques. Bien sûr, le système ne savait pas ce qu'était le « hockey », qui étaient les « gens », ni ce qu'était le « succès » ; il a simplement effectué une analyse statistique du texte. Mais les motifs qu'il a identifiés seraient probablement passés inaperçus par un être humain, et certains d'entre eux (comme le fait que les personnes de sexes différents décrivent le succès différemment) seraient probablement difficiles à discerner, même en les observant.
Ensuite, c'est pire. Un système d'apprentissage automatique qui détecte très bien le cancer sur une peau claire peut moins bien fonctionner sur une peau foncée, ou vice versa. Pas nécessairement à cause de biais, mais parce que vous devrez probablement construire un modèle distinct pour une autre couleur de peau, en choisissant d'autres caractéristiques. Les systèmes d'apprentissage automatique ne sont pas interchangeables même dans un domaine aussi étroit que la reconnaissance d'images. Vous devez ajuster le système, parfois simplement par tâtonnements, pour bien repérer les particularités dans les données qui vous intéressent, jusqu'à ce que vous atteigniez la précision souhaitée. Mais vous pouvez ne pas réaliser que le système est précis à 98 % avec un groupe et seulement à 91 % (bien que ce soit plus précis qu'une analyse menée par un humain) avec un autre.
J'ai jusqu'à présent utilisé principalement des exemples concernant les gens et leurs caractéristiques. C'est sur ce sujet que se concentre principalement la discussion autour de ce problème. Mais il est important de comprendre que le biais envers les gens n'est qu'une partie du problème. Nous allons utiliser l'apprentissage automatique pour de nombreuses choses, et l'erreur d'échantillonnage sera pertinente pour toutes. D'autre part, si vous travaillez avec des personnes, le biais des données peut ne pas leur être directement lié.
Pour comprendre cela, revenons à l'exemple du cancer de la peau et examinons trois possibilités hypothétiques de défaillance du système.
- Répartition inégale des personnes : un nombre déséquilibré de photos de peaux de différentes teintes, ce qui entraîne des résultats faussement positifs ou négatifs liés à la pigmentation.
- Les données sur lesquelles le système est formé contiennent une caractéristique souvent rencontrée et inégalement répartie, non liée aux personnes et n'ayant pas de valeur diagnostique : une règle sur les photos de manifestations du cancer de la peau ou de l'herbe sur les photos de moutons. Dans ce cas, le résultat sera différent si le système trouve des pixels de quelque chose que l'œil humain définira comme une « règle ».
- Les données contiennent une caractéristique externe que l'homme ne peut pas voir, même s'il la cherche.
Qu'est-ce que cela signifie ? Nous savons a priori que les données peuvent représenter différemment différents groupes de personnes, et nous pouvons au moins planifier la recherche de telles exceptions. En d'autres termes, il y a de nombreuses raisons sociales de supposer que les données sur les groupes de personnes contiennent déjà un certain biais. Si nous regardons une photo avec une règle, nous verrons cette règle - nous l'ignorions simplement auparavant, sachant qu'elle n'a pas d'importance, et en oubliant que le système ne sait rien.
Mais que se passe-t-il si toutes vos photos de peau malade ont été prises dans un bureau avec des lampes à incandescence, tandis que les photos de peau saine l'ont été sous une lumière fluorescente ? Que se passe-t-il si, après avoir fini de prendre des photos de peau saine, vous avez mis à jour le système d'exploitation de votre téléphone avant de prendre des photos de peau malade, et qu'Apple ou Google a légèrement modifié l'algorithme de réduction du bruit ? L'homme ne pourra pas remarquer cela, peu importe combien il cherche de telles particularités. En revanche, le système d'utilisation de la machine le verra tout de suite et l'utilisera. Il ne sait rien.
Bien que nous parlions de corrélations fallacieuses, il peut également arriver que les données soient précises et que les résultats soient corrects, mais que vous ne souhaitiez pas les utiliser pour des raisons éthiques, juridiques ou de gestion. Dans certaines juridictions, par exemple, il est interdit d'accorder une réduction d'assurance aux femmes, même si celles-ci conduisent peut-être de manière plus sûre. Nous pouvons facilement imaginer un système qui, en analysant des données historiques, attribue un coefficient de risque plus faible aux prénoms féminins. Très bien, supprimons les noms de l'échantillon. Mais rappelez-vous l'exemple d'Amazon : le système peut déterminer le sexe sur la base d'autres facteurs (bien qu'il ne sache pas ce qu'est le sexe, ni ce qu'est une voiture), et vous ne le remarquerez pas tant que le régulateur n'analysera pas rétroactivement les tarifs que vous proposez et ne vous impose pas une amende.
Enfin, il est souvent sous-entendu que nous allons utiliser de tels systèmes uniquement pour des projets liés aux personnes et aux interactions sociales. Ce n'est pas le cas. Si vous fabriquez des turbines à gaz, vous voudrez sûrement appliquer l'apprentissage automatique à la télémétrie transmise par des dizaines ou des centaines de capteurs sur votre produit (les capteurs audio, vidéo, de température et d'autres générent des données qui peuvent facilement être adaptées à la création d'un modèle d'apprentissage automatique). Hypothétiquement, vous pourriez dire : « Voici les données sur mille turbines tombées en panne, obtenues avant leur rupture, et voici les données provenant de mille turbines qui ne sont pas tombées en panne. Construisez un modèle pour dire quelle est la différence entre elles ». Maintenant, imaginez que les capteurs Siemens se trouvent sur 75 % des turbines défectueuses et seulement sur 12 % des bonnes (sans lien avec les pannes). Le système construira un modèle pour détecter les turbines avec des capteurs Siemens. Oups !
Image — Moritz Hardt, UC Berkeley
Gestion du biais IA
Que pouvons-nous y faire ? Nous pouvons aborder la question sous trois angles :
- Rigueur méthodologique dans la collecte et la gestion des données pour l'apprentissage du système.
- Outils techniques pour l'analyse et le diagnostic du comportement du modèle.
- Formation, apprentissage et prudence lors de l'intégration de l'apprentissage automatique dans les produits.
Dans le livre « Le Bourgeois Gentilhomme » de Molière, il y a une blague : un homme se rend compte, avec émerveillement, que la littérature se divise en prose et en poésie, et il découvre qu'il a parlé en prose toute sa vie, sans même le savoir. C'est probablement ainsi que les statisticiens se sentent aujourd'hui : sans s'en rendre compte, ils ont consacré leur carrière à l'intelligence artificielle et à l'erreur d'échantillonnage. Chercher l'erreur d'échantillonnage et s'en préoccuper n'est pas un nouveau problème, nous devons simplement aborder systématiquement sa résolution. Comme mentionné précédemment, dans certains cas, il est effectivement plus simple d'étudier les problèmes liés aux données sur les gens. Nous partons du principe que nous pouvons avoir des préjugés à l'égard de différents groupes de personnes, mais il est difficile de concevoir un préjugé à l'égard des capteurs Siemens.
La nouveauté dans tout cela, bien sûr, est que les gens ne réalisent plus d'analyses statistiques directement. Elles sont effectuées par des machines, qui créent de grands modèles complexes, difficiles à comprendre. La question de la transparence est l'un des aspects principaux du problème du biais. Nous avons peur que le système ne soit pas seulement biaisé, mais qu'il n'y ait aucun moyen de détecter ce biais, et que l'apprentissage automatique se distingue ainsi des autres formes d'automatisation, qui devraient consister en étapes logiques claires, vérifiables.
Il y a ici deux problèmes. Nous pourrions peut-être procéder à un certain audit des systèmes d'apprentissage automatique. Et l'audit de tout autre système n'est en réalité pas plus facile.
Tout d'abord, l'un des axes de recherche moderne dans le domaine de l'apprentissage automatique est la recherche de méthodes pour identifier les fonctionnalités importantes des systèmes d'apprentissage automatique. En même temps, l'apprentissage automatique (dans son état actuel) est un tout nouveau domaine scientifique qui évolue rapidement, donc il ne faut pas penser que les choses aujourd'hui impossibles ne peuvent pas bientôt devenir tout à fait réelles. Le projet en est un exemple intéressant.
Deuxièmement, l'idée selon laquelle il est possible d'examiner et de comprendre le processus de prise de décision dans les systèmes ou organisations existants est bonne en théorie, mais laisse à désirer en pratique. Comprendre comment les décisions sont prises dans une grande organisation n'est pas simple. Même s'il existe un processus formel de prise de décision, celui-ci ne reflète pas la manière dont les gens interagissent réellement, et souvent, ces derniers n'ont pas non plus une approche systématique et logique pour prendre leurs décisions. Comme l'a dit mon collègue , les gens sont aussi des boîtes noires.
Prenez mille personnes dans plusieurs entreprises et institutions intersectées, et le problème devient encore plus complexe. Nous savons a posteriori que la navette spatiale « Space Shuttle » était destinée à se désintégrer lors du retour, et certaines personnes chez NASA avaient des informations leur laissant penser que quelque chose de mauvais pourrait se produire, mais le système dans son ensemble ne le savait pas. NASA venait même de passer un audit similaire, ayant perdu la navette précédente, et pourtant, elle a perdu une autre navette pour une raison très similaire. Il est facile de soutenir que les organisations et les gens suivent des règles logiques claires qui peuvent être vérifiées, comprises et modifiées — mais l'expérience prouve le contraire. C'est le».
Je compare souvent l'apprentissage automatique aux bases de données, en particulier aux bases de données relationnelles — une nouvelle technologie fondamentale qui a transformé les capacités de l'informatique et le monde qui l'entoure, qui est devenue partie intégrante de tout ce que nous utilisons constamment sans en être conscients. Les bases de données présentent également des problèmes de nature similaire : le système peut être construit sur de fausses hypothèses ou de mauvaises données, mais il est difficile de le remarquer, et les personnes qui utilisent le système feront ce qu'il leur dit sans se poser de questions. Il existe de nombreuses vieilles blagues sur les employés des impôts qui ont un jour mal enregistré votre nom, et les convaincre de corriger l'erreur est bien plus compliqué que de réellement changer de nom. On peut penser à cela de différentes manières, mais il est difficile de dire ce qui est le mieux : comme un problème technique dans SQL, ou comme une erreur dans un release d'Oracle, ou encore comme un échec des institutions bureaucratiques ? À quel point est-il difficile de trouver l'erreur dans le processus qui a conduit à l'absence d'une fonctionnalité comme la correction des fautes de frappe ? Aurait-on pu le comprendre avant que les gens commencent à se plaindre ?
Cette problématique est encore plus illustrée par les histoires où des conducteurs se retrouvent dans des rivières à cause de données obsolètes dans leur GPS. D'accord, les cartes doivent être constamment mises à jour. Mais dans quelle mesure TomTom est-il responsable du fait que votre voiture est emportée par la mer ?
Je dis cela pour dire que oui, le biais de l'apprentissage automatique posera des problèmes. Mais ces problèmes ressembleront à ceux auxquels nous avons déjà été confrontés par le passé, et nous pourrons les remarquer et les résoudre (ou pas) à peu près aussi bien que dans le passé. Par conséquent, le scénario dans lequel un biais de l'IA causerait des dommages est peu probable avec des chercheurs de premier plan travaillant dans une grande organisation. Il est plus probable qu'un petit sous-traitant technologique ou un fournisseur de logiciels écrive quelque chose à la va-vite, en utilisant des composants open source, des bibliothèques et des outils qui lui échappent. Et un client peu avisé se laissera séduire par l'expression « intelligence artificielle » dans la description du produit et, sans poser de questions, le distribuera à ses employés faiblement rémunérés, leur ordonnant de faire ce que dit l'IA. C'est exactement ce qui s'est passé avec les bases de données. Ce n'est pas un problème d'intelligence artificielle, et ce n'est même pas un problème de logiciel. C'est un facteur humain.
Conclusion
L'apprentissage automatique peut accomplir tout ce que vous pouvez enseigner à un chien, mais vous ne pouvez jamais être sûr de ce que vous avez réellement appris à ce chien.
Il me semble souvent que le terme « intelligence artificielle » empêche d’aborder des discussions comme celle-ci. Ce terme donne une fausse impression que nous avons en réalité créé cette intelligence. Que nous sommes en route vers HAL9000 ou Skynet, vers quelque chose qui vraiment comprend. comprendre. Mais non. Ce ne sont que des machines, et il est beaucoup plus juste de les comparer, par exemple, à une machine à laver. Elle fait bien mieux que les humains pour laver, mais si vous y mettez de la vaisselle au lieu de du linge, elle va… la laver. La vaisselle sera même propre. Mais ce ne sera pas ce à quoi vous vous attendiez, et cela ne se produira pas parce que le système a des préjugés contre la vaisselle. La machine à laver ne sait ni ce qu'est la vaisselle, ni ce qu'est un vêtement - c'est simplement un exemple d'automatisation, conceptuellement semblable à la façon dont les processus étaient automatisés autrefois.
Quelle que soit la question en jeu, qu'il s'agisse de machines, d'avions ou de bases de données, ces systèmes seront à la fois très puissants et très limités. Ils dépendront entièrement de la façon dont les gens utilisent ces systèmes, de leurs intentions, qu'elles soient bonnes ou mauvaises, et de leur compréhension de leur fonctionnement.
Par conséquent, affirmer que « l'intelligence artificielle est une question de mathématiques et qu'elle ne peut donc pas avoir de préjugés » est totalement faux. Mais il est tout aussi faux d'affirmer que l'apprentissage automatique est « subjectif par nature ». L'apprentissage automatique identifie des modèles dans les données, et les modèles qu'il trouvera dépendent des données, qui dépendent de nous. Tout comme ce que nous faisons avec ces données. L'apprentissage automatique accomplit effectivement certaines tâches beaucoup mieux que nous, mais les chiens, par exemple, sont beaucoup plus efficaces que les humains pour détecter des drogues, ce qui ne donne pas lieu à les convoquer comme témoins et à rendre des jugements basés sur leurs témoignages. Et les chiens, à propos, sont beaucoup plus intelligents que n'importe quel système d'apprentissage automatique.
Traduction : .
Édition : .
Communauté : .
Source : habr.com
