Chercheurs du laboratoire l'Université de Chicago a développé une boîte à outils avec mise en œuvre distorsion des photographies, empêchant leur utilisation pour la formation des systèmes de reconnaissance faciale et d'identification des utilisateurs. Des modifications de pixels sont apportées à l'image, qui sont invisibles lorsqu'elles sont vues par les humains, mais conduisent à la formation de modèles incorrects lorsqu'elles sont utilisées pour entraîner des systèmes d'apprentissage automatique. Le code de la boîte à outils est écrit en Python et sous licence BSD. Assemblées pour Linux, macOS et Windows.
Le traitement des photos avec l'utilitaire proposé avant de les publier sur les réseaux sociaux et autres plateformes publiques vous permet de protéger l'utilisateur contre l'utilisation des données photo comme source pour la formation des systèmes de reconnaissance faciale. L'algorithme proposé offre une protection contre 95 % des tentatives de reconnaissance faciale (pour l'API de reconnaissance Microsoft Azure, Amazon Rekognition et Face++, l'efficacité de la protection est de 100 %). De plus, même si à l'avenir les photographies originales, non traitées par l'utilitaire, sont utilisées dans un modèle déjà formé à l'aide de versions déformées de photographies, le niveau d'échec de reconnaissance reste le même et est d'au moins 80 %.
La méthode est basée sur le phénomène des « exemples contradictoires », dont l'essence est que des changements mineurs dans les données d'entrée peuvent conduire à des changements spectaculaires dans la logique de classification. Actuellement, le phénomène des « exemples contradictoires » est l’un des principaux problèmes non résolus des systèmes d’apprentissage automatique. À l’avenir, une nouvelle génération de systèmes d’apprentissage automatique devrait émerger, exempts de cet inconvénient, mais ces systèmes nécessiteront des changements importants dans l’architecture et l’approche de création de modèles.
Le traitement des photographies revient à ajouter une combinaison de pixels (clusters) à l'image, qui sont perçus par les algorithmes d'apprentissage automatique profond comme des motifs caractéristiques de l'objet imagé et conduisent à une distorsion des caractéristiques utilisées pour la classification. De tels changements ne se démarquent pas de l'ensemble général et sont extrêmement difficiles à détecter et à supprimer. Même avec les images originales et modifiées, il est difficile de déterminer quelle est l’originale et quelle est la version modifiée.
Les distorsions introduites démontrent une grande résistance à la création de contre-mesures visant à identifier les photographies qui violent la construction correcte des modèles d'apprentissage automatique. L'inclusion de méthodes basées sur le flou, l'ajout de bruit ou l'application de filtres à l'image pour supprimer les combinaisons de pixels ne sont pas efficaces. Le problème est que lorsque des filtres sont appliqués, la précision de la classification diminue beaucoup plus rapidement que la détectabilité des modèles de pixels, et au niveau où les distorsions sont supprimées, le niveau de reconnaissance ne peut plus être considéré comme acceptable.
Il est à noter que, comme la plupart des autres technologies de protection de la vie privée, la technique proposée peut être utilisée non seulement pour lutter contre l'utilisation non autorisée d'images publiques dans les systèmes de reconnaissance, mais également comme outil pour dissimuler les attaquants. Les chercheurs estiment que les problèmes de reconnaissance peuvent principalement affecter les services tiers qui collectent des informations de manière incontrôlable et sans autorisation pour entraîner leurs modèles (par exemple, le service Clearview.ai propose une base de données de reconnaissance faciale, environ 3 milliards de photos des réseaux sociaux sont indexées). Si désormais les collections de ces services contiennent pour la plupart des images fiables, alors avec l'utilisation active de Fumseck, au fil du temps, l'ensemble des photos déformées sera plus important et le modèle les considérera comme une priorité plus élevée pour la classification. Les systèmes de reconnaissance des agences de renseignement, dont les modèles sont construits sur la base de sources fiables, seront moins affectés par les outils publiés.
Parmi les développements pratiques proches du but, on peut noter le projet , développement à ajouter aux images , empêchant une classification correcte par les systèmes d'apprentissage automatique. Code de la caméra Adversaria sur GitHub sous licence EPL. Un autre projet vise à bloquer la reconnaissance par les caméras de surveillance grâce à la création d'imperméables, de T-shirts, de pulls, de capes, d'affiches ou de chapeaux à motifs spéciaux.
Source: opennet.ru