Investigadores del laboratorio. la Universidad de Chicago desarrolló un conjunto de herramientas con implementación distorsión de fotografías, impidiendo su uso para la formación de sistemas de reconocimiento facial e identificación de usuarios. Se realizan cambios de píxeles en la imagen, que son invisibles para los humanos, pero que conducen a la formación de modelos incorrectos cuando se utilizan para entrenar sistemas de aprendizaje automático. El código del kit de herramientas está escrito en Python y bajo licencia BSD. Ensambles para Linux, macOS y Windows.
Procesar fotografías con la utilidad propuesta antes de publicarlas en redes sociales y otras plataformas públicas le permite proteger al usuario del uso de datos fotográficos como fuente para entrenar sistemas de reconocimiento facial. El algoritmo propuesto proporciona protección contra el 95% de los intentos de reconocimiento facial (para la API de reconocimiento de Microsoft Azure, Amazon Rekognition y Face++, la eficiencia de la protección es del 100%). Además, incluso si en el futuro se utilizan fotografías originales, no procesadas por la empresa, en un modelo que ya ha sido entrenado con versiones distorsionadas de fotografías, el nivel de fallos en el reconocimiento sigue siendo el mismo y es de al menos el 80%.
El método se basa en el fenómeno de los "ejemplos contradictorios", cuya esencia es que cambios menores en los datos de entrada pueden conducir a cambios dramáticos en la lógica de clasificación. Actualmente, el fenómeno de los “ejemplos contradictorios” es uno de los principales problemas sin resolver en los sistemas de aprendizaje automático. En el futuro, se espera que surja una nueva generación de sistemas de aprendizaje automático que estén libres de este inconveniente, pero estos sistemas requerirán cambios significativos en la arquitectura y el enfoque para construir modelos.
El procesamiento de fotografías se reduce a agregar a la imagen una combinación de píxeles (grupos), que los algoritmos de aprendizaje automático profundo perciben como patrones característicos del objeto fotografiado y conducen a una distorsión de las características utilizadas para la clasificación. Estos cambios no se destacan del conjunto general y son extremadamente difíciles de detectar y eliminar. Incluso con las imágenes originales y modificadas, es difícil determinar cuál es la versión original y cuál la modificada.
Las distorsiones introducidas demuestran una alta resistencia a la creación de contramedidas destinadas a identificar fotografías que violen la correcta construcción de modelos de aprendizaje automático. Incluir métodos basados en desenfoque, agregar ruido o aplicar filtros a la imagen para suprimir combinaciones de píxeles no es efectivo. El problema es que cuando se aplican filtros, la precisión de la clasificación cae mucho más rápido que la detectabilidad de los patrones de píxeles, y en el nivel en el que se suprimen las distorsiones, el nivel de reconocimiento ya no puede considerarse aceptable.
Cabe señalar que, como la mayoría de las otras tecnologías para proteger la privacidad, la técnica propuesta puede usarse no sólo para combatir el uso no autorizado de imágenes públicas en los sistemas de reconocimiento, sino también como una herramienta para ocultar a los atacantes. Los investigadores creen que los problemas con el reconocimiento pueden afectar principalmente a servicios de terceros que recopilan información de forma incontrolable y sin permiso para entrenar sus modelos (por ejemplo, el servicio Clearview.ai ofrece una base de datos de reconocimiento facial, Se indexan alrededor de 3 mil millones de fotografías de las redes sociales). Si ahora las colecciones de dichos servicios contienen en su mayoría imágenes confiables, con el uso activo de Fawkes, con el tiempo, el conjunto de fotografías distorsionadas será mayor y el modelo las considerará una mayor prioridad para la clasificación. Los sistemas de reconocimiento de los servicios secretos, cuyos modelos se basan en fuentes fiables, se verán menos afectados por las herramientas publicadas.
Entre los desarrollos prácticos que tienen un propósito cercano, podemos destacar el proyecto. , desarrollando para agregar a las imágenes , impidiendo una correcta clasificación por parte de los sistemas de aprendizaje automático. Código de cámara adversaria en GitHub bajo licencia EPL. Otro proyecto tiene como objetivo bloquear el reconocimiento por parte de las cámaras de vigilancia mediante la creación de impermeables, camisetas, suéteres, capas, carteles o sombreros con diseños especiales.
Fuente: opennet.ru