实验室的研究人员 芝加哥大学开发了一个工具包 与实施 照片失真，妨碍其用于训练人脸识别和用户识别系统。 对图像进行像素更改，这些更改在人类观看时是不可见的，但在用于训练机器学习系统时会导致形成不正确的模型。 该工具包代码是用 Python 编写的 在 BSD 许可下。 组件 适用于 Linux、macOS 和 Windows。
在将照片发布到社交网络和其他公共平台之前，使用建议的实用程序处理照片可以防止用户将照片数据用作训练人脸识别系统的来源。 所提出的算法可针对 95% 的人脸识别尝试提供防护（对于 Microsoft Azure 识别 API、Amazon Rekognition 和 Face++，防护效率为 100%）。 此外，即使将来将未经实用程序处理的原始照片用于已经使用扭曲版本的照片进行训练的模型中，识别失败的程度仍然相同，并且至少为 80%。
该方法基于“对抗性例子”现象，其本质是输入数据的微小变化可能导致分类逻辑的巨大变化。 目前，“对抗性例子”现象是机器学习系统中尚未解决的主要问题之一。 未来，预计会出现没有这一缺点的新一代机器学习系统，但这些系统将需要在架构和构建模型的方法上进行重大改变。
处理照片归结为向图像添加像素（簇）组合，深度机器学习算法将其视为成像对象的模式特征，并导致用于分类的特征失真。 此类更改在一般设置中并不突出，并且极难检测和删除。 即使有原始图像和修改后的图像，也很难确定哪个是原始图像，哪个是修改版本。
引入的扭曲表明人们对制定旨在识别违反机器学习模型正确构建的照片的对策的高度抵制。 包括基于模糊、添加噪声或对图像应用滤波器来抑制像素组合的方法均无效。 问题在于，当应用滤波器时，分类精度的下降速度比像素模式的可检测性下降得快得多，并且在抑制失真的水平上，识别水平不再被认为是可接受的。
值得注意的是，与大多数其他保护隐私的技术一样，所提出的技术不仅可以用于打击识别系统中未经授权使用公共图像的行为，还可以作为隐藏攻击者的工具。 研究人员认为，识别问题可能主要影响第三方服务，这些服务无法控制地收集信息并未经许可来训练其模型（例如，Clearview.ai 服务提供人脸识别数据库， 来自社交网络的约 3 亿张照片已被索引）。 如果现在此类服务的集合包含大部分可靠的图像，那么随着 Fawkes 的积极使用，随着时间的推移，扭曲的照片集将会更大，模型将认为它们具有更高的分类优先级。 情报机构的识别系统的模型是建立在可靠来源的基础上的，因此受已发布工具的影响较小。
在接近目的的实际发展中，我们可以注意到该项目 , 发展中 添加到图像 ，阻止机器学习系统正确分类。 相机对抗代码 在 EPL 许可下在 GitHub 上。 另一个项目 旨在通过制作特殊图案的雨衣、T恤、毛衣、斗篷、海报或帽子来阻止监控摄像头的识别。
来源： opennet.ru