巧妙地扭曲照片以破壞臉部辨識系統的技術

實驗室的研究人員 SAND 芝加哥大學開發了一個工具包 福克斯 與實施 方法 照片失真，妨礙其用於訓練人臉辨識和使用者辨識系統。 對影像進行像素更改，這些更改在人類觀看時是不可見的，但在用於訓練機器學習系統時會導致形成不正確的模型。 該工具包程式碼是用 Python 編寫的 發表 在 BSD 許可下。 組件 準備好了 適用於 Linux、macOS 和 Windows。

在將照片發佈到社交網路和其他公共平台之前，使用建議的實用程式處理照片可以防止使用者將照片資料用作訓練人臉辨識系統的來源。 所提出的演算法可針對 95% 的人臉辨識嘗試提供防護（對於 Microsoft Azure 辨識 API、Amazon Rekognition 和 Face++，防護效率為 100%）。 此外，即使將來將未經實用程式處理的原始照片用於已經使用扭曲版本的照片進行訓練的模型中，識別失敗的程度仍然保持不變，並且至少為 80%。

此方法基於「對抗性例子」現象，其本質是輸入資料的微小變化可能導致分類邏輯的巨大變化。 目前，「對抗性例子」現像是機器學習系統中尚未解決的主要問題之一。 未來，預計會出現沒有這一缺點的新一代機器學習系統，但這些系統將需要在架構和建構模型的方法上進行重大改變。

處理照片歸結為向影像添加像素（簇）組合，深度機器學習演算法將其視為成像物件的模式特徵，並導致用於分類的特徵失真。 此類更改在一般設定中並不突出，並且極難檢測和刪除。 即使有原始影像和修改後的影像，也很難確定哪個是原始影像，哪個是修改版本。

引入的扭曲表明人們對制定旨在識別違反機器學習模型正確構建的照片的對策的高度抵制。 包括基於模糊、添加雜訊或對影像應用濾波器來抑制像素組合的方法均無效。 問題在於，當應用濾波器時，分類精度的下降速度比像素模式的可檢測性下降得快得多，並且在抑制失真的水平上，識別水平不再被認為是可接受的。

值得注意的是，與大多數其他保護隱私的技術一樣，所提出的技術不僅可以用於打擊識別系統中未經授權使用公共影像的行為，還可以作為隱藏攻擊者的工具。 研究人員認為，識別問題可能主要影響第三方服務，這些服務無法控制地收集資訊並未經許可來訓練其模型（例如，Clearview.ai 服務提供人臉辨識資料庫， 建成 來自社交網路的約 3 億張照片已被索引）。 如果現在此類服務的集合包含大部分可靠的圖像，那麼隨著 Fawkes 的積極使用，隨著時間的推移，扭曲的照片集將會更大，模型將認為它們具有更高的分類優先級。 情報機構的識別系統的模型是建立在可靠來源的基礎上的，因此受已發布工具的影響較小。

在接近目的的實際發展中，我們可以注意到該項目 相機對抗, 發展中 移動應用 添加到圖像 柏林噪音，阻止機器學習系統正確分類。 相機對抗程式碼 有空 在 EPL 許可下在 GitHub 上。 另一個項目 隱形斗篷 旨在透過製作特殊圖案的雨衣、T卹、毛衣、斗篷、海報或帽子來阻止監視器的識別。

來源： opennet.ru