研究室の研究者たち シカゴ大学がツールキットを開発 実装あり 写真の歪みにより、顔認識やユーザー識別システムのトレーニングに使用できなくなります。 画像にピクセル変更が加えられますが、これは人間が見たときには見えませんが、機械学習システムのトレーニングに使用すると、誤ったモデルの形成につながります。 ツールキットのコードは Python で書かれており、 BSD ライセンスに基づいて。 アセンブリ Linux、macOS、Windows用。
ソーシャル ネットワークやその他の公共プラットフォームに公開する前に、提案されたユーティリティを使用して写真を処理すると、顔認識システムをトレーニングするためのソースとして写真データを使用することからユーザーを保護できます。 提案されたアルゴリズムは、顔認識試行の 95% に対する保護を提供します (Microsoft Azure 認識 API、Amazon Rekognition、および Face++ の場合、保護効率は 100% です)。 さらに、将来、ユーティリティによって処理されていない元の写真が、写真の歪んだバージョンを使用してすでにトレーニングされたモデルで使用された場合でも、認識の失敗レベルは同じままで、少なくとも 80% です。
この方法は「敵対的な例」の現象に基づいており、その本質は、入力データのわずかな変更が分類ロジックの劇的な変化につながる可能性があるということです。 現在、「敵対的な例」という現象は、機械学習システムにおける主な未解決問題の XNUMX つです。 将来的には、この欠点のない新世代の機械学習システムが登場すると予想されますが、これらのシステムでは、モデル構築のアーキテクチャとアプローチに大幅な変更が必要になります。
写真の処理は、結局のところ、ピクセルの組み合わせ (クラスター) を画像に追加することになります。これらのピクセルは、深層機械学習アルゴリズムによって、画像化されたオブジェクトに特徴的なパターンとして認識され、分類に使用される特徴の歪みにつながります。 このような変更は一般的なセットからは目立たず、検出して削除するのが非常に困難です。 オリジナルの画像と修正された画像があっても、どれがオリジナルでどれが修正されたバージョンであるかを判断することは困難です。
導入された歪みは、機械学習モデルの正しい構築に違反する写真を特定することを目的とした対策の作成に対して高い抵抗力を示します。 ぼかしに基づいた方法を含めたり、ノイズを追加したり、画像にフィルターを適用してピクセルの組み合わせを抑制したりすることは効果的ではありません。 問題は、フィルタを適用すると分類精度が画素パターンの検出可能性よりもはるかに早く低下し、歪みが抑制されたレベルでは認識レベルが許容できなくなることです。
プライバシーを保護するための他のほとんどの技術と同様に、提案された技術は、認識システムでの公開画像の不正使用に対抗するためだけでなく、攻撃者を隠すためのツールとしても使用できることに注意してください。 研究者らは、認識の問題は主に、モデルをトレーニングするための許可なく制御不能に情報を収集するサードパーティのサービスに影響を与える可能性があると考えています (たとえば、Clearview.ai サービスは顔認識データベースを提供し、 ソーシャル ネットワークからの約 3 億枚の写真がインデックス化されます)。 現在、そのようなサービスのコレクションにほとんど信頼できる画像が含まれている場合、Fawkes を積極的に使用すると、時間の経過とともに歪んだ写真のセットが大きくなり、モデルはそれらの写真を分類の優先順位が高いと見なします。 諜報機関の認識システムは、そのモデルが信頼できる情報源に基づいて構築されており、公開されたツールの影響をあまり受けません。
目的に近い実践的な開発の中で、注目すべきプロジェクトは次のとおりです。 、開発中 画像に追加する 、機械学習システムによる正しい分類を妨げます。 カメラアドバーサリアコード EPL ライセンスに基づいて GitHub 上にあります。 別のプロジェクト 特別な模様のレインコート、T シャツ、セーター、マント、ポスター、帽子などを作成することで、監視カメラによる認識をブロックすることを目的としています。
出所： オープンネット.ru