Техника за леко изкривяване на снимки, за да се нарушат системите за лицево разпознаване

Изследователи от лабораторията SAND Чикагският университет разработи набор от инструменти Фокс с изпълнение метод изкривяване на снимки, което предотвратява използването им за обучение на системи за разпознаване на лица и потребителска идентификация. В изображението се правят промени в пикселите, които са невидими, когато се гледат от хора, но водят до формирането на неправилни модели, когато се използват за обучение на системи за машинно обучение. Кодът на инструментариума е написан на Python и публикувани под BSD лиценз. Събрания подготвени за Linux, macOS и Windows.

Обработката на снимки с предложената помощна програма преди публикуване в социални мрежи и други обществени платформи ви позволява да защитите потребителя от използване на фото данни като източник за обучение на системи за разпознаване на лица. Предложеният алгоритъм осигурява защита срещу 95% от опитите за разпознаване на лица (за Microsoft Azure recognition API, Amazon Rekognition и Face++ ефективността на защитата е 100%). Освен това, дори ако в бъдеще оригиналните снимки, необработени от помощната програма, се използват в модел, който вече е бил обучен с помощта на изкривени версии на снимки, нивото на неуспехи при разпознаването остава същото и е най-малко 80%.

Методът се основава на феномена „съпернически примери“, чиято същност е, че незначителни промени във входните данни могат да доведат до драматични промени в логиката на класификацията. В момента феноменът на „съперническите примери“ е един от основните нерешени проблеми в системите за машинно обучение. В бъдеще се очаква да се появи ново поколение системи за машинно обучение, които нямат този недостатък, но тези системи ще изискват значителни промени в архитектурата и подхода към изграждането на модели.

Обработката на снимките се свежда до добавяне на комбинация от пиксели (клъстери) към изображението, които се възприемат от алгоритмите за дълбоко машинно обучение като модели, характерни за снимания обект и водят до изкривяване на характеристиките, използвани за класификация. Такива промени не се открояват от общия набор и са изключително трудни за откриване и отстраняване. Дори с оригиналните и модифицираните изображения е трудно да се определи кое е оригиналната и кое е модифицираната версия.

Въведените изкривявания демонстрират висока устойчивост на създаване на контрамерки, насочени към идентифициране на снимки, които нарушават правилното изграждане на модели за машинно обучение. Включването на методи, базирани на замъгляване, добавяне на шум или прилагане на филтри към изображението за потискане на комбинации от пиксели, не е ефективно. Проблемът е, че когато се прилагат филтри, точността на класификацията пада много по-бързо от откриваемостта на пикселните модели и на нивото, когато изкривяванията са потиснати, нивото на разпознаване вече не може да се счита за приемливо.

Отбелязва се, че подобно на повечето други технологии за защита на неприкосновеността на личния живот, предложената техника може да се използва не само за борба с неразрешеното използване на публични изображения в системи за разпознаване, но и като инструмент за скриване на нападатели. Изследователите смятат, че проблемите с разпознаването могат да засегнат главно услуги на трети страни, които събират информация неконтролируемо и без разрешение за обучение на своите модели (например услугата Clearview.ai предлага база данни за разпознаване на лица, построена индексират се около 3 милиарда снимки от социалните мрежи). Ако сега колекциите на такива услуги съдържат предимно надеждни изображения, тогава с активното използване на Fawkes с течение на времето наборът от изкривени снимки ще бъде по-голям и моделът ще ги счита за по-висок приоритет за класификация. Системите за разпознаване на разузнавателните служби, чиито модели са изградени въз основа на надеждни източници, ще бъдат по-малко засегнати от публикуваните инструменти.

Сред практическите разработки, близки по предназначение, можем да отбележим проекта Камера Adversaria, развиваща се мобилно приложение за добавяне към изображения Перлин шум, предотвратявайки правилната класификация от системите за машинно обучение. Код на Adversaria на камерата на разположение на GitHub под лиценз EPL. Друг проект Наметало-невидимка има за цел да блокира разпознаването от камерите за наблюдение чрез създаването на специални шарени дъждобрани, тениски, пуловери, пелерини, плакати или шапки.

Източник: opennet.ru