Дослідники з лабораторії при університеті Чикаго розробили інструментарій з реалізацією спотворення фотографій, що перешкоджає їх використанню для навчання систем розпізнавання облич та ідентифікації користувачів. У зображення вносяться піксельні зміни, які непомітні під час перегляду людьми, але призводять до формування некоректних моделей під час тренування систем машинного навчання. Код інструментарію написаний мовою Python та під ліцензією BSD. Складання для Linux, macOS та Windows.
Обробка фотографій запропонованої утилітою перед публікацією в соціальних мережах та інших публічних майданчиках дозволяє захистити користувача від використання даних фотографій як джерело для навчання систем розпізнавання осіб. Запропонований алгоритм надає захист від 95% спроб розпізнавання облич (для API розпізнавання Microsoft Azure, Amazon Rekognition та Face++ ефективність захисту становить 100%). Більше того, навіть якщо в майбутньому оригінальні, необроблені утилітою, фотографії будуть використані в моделі, під час навчання якої вже застосовувалися спотворені варіанти фотографій, рівень збоїв при розпізнаванні зберігається і не менше 80%.
Метод ґрунтується на феномені «змагальних прикладів», суть якого в тому, що несуттєві зміни вхідних даних можуть призвести до кардинальних змін логіки класифікації. Нині феномен «змагальних прикладів» одна із головних невирішених проблем у системах машинного навчання. У майбутньому очікується поява систем машинного навчання нового покоління, позбавлених розглянутого недоліку, але ці системи вимагатимуть значних змін в архітектурі та підході до побудови моделей.
Обробка фотографій зводиться до додавання зображення комбінації пікселів (кластерів), які сприймаються алгоритмами глибинного машинного навчання як характерні для зображуваного об'єкта шаблони і призводять до спотворення ознак, що застосовуються для класифікації. Подібні зміни не виділяються із загального набору та їх надзвичайно важко виявити та видалити. Навіть маючи оригінальне та модифіковане зображення, проблематично визначити, де оригінал, а де змінена версія.
Спотворення, що вносяться, демонструють високу стійкість проти створення контрзаходів, націлених на виявлення фотографій, що порушують коректне побудови моделей машинного навчання. У тому числі не є ефективними методи на основі розмиття, додавання шумів або накладання фільтрів на зображення для придушення піксельних комбінацій. Проблема в тому, що при накладенні фільтрів точність класифікації падає значно швидше, ніж визначення піксельних шаблонів, і на тому рівні, коли спотворення будуть пригнічені, рівень розпізнавання вже не можна вважати прийнятним.
Зазначається, що, як і більшість інших технологій для захисту конфіденційності, запропонована техніка може використовуватися не тільки для боротьби з неавторизованим використанням публічних зображень у системах розпізнавання, а й як інструмент для приховування зловмисників. Дослідники вважають, що проблеми з розпізнаванням в основному можуть торкнутися сторонніх сервісів, які безконтрольно і без дозволу збирають інформацію для навчання своїх моделей (наприклад, сервіс Clearview.ai пропонує БД розпізнавання осіб, на індексації близько 3 мільярдів фотографій із соціальних мереж). Якщо зараз у колекціях подібних сервісів знаходяться переважно достовірні зображення, то при активному використанні Fawkes, згодом, набір спотворених фотографій виявиться більшим і модель вважатиме їх пріоритетнішими для класифікації. На системи розпізнавання спецслужб, моделі яких будуються з урахуванням достовірних джерел, опублікований інструментарій вплине меншою мірою.
З близьких за призначенням практичних розробок можна відзначити проект , що розвиває для додавання на зображення , що заважає коректній класифікації системами машинного навчання Код Camera Adversaria на GitHub під ліцензією EPL. Інший проект націлений на блокування розпізнавання камерами спостереження через створення спеціальних плащів, футболок, светрів, накидок, плакатів або капелюхів.
Джерело: opennet.ru