Peneliti dari laboratorium Universitas Chicago mengembangkan sebuah perangkat dengan implementasi distorsi foto, mencegah penggunaannya untuk pelatihan pengenalan wajah dan sistem identifikasi pengguna. Perubahan piksel dilakukan pada gambar, yang tidak terlihat saat dilihat oleh manusia, namun mengarah pada pembentukan model yang salah saat digunakan untuk melatih sistem pembelajaran mesin. Kode toolkit ditulis dengan Python dan di bawah lisensi BSD. Majelis untuk Linux, macOS dan Windows.
Memproses foto dengan utilitas yang diusulkan sebelum dipublikasikan di jejaring sosial dan platform publik lainnya memungkinkan Anda melindungi pengguna dari penggunaan data foto sebagai sumber untuk melatih sistem pengenalan wajah. Algoritme yang diusulkan memberikan perlindungan terhadap 95% upaya pengenalan wajah (untuk API pengenalan Microsoft Azure, Amazon Rekognition, dan Face++, efisiensi perlindungannya adalah 100%). Selain itu, meskipun di masa mendatang foto asli, yang belum diproses oleh utilitas, digunakan dalam model yang telah dilatih menggunakan versi foto yang terdistorsi, tingkat kegagalan pengenalan tetap sama dan setidaknya 80%.
Metode ini didasarkan pada fenomena βcontoh permusuhanβ, yang intinya adalah bahwa perubahan kecil pada data masukan dapat menyebabkan perubahan dramatis dalam logika klasifikasi. Saat ini, fenomena βcontoh permusuhanβ adalah salah satu masalah utama yang belum terpecahkan dalam sistem pembelajaran mesin. Di masa depan, diharapkan akan muncul sistem pembelajaran mesin generasi baru yang bebas dari kelemahan ini, namun sistem ini memerlukan perubahan signifikan dalam arsitektur dan pendekatan dalam membangun model.
Pemrosesan foto dilakukan dengan menambahkan kombinasi piksel (cluster) ke gambar, yang dianggap oleh algoritme pembelajaran mesin mendalam sebagai pola karakteristik objek yang dicitrakan dan menyebabkan distorsi fitur yang digunakan untuk klasifikasi. Perubahan seperti itu tidak menonjol dari perubahan umum dan sangat sulit dideteksi dan dihapus. Bahkan dengan gambar asli dan gambar modifikasi, sulit untuk menentukan mana yang asli dan mana versi modifikasi.
Distorsi yang diperkenalkan menunjukkan penolakan yang tinggi terhadap pembuatan tindakan penanggulangan yang bertujuan mengidentifikasi foto yang melanggar konstruksi model pembelajaran mesin yang benar. Menyertakan metode berdasarkan keburaman, menambahkan noise, atau menerapkan filter pada gambar untuk menekan kombinasi piksel tidaklah efektif. Masalahnya adalah ketika filter diterapkan, keakuratan klasifikasi turun jauh lebih cepat daripada kemampuan deteksi pola piksel, dan pada tingkat ketika distorsi ditekan, tingkat pengenalan tidak lagi dapat diterima.
Perlu dicatat bahwa, seperti kebanyakan teknologi perlindungan privasi lainnya, teknik yang diusulkan dapat digunakan tidak hanya untuk memerangi penggunaan gambar publik yang tidak sah dalam sistem pengenalan, tetapi juga sebagai alat untuk menyembunyikan penyerang. Para peneliti percaya bahwa masalah pengenalan terutama dapat mempengaruhi layanan pihak ketiga yang mengumpulkan informasi secara tidak terkendali dan tanpa izin untuk melatih model mereka (misalnya, layanan Clearview.ai menawarkan database pengenalan wajah, sekitar 3 miliar foto dari jejaring sosial diindeks). Jika sekarang koleksi layanan tersebut sebagian besar berisi gambar yang dapat diandalkan, maka dengan penggunaan aktif Fawkes, seiring waktu, kumpulan foto yang terdistorsi akan menjadi lebih besar dan model akan menganggapnya sebagai prioritas klasifikasi yang lebih tinggi. Sistem pengenalan badan intelijen, yang modelnya dibangun berdasarkan sumber terpercaya, tidak akan terlalu terpengaruh oleh alat yang dipublikasikan.
Di antara perkembangan praktis yang memiliki tujuan dekat, kita dapat mencatat proyek tersebut , mengembangkan untuk ditambahkan ke gambar , mencegah klasifikasi yang benar oleh sistem pembelajaran mesin. Kode Adversaria Kamera di GitHub di bawah lisensi EPL. Proyek lain bertujuan untuk memblokir pengenalan oleh kamera pengintai melalui pembuatan jas hujan, T-shirt, sweater, jubah, poster atau topi bermotif khusus.
Sumber: opennet.ru