Výskumníci z laboratória University of Chicago vyvinula súbor nástrojov s implementáciou skreslenie fotografií, čím sa zabráni ich použitiu na trénovanie systémov rozpoznávania tváre a identifikácie používateľov. V obraze sa vykonávajú zmeny pixelov, ktoré sú pri pohľade ľuďmi neviditeľné, ale pri použití na trénovanie systémov strojového učenia vedú k vytvoreniu nesprávnych modelov. Kód súpravy nástrojov je napísaný v jazyku Python a pod licenciou BSD. Zostavy pre Linux, MacOS a Windows.
Spracovanie fotografií s navrhovaným nástrojom pred zverejnením na sociálnych sieťach a iných verejných platformách vám umožňuje chrániť používateľa pred použitím fotografických údajov ako zdroja pre tréning systémov rozpoznávania tváre. Navrhovaný algoritmus poskytuje ochranu proti 95 % pokusov o rozpoznanie tváre (pre Microsoft Azure API pre rozpoznávanie, Amazon Rekognition a Face++ je účinnosť ochrany 100 %). Navyše, aj keď sa v budúcnosti pôvodné fotografie, nespracované obslužným programom, použijú v modeli, ktorý už bol natrénovaný s použitím skreslených verzií fotografií, miera zlyhania pri rozpoznávaní zostáva rovnaká a je najmenej 80 %.
Metóda je založená na fenoméne „príkladov protivníka“, ktorého podstatou je, že drobné zmeny vo vstupných údajoch môžu viesť k dramatickým zmenám v klasifikačnej logike. V súčasnosti je fenomén „príkladov protivníka“ jedným z hlavných nevyriešených problémov v systémoch strojového učenia. V budúcnosti sa očakáva, že sa objaví nová generácia systémov strojového učenia, ktoré nebudú mať túto nevýhodu, ale tieto systémy si budú vyžadovať výrazné zmeny v architektúre a prístupe k modelom budovania.
Spracovanie fotografií spočíva v pridaní kombinácie pixelov (zhlukov) k obrázku, ktoré sú algoritmami hlbokého strojového učenia vnímané ako vzory charakteristické pre zobrazovaný objekt a vedú k skresleniu prvkov používaných na klasifikáciu. Takéto zmeny nevyčnievajú zo všeobecného súboru a je mimoriadne ťažké ich odhaliť a odstrániť. Aj pri pôvodných a upravených obrázkoch je ťažké určiť, ktorý je originál a ktorý upravený.
Zavedené skreslenia preukazujú vysokú odolnosť voči vytváraniu protiopatrení zameraných na identifikáciu fotografií, ktoré porušujú správnu konštrukciu modelov strojového učenia. Zahrnutie metód založených na rozmazaní, pridaní šumu alebo aplikovaní filtrov na obrázok na potlačenie kombinácií pixelov nie je účinné. Problém je v tom, že pri použití filtrov presnosť klasifikácie klesá oveľa rýchlejšie ako detegovateľnosť vzorov pixelov a na úrovni, keď sú skreslenia potlačené, úroveň rozpoznávania už nemôže byť považovaná za prijateľnú.
Je potrebné poznamenať, že tak ako väčšina ostatných technológií na ochranu súkromia, navrhovanú techniku možno použiť nielen na boj proti neoprávnenému používaniu verejných obrázkov v systémoch rozpoznávania, ale aj ako nástroj na skrývanie útočníkov. Výskumníci sa domnievajú, že problémy s rozpoznávaním sa môžu týkať najmä služieb tretích strán, ktoré nekontrolovateľne a bez povolenia na trénovanie svojich modelov zhromažďujú informácie (napríklad služba Clearview.ai ponúka databázu rozpoznávania tvárí, sú indexované asi 3 miliardy fotografií zo sociálnych sietí). Ak teraz zbierky takýchto služieb obsahujú väčšinou spoľahlivé obrázky, potom s aktívnym používaním Fawkesa bude časom súbor skreslených fotografií väčší a model ich bude považovať za vyššiu prioritu pri klasifikácii. Systémy rozpoznávania spravodajských agentúr, ktorých modely sú postavené na základe spoľahlivých zdrojov, budú zverejnenými nástrojmi ovplyvnené menej.
Medzi praktickými vývojmi blízkymi účelu môžeme zaznamenať projekt , rozvíjanie pridať k obrázkom , ktoré bránia správnej klasifikácii systémami strojového učenia. Kód kamery Adversaria na GitHub pod licenciou EPL. Ďalší projekt má za cieľ zablokovať rozpoznávanie monitorovacími kamerami vytvorením špeciálnych vzorovaných pršiplášťov, tričiek, svetrov, pelerín, plagátov alebo klobúkov.
Zdroj: opennet.ru