Istraživači iz laboratorije Univerzitet u Čikagu razvio je komplet alata sa implementacijom izobličenje fotografija, sprečavanje njihove upotrebe za obuku sistema prepoznavanja lica i identifikacije korisnika. Na slici se vrše promjene piksela, koje su nevidljive kada ih ljudi gledaju, ali dovode do formiranja pogrešnih modela kada se koriste za obuku sistema mašinskog učenja. Kod kompleta alata je napisan u Pythonu i pod BSD licencom. skupštine za Linux, macOS i Windows.
Obrada fotografija predloženim uslužnim programom prije objavljivanja na društvenim mrežama i drugim javnim platformama omogućava vam da zaštitite korisnika od korištenja foto podataka kao izvora za obuku sistema za prepoznavanje lica. Predloženi algoritam pruža zaštitu od 95% pokušaja prepoznavanja lica (za Microsoft Azure API za prepoznavanje, Amazon Rekognition i Face++, efikasnost zaštite je 100%). Štaviše, čak i ako se u budućnosti originalne fotografije, neobrađene u uslužnom programu, koriste u modelu koji je već obučen korištenjem iskrivljenih verzija fotografija, nivo grešaka u prepoznavanju ostaje isti i iznosi najmanje 80%.
Metoda se zasniva na fenomenu „konkurentnih primjera“, čija je suština da manje promjene u ulaznim podacima mogu dovesti do dramatičnih promjena u klasifikacionoj logici. Trenutno je fenomen „konkurentnih primjera“ jedan od glavnih neriješenih problema u sistemima mašinskog učenja. U budućnosti se očekuje da će se pojaviti nova generacija sistema mašinskog učenja bez ovog nedostatka, ali će ovi sistemi zahtevati značajne promene u arhitekturi i pristupu izgradnji modela.
Obrada fotografija se svodi na dodavanje kombinacije piksela (klastera) na sliku, koje algoritmi dubokog mašinskog učenja percipiraju kao obrasce karakteristične za objekt na slici i dovode do izobličenja karakteristika koje se koriste za klasifikaciju. Takve promjene se ne izdvajaju iz općeg skupa i izuzetno ih je teško otkriti i ukloniti. Čak i sa originalnim i izmijenjenim slikama, teško je odrediti koja je originalna, a koja modificirana verzija.
Unesena izobličenja pokazuju visoku otpornost na stvaranje protumjera usmjerenih na identifikaciju fotografija koje narušavaju ispravnu konstrukciju modela mašinskog učenja. Uključivanje metoda zasnovanih na zamućenju, dodavanju šuma ili primjeni filtera na sliku za suzbijanje kombinacija piksela nije učinkovito. Problem je u tome što kada se primjenjuju filteri, tačnost klasifikacije opada mnogo brže od detektivnosti uzoraka piksela, a na nivou kada su izobličenja potisnuta, nivo prepoznavanja se više ne može smatrati prihvatljivim.
Napominje se da se, kao i većina drugih tehnologija za zaštitu privatnosti, predložena tehnika može koristiti ne samo za suzbijanje neovlaštenog korištenja javnih slika u sistemima za prepoznavanje, već i kao alat za skrivanje napadača. Istraživači vjeruju da problemi s prepoznavanjem mogu uglavnom utjecati na usluge trećih strana koje prikupljaju informacije nekontrolirano i bez dozvole za obuku svojih modela (na primjer, usluga Clearview.ai nudi bazu podataka za prepoznavanje lica, indeksirano je oko 3 milijarde fotografija sa društvenih mreža). Ako sada zbirke takvih usluga sadrže uglavnom pouzdane slike, onda će uz aktivnu upotrebu Fawkesa s vremenom skup iskrivljenih fotografija biti veći i model će ih smatrati višim prioritetom za klasifikaciju. Sistemi prepoznavanja obavještajnih agencija, čiji su modeli izgrađeni na osnovu pouzdanih izvora, manje će biti pod utjecajem objavljenih alata.
Među praktičnim razvojima koji su bliski svrsi, možemo istaći projekat , u razvoju za dodavanje slikama , sprečavajući ispravnu klasifikaciju sistema mašinskog učenja. Camera Adversaria kod na GitHubu pod EPL licencom. Još jedan projekat ima za cilj da blokira prepoznavanje od strane nadzornih kamera kroz izradu posebnih kabanica, majica, džempera, pelerina, postera ili šešira.
izvor: opennet.ru