Vísindamenn frá rannsóknarstofunni Háskólinn í Chicago þróaði verkfærakistu með framkvæmd bjögun á ljósmyndum, koma í veg fyrir notkun þeirra til að þjálfa andlitsgreiningu og auðkenningarkerfi notenda. Pixel breytingar eru gerðar á myndinni, sem eru ósýnilegar þegar mönnum er skoðað, en leiða til myndunar rangra líkana þegar þær eru notaðar til að þjálfa vélanámskerfi. Verkfærakistukóðinn er skrifaður í Python og undir BSD leyfi. Samkomur fyrir Linux, macOS og Windows.
Með því að vinna myndir með fyrirhuguðu gagni áður en þær eru birtar á samfélagsnetum og öðrum opinberum kerfum er hægt að vernda notandann gegn því að nota ljósmyndagögn sem uppsprettu til að þjálfa andlitsgreiningarkerfi. Fyrirhugað reiknirit veitir vernd gegn 95% andlitsþekkingartilrauna (fyrir Microsoft Azure viðurkenningar API, Amazon Rekognition og Face++ er verndarskilvirknin 100%). Þar að auki, jafnvel þótt upprunalegu ljósmyndirnar, óunnar af tólinu, séu notaðar í líkani sem þegar hefur verið þjálfað með því að nota brenglaðar útgáfur af ljósmyndum í framtíðinni, er stig bilana í auðkenningu óbreytt og er að minnsta kosti 80%.
Aðferðin byggir á fyrirbærinu „andstæð dæmi“, kjarni þess er að smávægilegar breytingar á inntaksgögnum geta leitt til stórkostlegra breytinga á flokkunarrökfræðinni. Eins og er, er fyrirbærið „andstæð dæmi“ eitt helsta óleysta vandamálið í vélanámskerfum. Í framtíðinni er búist við að ný kynslóð vélanámskerfa komi fram sem eru laus við þennan galla, en þessi kerfi munu krefjast verulegra breytinga á arkitektúr og nálgun við smíði líkana.
Að vinna ljósmyndir kemur niður á því að bæta samsetningu pixla (þyrpinga) við myndina, sem eru skynjaðir af djúpum vélrænum reikniritum sem mynstur einkennandi fyrir myndhlutinn og leiða til brenglunar á eiginleikum sem notaðir eru við flokkun. Slíkar breytingar skera sig ekki úr almennu settinu og er mjög erfitt að greina og fjarlægja þær. Jafnvel með upprunalegu og breyttu myndunum er erfitt að ákvarða hver er upprunalega og hver er breytt útgáfa.
Bjögunin sem kynnt var sýnir mikla mótstöðu gegn mótun mótvægisaðgerða sem miða að því að bera kennsl á ljósmyndir sem brjóta í bága við rétta smíði vélanámslíkana. Aðferðir sem byggja á óskýrleika, bæta við hávaða eða beita síum á myndina til að bæla pixlasamsetningar eru ekki árangursríkar. Vandamálið er að þegar síum er beitt lækkar flokkunarnákvæmni mun hraðar en greinanleiki pixlamynstra og á því stigi þegar röskunin er bæld niður getur greiningarstigið ekki lengur talist ásættanlegt.
Það er tekið fram að, eins og flest önnur tækni til að vernda friðhelgi einkalífsins, er hægt að nota fyrirhugaða tækni ekki aðeins til að berjast gegn óleyfilegri notkun opinberra mynda í auðkenningarkerfum, heldur einnig sem tæki til að fela árásarmenn. Vísindamenn telja að vandamál með viðurkenningu geti aðallega haft áhrif á þjónustu þriðja aðila sem safnar upplýsingum stjórnlaust og án leyfis til að þjálfa líkön sín (td býður Clearview.ai þjónustan upp á andlitsþekkingargagnagrunn, um 3 milljarðar mynda af samfélagsnetum eru verðtryggðar). Ef nú söfn slíkrar þjónustu innihalda að mestu leyti áreiðanlegar myndir, þá með virkri notkun Fawkes, með tímanum, mun safnið af brengluðum myndum verða stærra og líkanið mun líta á þær í meiri forgang við flokkun. Viðurkenningarkerfi leyniþjónustustofnana, sem líkön eru byggð á grundvelli áreiðanlegra heimilda, verða fyrir minni áhrifum af útgefnum verkfærum.
Meðal hagnýtrar þróunar í náinni tilgangi getum við tekið eftir verkefninu , þróast til að bæta við myndir , koma í veg fyrir rétta flokkun með vélanámskerfum. Myndavél Adversaria kóða á GitHub undir EPL leyfi. Annað verkefni miðar að því að hindra viðurkenningu eftirlitsmyndavéla með því að búa til sérstaka mynstraða regnfrakka, stuttermabolir, peysur, kápur, veggspjöld eða hatta.
Heimild: opennet.ru