Forskare från laboratoriet University of Chicago utvecklade en verktygslåda med genomförandet förvrängning av fotografier, förhindrar att de används för att träna ansiktsigenkänning och användaridentifieringssystem. Pixeländringar görs i bilden, som är osynliga när de ses av människor, men leder till bildandet av felaktiga modeller när de används för att träna maskininlärningssystem. Verktygssatskoden är skriven i Python och under BSD-licens. Församlingar för Linux, macOS och Windows.
Genom att bearbeta foton med det föreslagna verktyget innan du publicerar dem på sociala nätverk och andra offentliga plattformar kan du skydda användaren från att använda fotodata som en källa för att träna ansiktsigenkänningssystem. Den föreslagna algoritmen ger skydd mot 95 % av ansiktsigenkänningsförsöken (för Microsoft Azure recognition API, Amazon Rekognition och Face++ är skyddseffektiviteten 100%). Dessutom, även om originalfotografierna, obearbetade av verktyget, i framtiden används i en modell som redan har tränats med förvrängda versioner av fotografier, förblir nivån av fel i igenkänningen densamma och är minst 80 %.
Metoden bygger på fenomenet "motstridiga exempel", vars essens är att mindre förändringar i indata kan leda till dramatiska förändringar i klassificeringslogiken. För närvarande är fenomenet "motstridiga exempel" ett av de största olösta problemen i maskininlärningssystem. I framtiden förväntas en ny generation av maskininlärningssystem dyka upp som är fria från denna nackdel, men dessa system kommer att kräva betydande förändringar i arkitekturen och förhållningssättet till att bygga modeller.
Att bearbeta fotografier handlar om att lägga till en kombination av pixlar (kluster) till bilden, som uppfattas av djupa maskininlärningsalgoritmer som mönster som är karakteristiska för det avbildade objektet och leder till förvrängning av funktionerna som används för klassificering. Sådana förändringar sticker inte ut från den allmänna uppsättningen och är extremt svåra att upptäcka och ta bort. Även med original och modifierade bilder är det svårt att avgöra vilket som är originalet och vilken som är den modifierade versionen.
De införda förvrängningarna visar högt motstånd mot skapandet av motåtgärder som syftar till att identifiera fotografier som bryter mot den korrekta konstruktionen av maskininlärningsmodeller. Att inkludera metoder baserade på suddighet, lägga till brus eller använda filter på bilden för att undertrycka pixelkombinationer är inte effektiva. Problemet är att när filter appliceras sjunker klassificeringsnoggrannheten mycket snabbare än detekterbarheten av pixelmönster, och på nivån när distorsionerna undertrycks kan igenkänningsnivån inte längre anses acceptabel.
Det noteras att, liksom de flesta andra teknologier för att skydda privatlivet, kan den föreslagna tekniken användas inte bara för att bekämpa obehörig användning av offentliga bilder i igenkänningssystem, utan också som ett verktyg för att dölja angripare. Forskare tror att problem med igenkänning främst kan påverka tredjepartstjänster som samlar in information okontrollerat och utan tillåtelse för att träna sina modeller (till exempel erbjuder tjänsten Clearview.ai en ansiktsigenkänningsdatabas, cirka 3 miljarder foton från sociala nätverk är indexerade). Om nu samlingarna av sådana tjänster innehåller mestadels pålitliga bilder, kommer med den aktiva användningen av Fawkes med tiden uppsättningen av förvrängda bilder att bli större och modellen kommer att betrakta dem som en högre prioritet för klassificering. Underrättelsebyråernas igenkänningssystem, vars modeller är byggda på grundval av tillförlitliga källor, kommer att påverkas mindre av de publicerade verktygen.
Bland praktiska utvecklingar nära syftet kan vi notera projektet , utvecklande att lägga till bilder , förhindrar korrekt klassificering av maskininlärningssystem. Kamera Adversaria kod på GitHub under EPL-licens. Ett annat projekt syftar till att blockera igenkänning av övervakningskameror genom att skapa speciella mönstrade regnrockar, T-shirts, tröjor, kappor, affischer eller hattar.
Källa: opennet.ru