Forskere fra laboratoriet University of Chicago udviklede et værktøjssæt med implementering forvrængning af fotografier, der forhindrer deres brug til træning af ansigtsgenkendelse og brugeridentifikationssystemer. Der foretages pixelændringer på billedet, som er usynlige, når de ses af mennesker, men fører til dannelsen af forkerte modeller, når de bruges til at træne maskinlæringssystemer. Toolkit-koden er skrevet i Python og under BSD-licens. Forsamlinger til Linux, macOS og Windows.
Behandling af billeder med det foreslåede hjælpeprogram før publicering på sociale netværk og andre offentlige platforme giver dig mulighed for at beskytte brugeren mod at bruge fotodata som en kilde til træning af ansigtsgenkendelsessystemer. Den foreslåede algoritme giver beskyttelse mod 95 % af ansigtsgenkendelsesforsøg (for Microsoft Azure-genkendelses-API, Amazon Rekognition og Face++ er beskyttelseseffektiviteten 100 %). Desuden, selvom de originale fotografier, ubehandlede af værktøjet, i fremtiden bruges i en model, der allerede er blevet trænet ved hjælp af forvrængede versioner af fotografier, forbliver niveauet af fejl i genkendelsen det samme og er mindst 80 %.
Metoden er baseret på fænomenet "adversarielle eksempler", hvis essens er, at mindre ændringer i inputdata kan føre til dramatiske ændringer i klassifikationslogikken. I øjeblikket er fænomenet "adversarielle eksempler" et af de vigtigste uløste problemer i maskinlæringssystemer. I fremtiden forventes en ny generation af machine learning-systemer at dukke op, som er fri for denne ulempe, men disse systemer vil kræve væsentlige ændringer i arkitekturen og tilgangen til at bygge modeller.
Behandling af fotografier kommer ned til at tilføje en kombination af pixels (klynger) til billedet, som af dybe maskinlæringsalgoritmer opfattes som mønstre, der er karakteristiske for det afbildede objekt og fører til forvrængning af de funktioner, der bruges til klassificering. Sådanne ændringer skiller sig ikke ud fra det generelle sæt og er ekstremt vanskelige at opdage og fjerne. Selv med de originale og modificerede billeder er det svært at afgøre, hvilken der er originalen, og hvilken der er den modificerede version.
De indførte forvrængninger demonstrerer høj modstand mod skabelsen af modforanstaltninger rettet mod at identificere fotografier, der krænker den korrekte konstruktion af maskinlæringsmodeller. Det er ikke effektivt at inkludere metoder baseret på sløring, tilføjelse af støj eller anvendelse af filtre på billedet for at undertrykke pixelkombinationer. Problemet er, at når filtre anvendes, falder klassificeringsnøjagtigheden meget hurtigere end detekterbarheden af pixelmønstre, og på det niveau, hvor forvrængningerne undertrykkes, kan genkendelsesniveauet ikke længere anses for acceptabelt.
Det bemærkes, at ligesom de fleste andre teknologier til beskyttelse af privatlivets fred, kan den foreslåede teknik ikke kun bruges til at bekæmpe uautoriseret brug af offentlige billeder i genkendelsessystemer, men også som et værktøj til at skjule angribere. Forskere mener, at problemer med genkendelse hovedsageligt kan påvirke tredjepartstjenester, der indsamler oplysninger ukontrolleret og uden tilladelse til at træne deres modeller (f.eks. tilbyder Clearview.ai-tjenesten en ansigtsgenkendelsesdatabase, omkring 3 milliarder billeder fra sociale netværk er indekseret). Hvis nu samlingerne af sådanne tjenester for det meste indeholder pålidelige billeder, så med den aktive brug af Fawkes vil sættet af forvrængede billeder over tid være større, og modellen vil betragte dem som en højere prioritet for klassificering. Efterretningstjenesternes genkendelsessystemer, hvis modeller er bygget på grundlag af pålidelige kilder, vil blive mindre påvirket af de offentliggjorte værktøjer.
Blandt praktiske udviklinger tæt på formålet kan vi notere projektet , udvikler sig at tilføje til billeder , der forhindrer korrekt klassificering af maskinlæringssystemer. Kamera Adversaria kode på GitHub under EPL-licens. Endnu et projekt har til formål at blokere genkendelse fra overvågningskameraer gennem skabelsen af specielle mønstrede regnfrakker, T-shirts, trøjer, kapper, plakater eller hatte.
Kilde: opennet.ru