Onderzoekers van het laboratorium de Universiteit van Chicago heeft een toolkit ontwikkeld met implementatie vervorming van foto's, waardoor het gebruik ervan voor het trainen van gezichtsherkennings- en gebruikersidentificatiesystemen wordt verhinderd. Er worden pixelveranderingen in het beeld aangebracht, die onzichtbaar zijn als ze door mensen worden bekeken, maar leiden tot de vorming van onjuiste modellen wanneer ze worden gebruikt om machine learning-systemen te trainen. De toolkitcode is geschreven in Python en onder BSD-licentie. Assemblages voor Linux, macOS en Windows.
Door foto's te verwerken met het voorgestelde hulpprogramma voordat ze op sociale netwerken en andere openbare platforms worden gepubliceerd, kunt u de gebruiker beschermen tegen het gebruik van fotogegevens als bron voor het trainen van gezichtsherkenningssystemen. Het voorgestelde algoritme biedt bescherming tegen 95% van de gezichtsherkenningspogingen (voor de Microsoft Azure-herkennings-API, Amazon Rekognition en Face++ is de beschermingsefficiëntie 100%). Bovendien, zelfs als in de toekomst de originele foto's, die niet door het hulpprogramma zijn verwerkt, worden gebruikt in een model dat al is getraind met behulp van vervormde versies van foto's, blijft het niveau van fouten bij de herkenning hetzelfde en bedraagt dit minstens 80%.
De methode is gebaseerd op het fenomeen ‘tegenstrijdige voorbeelden’, waarvan de essentie is dat kleine veranderingen in invoergegevens kunnen leiden tot dramatische veranderingen in de classificatielogica. Momenteel is het fenomeen van ‘tegenstrijdige voorbeelden’ een van de belangrijkste onopgeloste problemen in machine learning-systemen. Er wordt verwacht dat er in de toekomst een nieuwe generatie machine learning-systemen zal ontstaan die vrij zijn van dit nadeel, maar deze systemen zullen aanzienlijke veranderingen vereisen in de architectuur en de benadering van het bouwen van modellen.
Het verwerken van foto's komt neer op het toevoegen van een combinatie van pixels (clusters) aan het beeld, die door deep machine learning-algoritmen worden waargenomen als patronen die kenmerkend zijn voor het afgebeelde object en leiden tot vervorming van de kenmerken die voor classificatie worden gebruikt. Dergelijke veranderingen onderscheiden zich niet van het algemene geheel en zijn uiterst moeilijk te detecteren en te verwijderen. Zelfs met de originele en gewijzigde afbeeldingen is het moeilijk om te bepalen welke het origineel en welke de gewijzigde versie is.
De geïntroduceerde vervormingen demonstreren een hoge weerstand tegen het creëren van tegenmaatregelen gericht op het identificeren van foto's die de correcte constructie van machine learning-modellen schenden. Het opnemen van methoden op basis van vervaging, het toevoegen van ruis of het toepassen van filters op de afbeelding om pixelcombinaties te onderdrukken, is niet effectief. Het probleem is dat wanneer filters worden toegepast, de nauwkeurigheid van de classificatie veel sneller afneemt dan de detecteerbaarheid van pixelpatronen, en op het niveau waarop de vervormingen worden onderdrukt, kan het herkenningsniveau niet langer als acceptabel worden beschouwd.
Opgemerkt wordt dat, net als de meeste andere technologieën voor de bescherming van de privacy, de voorgestelde techniek niet alleen kan worden gebruikt om het ongeoorloofde gebruik van openbare afbeeldingen in herkenningssystemen te bestrijden, maar ook als een hulpmiddel om aanvallers te verbergen. Onderzoekers zijn van mening dat problemen met herkenning vooral van invloed kunnen zijn op diensten van derden die op ongecontroleerde wijze informatie verzamelen en zonder toestemming om hun modellen te trainen (de dienst Clearview.ai biedt bijvoorbeeld een database voor gezichtsherkenning, ongeveer 3 miljard foto's van sociale netwerken worden geïndexeerd). Als de collecties van dergelijke diensten nu voornamelijk betrouwbare afbeeldingen bevatten, zal met het actieve gebruik van Fawkes de reeks vervormde foto's in de loop van de tijd groter zijn en zal het model ze als een hogere prioriteit voor classificatie beschouwen. De herkenningssystemen van inlichtingendiensten, waarvan de modellen zijn gebouwd op basis van betrouwbare bronnen, zullen minder worden beïnvloed door de gepubliceerde instrumenten.
Onder de praktische ontwikkelingen die dichtbij het doel liggen, kunnen we het project noteren , ontwikkelen om aan afbeeldingen toe te voegen , waardoor correcte classificatie door machine learning-systemen wordt voorkomen. Camera Adversaria-code op GitHub onder EPL-licentie. Nog een project heeft tot doel de herkenning door bewakingscamera's te blokkeren door het maken van regenjassen, T-shirts, truien, capes, posters of hoeden met speciale patronen.
Bron: opennet.ru