Ricercatori del laboratorio l'Università di Chicago ha sviluppato un toolkit con implementazione distorsione delle fotografie, impedendone l’utilizzo per l’addestramento ai sistemi di riconoscimento facciale e di identificazione dell’utente. All'immagine vengono apportate modifiche ai pixel, che sono invisibili se visualizzati dagli esseri umani, ma portano alla formazione di modelli errati se utilizzati per addestrare i sistemi di apprendimento automatico. Il codice del toolkit è scritto in Python e sotto licenza BSD. Assemblee per Linux, macOS e Windows.
L'elaborazione delle foto con l'utilità proposta prima della pubblicazione sui social network e su altre piattaforme pubbliche consente di proteggere l'utente dall'utilizzo dei dati fotografici come fonte per l'addestramento dei sistemi di riconoscimento facciale. L'algoritmo proposto fornisce protezione contro il 95% dei tentativi di riconoscimento facciale (per l'API di riconoscimento di Microsoft Azure, Amazon Rekognition e Face++, l'efficienza della protezione è del 100%). Inoltre, anche se in futuro le fotografie originali, non elaborate dall'utilità, vengono utilizzate in un modello che è già stato addestrato utilizzando versioni distorte delle fotografie, il livello di errori di riconoscimento rimane lo stesso ed è almeno dell'80%.
Il metodo si basa sul fenomeno degli “esempi contraddittori”, la cui essenza è che piccoli cambiamenti nei dati di input possono portare a cambiamenti drammatici nella logica di classificazione. Attualmente, il fenomeno degli “esempi contraddittori” è uno dei principali problemi irrisolti nei sistemi di machine learning. In futuro, si prevede che emerga una nuova generazione di sistemi di apprendimento automatico privi di questo inconveniente, ma questi sistemi richiederanno cambiamenti significativi nell’architettura e nell’approccio alla costruzione dei modelli.
L'elaborazione delle fotografie si riduce all'aggiunta di una combinazione di pixel (cluster) all'immagine, che vengono percepiti dagli algoritmi di apprendimento automatico profondo come modelli caratteristici dell'oggetto ripreso e portano alla distorsione delle caratteristiche utilizzate per la classificazione. Tali cambiamenti non si distinguono dal set generale e sono estremamente difficili da rilevare ed eliminare. Anche con le immagini originali e modificate, è difficile determinare quale sia l'originale e quale sia la versione modificata.
Le distorsioni introdotte dimostrano un’elevata resistenza alla creazione di contromisure volte a identificare fotografie che violano la corretta costruzione dei modelli di machine learning. L'inclusione di metodi basati sulla sfocatura, l'aggiunta di rumore o l'applicazione di filtri all'immagine per eliminare le combinazioni di pixel non sono efficaci. Il problema è che quando si applicano i filtri, l'accuratezza della classificazione diminuisce molto più velocemente della rilevabilità dei modelli di pixel e, al livello in cui le distorsioni vengono soppresse, il livello di riconoscimento non può più essere considerato accettabile.
Va notato che, come la maggior parte delle altre tecnologie per la protezione della privacy, la tecnica proposta può essere utilizzata non solo per combattere l'uso non autorizzato delle immagini pubbliche nei sistemi di riconoscimento, ma anche come strumento per nascondere gli aggressori. I ricercatori ritengono che i problemi di riconoscimento possano riguardare soprattutto servizi di terze parti che raccolgono informazioni in modo incontrollabile e senza autorizzazione per addestrare i propri modelli (ad esempio, il servizio Clearview.ai offre un database di riconoscimento facciale, vengono indicizzate circa 3 miliardi di foto provenienti dai social network). Se ora le raccolte di tali servizi contengono immagini per lo più affidabili, con l'uso attivo di Fawkes, nel tempo, l'insieme di foto distorte sarà più grande e il modello le considererà una priorità più alta per la classificazione. I sistemi di riconoscimento dei servizi segreti, i cui modelli sono costruiti sulla base di fonti affidabili, saranno meno influenzati dagli strumenti pubblicati.
Tra gli sviluppi pratici vicini allo scopo, possiamo segnalare il progetto , sviluppando da aggiungere alle immagini , impedendo la corretta classificazione da parte dei sistemi di machine learning. Codice Avversaria della telecamera su GitHub con licenza EPL. Un altro progetto mira a impedire il riconoscimento da parte delle telecamere di sorveglianza attraverso la realizzazione di impermeabili, magliette, maglioni, mantelle, poster o cappelli con fantasie particolari.
Fonte: opennet.ru