Výzkumníci z laboratoře University of Chicago vyvinula sadu nástrojů s implementací zkreslení fotografií, zamezení jejich použití pro trénování systémů rozpoznávání obličejů a identifikace uživatelů. V obraze se provádějí změny pixelů, které jsou při pohledu lidmi neviditelné, ale při použití k trénování systémů strojového učení vedou k vytvoření nesprávných modelů. Kód sady nástrojů je napsán v Pythonu a pod licencí BSD. Sestavy pro Linux, MacOS a Windows.
Zpracování fotografií s navrhovaným nástrojem před publikováním na sociálních sítích a dalších veřejných platformách umožňuje chránit uživatele před použitím fotografických dat jako zdroje pro trénink systémů rozpoznávání obličejů. Navrhovaný algoritmus poskytuje ochranu proti 95 % pokusů o rozpoznání obličeje (pro Microsoft Azure API pro rozpoznávání, Amazon Rekognition a Face++ je účinnost ochrany 100 %). Navíc, i když se v budoucnu původní fotografie, nezpracované obslužným programem, použijí v modelu, který již byl natrénován pomocí zkreslených verzí fotografií, míra chyb v rozpoznávání zůstává stejná a je minimálně 80 %.
Metoda je založena na fenoménu „příkladů protivníka“, jehož podstatou je, že drobné změny ve vstupních datech mohou vést k dramatickým změnám v klasifikační logice. V současnosti je fenomén „příkladů protivníka“ jedním z hlavních nevyřešených problémů v systémech strojového učení. V budoucnu se očekává, že se objeví nová generace systémů strojového učení, které nebudou mít tuto nevýhodu, ale tyto systémy budou vyžadovat významné změny v architektuře a přístupu k modelům budov.
Zpracování fotografií spočívá v přidání kombinace pixelů (shluků) do obrázku, které jsou algoritmy hlubokého strojového učení vnímány jako vzory charakteristické pro zobrazovaný objekt a vedou ke zkreslení prvků používaných pro klasifikaci. Takové změny nevyčnívají z obecného souboru a je velmi obtížné je odhalit a odstranit. I u původních a upravených obrázků je těžké určit, který je původní a který upravený.
Zavedené zkreslení prokazují vysokou odolnost vůči vytváření protiopatření zaměřených na identifikaci fotografií, které porušují správnou konstrukci modelů strojového učení. Zahrnutí metod založených na rozmazání, přidání šumu nebo použití filtrů k potlačení kombinací pixelů není účinné. Problém je v tom, že při použití filtrů přesnost klasifikace klesá mnohem rychleji než detekovatelnost vzorů pixelů a na úrovni, kdy jsou zkreslení potlačena, již nelze úroveň rozpoznávání považovat za přijatelnou.
Je třeba poznamenat, že stejně jako většinu ostatních technologií na ochranu soukromí lze navrhovanou techniku použít nejen k boji proti neoprávněnému používání veřejných obrázků v systémech rozpoznávání, ale také jako nástroj ke skrývání útočníků. Výzkumníci se domnívají, že problémy s rozpoznáváním se mohou týkat především služeb třetích stran, které shromažďují informace nekontrolovatelně a bez povolení trénovat své modely (například služba Clearview.ai nabízí databázi rozpoznávání obličejů, jsou indexovány asi 3 miliardy fotografií ze sociálních sítí). Pokud nyní sbírky takových služeb obsahují většinou spolehlivé obrázky, pak s aktivním používáním Fawkes bude časem soubor zkreslených fotografií větší a model je bude považovat za vyšší prioritu pro klasifikaci. Systémy rozpoznávání zpravodajských služeb, jejichž modely jsou sestaveny na základě spolehlivých zdrojů, budou zveřejněnými nástroji ovlivněny méně.
Mezi praktickým vývojem blízkým účelu můžeme zaznamenat projekt , rozvíjející se přidat k obrázkům , brání správné klasifikaci systémy strojového učení. Kód kamery Adversaria na GitHubu pod licencí EPL. Další projekt si klade za cíl zablokovat rozpoznání pomocí bezpečnostních kamer vytvořením speciálních vzorovaných pláštěnek, triček, svetrů, pelerín, plakátů nebo klobouků.
Zdroj: opennet.ru