Алгоритмите на Facebook ще помогнат на интернет компаниите да търсят дублирани видеоклипове и изображения, за да се борят с неподходящо съдържание

Facebook обявиха относно откриването изходния код на два алгоритъма, способни да определят степента на идентичност на снимки и видеоклипове, дори ако са направени малки промени в тях. Социалната мрежа активно използва тези алгоритми за борба със съдържание, съдържащо материали, свързани с експлоатацията на деца, терористична пропаганда и различни форми на насилие. Facebook отбелязва, че това е първият път, когато споделя подобна технология и компанията се надява, че с нейна помощ други големи портали и услуги, малки студия за разработка на софтуер и организации с нестопанска цел ще могат по-ефективно да се борят с разпространението на неподходящи медии съдържание в World Wide Web.

„Когато намерим част от неподходящо съдържание, технологията може да ни помогне да намерим всички дубликати и да предотвратим разпространението им“, пишат главният служител по сигурността на Facebook Антигона Дейвис и вицепрезидентът по почтеността Гай Розен в публикация, посветена на четвъртата годишна Facebook Child Хакатон по безопасност. „За тези, които вече използват своя собствена или друга технология за съпоставяне на съдържание, нашите технологии могат да осигурят още един слой защита, правейки системите за сигурност много по-мощни.“

Facebook твърди, че двата публикувани алгоритъма - PDQ и TMK+PDQ - са проектирани да работят с огромни набори от данни и са базирани на съществуващи модели и реализации, включително pHash, PhotoDNA на Microsoft, aHash и dHash. Например алгоритъмът за съпоставяне на снимки PDQ е вдъхновен от pHash, но е разработен изцяло от нулата от разработчиците на Facebook, докато алгоритъмът за съпоставяне на видео TMK+PDQF е създаден съвместно от изследователската група за изкуствен интелект на Facebook и учени от университета в Модена и Реджо Емилия в Италия .

И двата алгоритъма анализират файловете, които търсят, като използват кратки цифрови хешове, уникални идентификатори, които помагат да се определи дали два файла са еднакви или подобни, дори без оригиналното изображение или видео. Facebook отбелязва, че тези хешове могат лесно да бъдат споделяни с други компании и организации с нестопанска цел, както и с партньори в индустрията чрез Глобалния интернет форум за борба с тероризма (GIFCT), така че всички компании, интересуващи се от онлайн сигурността, също ще могат да премахват съдържание, което Facebook е маркиран като опасен, ако е качен в техните услуги.

Последва разработката на PDQ и TMK+PDQ освобождаване на гореспоменатата фотоДНК Преди 10 години в опит за борба с детската порнография в интернет от Microsoft. Google също наскоро стартира API за безопасност на съдържанието, платформа с изкуствен интелект, предназначена да идентифицира онлайн материали за сексуално малтретиране на деца, за да направи човешките модератори по-ефективни.

На свой ред главният изпълнителен директор на Facebook Марк Зукърбърг отдавна твърди, че AI в близко бъдеще значително ще намали количеството злоупотреби, извършени от милиони безскрупулни потребители на Facebook. И наистина, в публикувана през май Доклад за съответствие със стандартите на общността на Facebook компанията съобщи, че AI и машинното обучение са помогнали значително да се намали броят на забраненото съдържание, публикувано в шест от деветте категории такова съдържание.

Източник: 3dnews.ru