ArtPrompt — атака на AI-системи, позволяваща заобикаляне на филтрите чрез ASCII-изображения

Група изследователи от Вашингтонския, Илинойския и Чикагския университети откри нов метод за заобикаляне на ограниченията при обработката на опасно съдържание в AI чатботовете, изградени на основата на големи езикови модели (LLM). Атаката е основана на факта, че езиковите модели GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) и Llama2 (Meta) успешно разпознават и взимат предвид в заявките текст, оформен под формата на ASCII графика. По този начин, за да заобиколят филтрите на опасни въпроси, е достатъчно да се посочат забранени думи под формата на ASCII картинка.

По своята ефективност новият метод на атака значително превъзхожда другите известни начини за заобикаляне на филтрите в чатботовете. Най-високото качество на разпознаване на ASCII графиката е регистрирано в моделите Gemini, GPT-4 и GPT-3.5, като процентът на успешното заобикаляне на филтрите с тестови заявки (HPR, Helpful Rate, коефициент за успешна обработка на заявката) по време на тестването е оценен на 100%, 98% и 92%, а показателят за успешност на провеждане на атаката (ASR, Attack Success Rate) е 76%, 32% и 76%, а нивото на опасност на получените отговори (HS, Harmfulness Score) по петобалната скала е съответно 4.42, 3.38 и 4.56 точки.

Изследователите също така демонстрираха, че разпространените в момента методи за защита от заобикаляне на филтрите (PPL, Paraphrase и Retokenization) са неефективни за блокиране на атака ArtPrompt. Още повече, използването на метода Retokenization даже увеличи броя на успешно обработените заявки.

Допълнение: Yandex GPT2 също така отлично отговаря на въпроси с ASCII графика. Пример с думата «HELLO»:

Източник: opennet.ru