ArtPrompt — атака на AI системи, позволяваща заобикаляне на филтри чрез ASCII изображения

Група изследователи от Вашингтонския, Илинойския и Чикагския университети откриха нов метод за заобикаляне на ограниченията при обработка на опасно съдържание в AI чатботове, изградени на основата на големи езикови модели (LLM). Атаката е основана на това, че езиковите модели GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) и Llama2 (Meta) успешно разпознават и вземат предвид в запитванията текст, оформен като ASCII графика. Така че, за да се заобиколят филтрите на опасните въпроси, е било достатъчно да бъдат посочени забранени думи под формата на ASCII картинка.

По своята ефективност новият метод на атака значително надминава другите известни начини за заобикаляне на филтрите в чатботовете. Най-високото качество на разпознаване на ASCII графиката е регистрирано в моделите Gemini, GPT-4 и GPT-3.5, а нивото на успешното заобикаляне на филтрите с проверочни запитвания (HPR, Helpful Rate, коефициент на успешна обработка на запитването) е оценено по време на тестването на 100%, 98% и 92%, показателят за успешност на атаката (ASR, Attack Success Rate) е 76%, 32% и 76%, а нивото на опасност на получените отговори (HS, Harmfulness Score) по петобалната скала е 4.42, 3.38 и 4.56 точки, съответно.

Изследователите също демонстрираха, че разпространените в момента методи за защита срещу заобикаляне на филтрите (PPL, Paraphrase и Retokenization) са неефективни за блокиране на атаката ArtPrompt. Освен това, употребата на метода Retokenization дори увеличава броя на успешно обработените запитвания.

Допълнение: Yandex GPT2 също дава отлични отговори на въпроси с ASCII графика. Пример с думата „HELLO“:

Източник: opennet.ru