ArtPrompt — támadás az AI-rendszerek ellen, lehetővé téve a szűrők megkerülését ASCII-képek segítségével.

A washingtoni, illinoisi és chicagói egyetemek kutatócsoportja új módszert fedezett fel a veszélyes tartalom feldolgozásának korlátozásainak megkerülésére AI-chatbotokban, amelyek nagy nyelvi modellek (LLM) alapjaira építenek. A támadás lényege, hogy a GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) és Llama2 (Meta) nyelvi modellek sikeresen azonosítják és figyelembe veszik az ASCII-művészet formájában megjelenített szöveget a lekérdezésekben. Így a veszélyes kérdések szűrőinek megkerüléséhez elegendő volt, ha a tiltott szavakat ASCII-képekként ábrázolták.

Hatékonysága szempontjából az új támadási módszer jelentősen felülmúlta a chatbotok szűrőinek megkerülésére ismert egyéb módszereket. Az ASCII-művészet legmagasabb minőségű felismerését a Gemini, GPT-4 és GPT-3.5 modellek mutatták, amelyeken a tesztelés során a szűrők megkerülésének sikerességi arányát (HPR, Hasznos Arány) 100%, 98% és 92%-ra, a támadások sikerességi arányát (ASR, Attack Success Rate) 76%, 32% és 76%-ra értékelték, míg a kapott válaszok veszélyességi szintje (HS, Harmfulness Score) öt pontos skálán 4.42, 3.38 és 4.56 pontot ért el.

A kutatók azt is bemutatták, hogy a jelenleg elterjedt szűrési megkerülési védelmi módszerek (PPL, Parafrázis és Retokenizáció) nem hatékonyak az ArtPrompt támadás blokkolásában. Sőt, a Retokenizáció módszerének alkalmazása még növelte is a sikeresen feldolgozott lekérdezések számát.

Kiegészítés: A Yandex GPT2 is nagyon jól válaszol az ASCII-művészetet tartalmazó kérdésekre. Példa a 'HELLO' szóra:

Forrás: opennet.ru