Tím výskumníkov z University of Washington, University of Illinois a University of Chicago identifikoval novú metódu, ako obísť obmedzenia spracovania nebezpečného obsahu v chatbotoch AI postavených na veľkých jazykových modeloch (LLM). Útok je založený na tom, že jazykové modely GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) a Llama2 (Meta) v dopytoch úspešne rozpoznávajú a berú do úvahy text formátovaný ako grafika ASCII. Na obídenie filtrov pre nebezpečné otázky teda stačilo označiť zakázané slová vo forme ASCII obrázku.
Nový spôsob útoku svojou účinnosťou výrazne predbehol ostatné známe spôsoby obchádzania filtrov v chatbotoch. Najvyššiu kvalitu rozpoznávania ASCII grafiky zaznamenali modely Gemini, GPT-4 a GPT-3.5, úroveň úspešného obídenia filtra s testovacími požiadavkami (HPR, Helpful Rate, miera úspešného spracovania požiadaviek) pri ktorých testovanie bolo odhadnuté na 100%, 98% a 92%, úspešnosť útoku (ASR, Attack Success Rate) je 76%, 32% a 76% a úroveň nebezpečenstva prijatých odpovedí (HS, Harmfulness Score) na päťke -bodová stupnica je 4.42, 3.38 a 4.56 bodu.
Výskumníci tiež preukázali, že v súčasnosti bežné techniky obchádzania filtra (PPL, parafráza a retokenizácia) nie sú účinné pri blokovaní útoku ArtPrompt. Navyše, použitie metódy Retokenizácie ešte zvýšilo počet úspešne spracovaných požiadaviek.
Doplnenie: Yandex GPT2 tiež dokonale odpovedá na otázky s grafikou ASCII. Príklad so slovom „AHOJ“:
Zdroj: opennet.ru
