Grupa istraživača sa Sveučilišta Washington, Sveučilišta Illinois i Sveučilišta Chicago otkrila je novu metodu za zaobilaženje ograničenja obrade opasnog sadržaja u AI chatbotovima temeljenim na velikim jezičnim modelima (LLM). Napad se oslanja na to da jezični modeli GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) i Llama2 (Meta) uspješno prepoznaju i uzimaju u obzir u zahtjevima tekst prikazan u obliku ASCII grafike. Tako je za zaobilaženje filtara opasnih pitanja bilo dovoljno prikazati zabranjene riječi u obliku ASCII slike.
U svojoj učinkovitosti nova metoda napada znatno nadmašuje druge poznate načine zaobilaženja filtara u chatbotovima. Najviša kvaliteta prepoznavanja ASCII grafike zabilježena je u modelima Gemini, GPT-4 i GPT-3.5, gdje je razina uspješnog zaobilaženja filtara provjerenim upitima (HPR, Helpful Rate, koeficijent uspješne obrade zahtjeva) tijekom testiranja procijenjena na 100%, 98% i 92%, a pokazatelj uspješnosti napada (ASR, Attack Success Rate) na 76%, 32% i 76%, dok je razina opasnosti dobivenih odgovora (HS, Harmfulness Score) na petostupanjskoj ljestvici iznosila 4.42, 3.38 i 4.56 bodova, redom.
Istraživači su također pokazali da su trenutne metode zaštite od zaobilaženja filtara (PPL, Paraphrasing i Retokenization) neučinkovite za blokiranje napada ArtPrompt. Štoviše, korištenje metode Retokenization čak je povećalo broj uspješno obrađenih zahtjeva.
Dopuna: Yandex GPT2 također odlično odgovara na pitanja s ASCII grafikom. Primjer sa riječi 'HELLO':
Izvor: opennet.ru
