En gruppe forskere fra Washington, Illinois og Chicago universiteterne har opdaget en ny metode til at omgå begrænsningerne for håndtering af farligt indhold i AI-chatbots baseret på store sprogmodeller (LLM). Angrebet er baseret på, at sprogmodellerne GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) og Llama2 (Meta) effektivt genkender og inkluderer tekst præsenteret som ASCII-grafik i forespørgslerne. Dermed viste det sig, at det var tilstrækkeligt at angive forbudte ord som en ASCII-tegning for at omgå filtrene for farlige spørgsmål.
I sin effektivitet overgår den nye angrebsmetode betydeligt andre kendte måder at omgå filtrene i chatbots. Den højeste kvalitet af genkendelse af ASCII-grafik blev registreret i modellerne Gemini, GPT-4 og GPT-3.5, hvor niveauet af vellykket omgåelse af filtrene (HPR, Helpful Rate, succesrate for håndtering af forespørgsler) ved testning blev vurderet til 100%, 98% og 92%, angrebssuccesraten (ASR, Attack Success Rate) var henholdsvis 76%, 32% og 76%, og niveauet for farlighed ved de modtagne svar (HS, Harmfulness Score) på en skala fra 1 til 5 var henholdsvis 4.42, 3.38 og 4.56.
Forskere har også demonstreret, at de aktuelt almindelige metoder til beskyttelse mod omgåelse af filtre (PPL, Paraphrase og Retokenization) er ineffektive til at blokere angrebet ArtPrompt. Desuden øgede brugen af metoden Retokenization endda antallet af succesfuldt behandlede forespørgsler.
Tillæg: Yandex GPT2 svarer også glimrende på spørgsmål med ASCII-grafik. Eksempel med ordet 'HELLO':
Kilde: opennet.ru
