Un gruppo di ricercatori delle università di Washington, Illinois e Chicago ha identificato un nuovo metodo per eludere le restrizioni nella gestione dei contenuti pericolosi nei chatbot AI basati su modelli linguistici di grandi dimensioni (LLM). L'attacco si basa sul fatto che i modelli linguistici GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) e Llama2 (Meta) riescono a riconoscere e a considerare nelle richieste il testo presentato come grafica ASCII. Pertanto, per eludere i filtri delle domande pericolose, è sufficiente indicare parole vietate sotto forma di immagini ASCII.
In termini di efficacia, il nuovo metodo di attacco supera di gran lunga altre tecniche conosciute per eludere i filtri nei chatbot. La qualità di riconoscimento della grafica ASCII è risultata particolarmente alta nei modelli Gemini, GPT-4 e GPT-3.5, con un livello di elusione dei filtri mediante richieste di prova (HPR, Helpful Rate, tasso di elaborazione delle richieste riuscito) valutato rispettivamente al 100%, 98% e 92%, mentre il tasso di successo dell'attacco (ASR, Attack Success Rate) è stato del 76%, 32% e 76%, e il livello di pericolosità delle risposte ottenute (HS, Harmfulness Score) su una scala di cinque punti è stato di 4.42, 3.38 e 4.56 punti.
Gli studiosi hanno inoltre dimostrato che i metodi di protezione attualmente in uso per prevenire l'elusione dei filtri (PPL, Paraphrase e Retokenization) sono inefficaci nel bloccare l'attacco ArtPrompt. Inoltre, l'utilizzo del metodo Retokenization ha persino aumentato il numero di richieste elaborate con successo.
Aggiunta: Yandex GPT2 risponde anch'esso eccellentemente a domande con grafica ASCII. Esempio con la parola «HELLO»:
Fonte: opennet.ru
