Een groep onderzoekers van de universiteiten van Washington, Illinois en Chicago heeft een nieuwe methode ontdekt om beperkingen bij de verwerking van gevaarlijke inhoud in AI-chatbots, gebaseerd op grote taalmodellen (LLM), te omzeilen. De aanval is gebaseerd op het feit dat taalmodellen zoals GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) en Llama2 (Meta) met succes tekst die in ASCII-kunst is vormgegeven, herkennen en in beschrijvingen verwerken. Het bleek dus voldoende om verboden woorden in de vorm van ASCII-afbeeldingen aan te geven om de filters te omzeilen.
Wat betreft effectiviteit overtreft de nieuwe aanvalsmethode aanzienlijk andere bekende manieren om filters in chatbots te omzeilen. De hoogste kwaliteit van herkenning van ASCII-kunst is geconstateerd in de modellen Gemini, GPT-4 en GPT-3.5, waarbij het niveau van succesvolle omzeiling van filters door testverzoeken (HPR, Helpful Rate, de succesvolle verwerkingscoëfficiënt van het verzoek) bij testen is beoordeeld op 100%, 98% en 92%, het percentage van succesvolle uitvoering van de aanval (ASR, Attack Success Rate) op 76%, 32% en 76%, en het niveau van schadelijkheid van de ontvangen antwoorden (HS, Harmfulness Score) op een schaal van vijf punten op respectievelijk 4,42, 3,38 en 4,56 punten.
Onderzoekers hebben ook aangetoond dat de momenteel veel gebruikte methoden ter bescherming tegen het omzeilen van filters (PPL, Paraphrase en Retokenization) ineffectief zijn om de ArtPrompt-aanval te blokkeren. Sterker nog, het gebruik van de Retokenization-methode verhoogde zelfs het aantal succesvol verwerkte verzoeken.
Aanvulling: Yandex GPT2 reageert ook uitstekend op vragen met ASCII-kunst. Voorbeeld met het woord “HELLO”:
Bron: opennet.ru
