Un grupo de investigadores de las universidades de Washington, Illinois y Chicago ha descubierto un nuevo método para eludir las restricciones en el procesamiento de contenido peligroso en chatbots de IA, basados en grandes modelos de lenguaje (LLM). El ataque se basa en la capacidad de modelos de lenguaje como GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) y Llama2 (Meta) para reconocer y tener en cuenta en las consultas textos presentados en forma de gráficos ASCII. Así, para eludir los filtros de preguntas peligrosas, basta con indiciar palabras prohibidas en forma de imagen ASCII.
En términos de eficacia, el nuevo método de ataque supera significativamente otros métodos conocidos para eludir los filtros en chatbots. La calidad de reconocimiento de gráficos ASCII fue más alta en los modelos Gemini, GPT-4 y GPT-3.5, con un nivel de elusión exitoso de los filtros en consultas de prueba (HPR, Tasa de Utilidad) evaluado en 100%, 98% y 92%, y el índice de éxito del ataque (ASR, Tasa de Éxito del Ataque) en 76%, 32% y 76%, mientras que el nivel de peligrosidad de las respuestas obtenidas (HS, Puntaje de Peligrosidad) en una escala de cinco puntos fue de 4.42, 3.38 y 4.56, respectivamente.
Los investigadores también demostraron que los métodos de defensa actuales contra la elusión de filtros (PPL, Parafraseo y Retokenización) son ineficaces para bloquear el ataque ArtPrompt. Además, la utilización del método de Retokenización incluso aumentó el número de consultas procesadas con éxito.
Adicionalmente: Yandex GPT2 también responde perfectamente a preguntas con gráficos ASCII. Ejemplo con la palabra «HELLO»:
Fuente: opennet.ru
