Um grupo de pesquisadores das universidades de Washington, Illinois e Chicago identificou um novo método para contornar as restrições no processamento de conteúdo perigoso em chatbots de IA baseados em grandes modelos de linguagem (LLM). O ataque é baseado no fato de que os modelos de linguagem GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) e Llama2 (Meta) reconhecem e consideram em suas solicitações texto apresentado como gráficos ASCII. Assim, para contornar os filtros de perguntas perigosas, é suficiente apresentar palavras proibidas na forma de uma imagem ASCII.
Em termos de eficácia, o novo método de ataque superou significativamente outras formas conhecidas de contornar os filtros em chatbots. A melhor qualidade de reconhecimento de gráficos ASCII foi observada nos modelos Gemini, GPT-4 e GPT-3.5, com o nível de contorno bem-sucedido dos filtros em consultas de teste (HPR, Taxa Útil, coeficiente de sucesso no processamento da solicitação) avaliado em 100%, 98% e 92%, respectivamente, a taxa de sucesso do ataque (ASR, Taxa de Sucesso do Ataque) foi de 76%, 32% e 76%, e o nível de periculosidade das respostas obtidas (HS, Pontuação de Periculosidade) em uma escala de cinco pontos foi de 4,42, 3,38 e 4,56 pontos, respectivamente.
Os pesquisadores também demonstraram que os métodos de proteção atualmente em uso contra contornos de filtros (PPL, Parafrasear e Retokenização) são ineficazes para bloquear o ataque ArtPrompt. Além disso, o uso do método Retokenização até aumentou o número de solicitações processadas com sucesso.
Adendo: O Yandex GPT2 também responde muito bem a perguntas com gráficos ASCII. Exemplo com a palavra "HELLO":
Fonte: opennet.ru
