Grupa badaczy z Uniwersytetu Waszyngtońskiego, Uniwersytetu Illinois i Uniwersytetu Chicagowskiego odkryła nową metodę omijania ograniczeń dotyczących przetwarzania niebezpiecznych treści w chatbotach AI opartych na dużych modelach językowych (LLM). Atak oparty jest na tym, że modele językowe GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) oraz Llama2 (Meta) skutecznie rozpoznają i uwzględniają w zapytaniach tekst przedstawiony w formie grafiki ASCII. W ten sposób, aby ominąć filtry niebezpiecznych pytań, wystarczyło przedstawić zabronione słowa jako grafikę ASCII.
Pod względem efektywności nowa metoda ataku znacznie przewyższa inne znane sposoby omijania filtrów w chatbotach. Najwyższą jakość rozpoznawania grafiki ASCII zaobserwowano w modelach Gemini, GPT-4 i GPT-3.5, a poziom skutecznego omijania filtrów za pomocą testowych zapytań (HPR, Helpful Rate, wskaźnik skuteczności przetwarzania zapytania) oceniono w testach na 100%, 98% i 92%, a wskaźnik skuteczności ataku (ASR, Attack Success Rate) wynosił 76%, 32% i 76%, podczas gdy poziom niebezpieczeństwa uzyskanych odpowiedzi (HS, Harmfulness Score) w pięciostopniowej skali wyniósł odpowiednio 4.42, 3.38 i 4.56 punktów.
Badacze również wykazali, że powszechnie stosowane obecnie metody ochrony przed omijaniem filtrów (PPL, Paraphrase i Retokenization) są nieefektywne w blokowaniu ataku ArtPrompt. Co więcej, zastosowanie metody Retokenization nawet zwiększyło liczbę skutecznie przetworzonych zapytań.
Uzupełnienie: Yandex GPT2 również doskonale odpowiada na pytania dotyczące grafiki ASCII. Przykład ze słowem „HELLO”:
Źródło: opennet.ru
