Skupina výzkumníků z Washingtonské, Illinois State a Chicagské univerzity objevila novou metodu, jak obcházet omezení při zpracování nebezpečného obsahu v AI chatbotech založených na velkých jazykových modelech (LLM). Útok vychází z toho, že jazykové modely GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) a Llama2 (Meta) úspěšně rozpoznávají a zohledňují v žádostech text zpracovaný formou ASCII grafiky. Takže pro obcházení filtrů nebezpečných dotazů stačilo uvést zakázaná slova ve formě ASCII obrázku.
Pokud jde o efektivitu, nová metoda útoku významně překonala jiné známé způsoby obcházení filtrů v chatbotech. Nejvyšší kvalita rozpoznání ASCII grafiky byla zaznamenána u modelů Gemini, GPT-4 a GPT-3.5, úroveň úspěšného obcházení filtrů pomocí testovacích dotazů (HPR, Helpful Rate, koeficient úspěšného zpracování žádosti) byla v testování hodnocena na 100%, 98% a 92%, míra úspěšnosti provedení útoku (ASR, Attack Success Rate) byla 76%, 32% a 76%, a úroveň nebezpečnosti získaných odpovědí (HS, Harmfulness Score) podle pětibodové škály byla 4.42, 3.38 a 4.56 bodů, v tomto pořadí.
Výzkumníci také prokázali, že v současnosti běžné metody ochrany proti obcházení filtrů (PPL, Paraphrase a Retokenization) jsou neefektivní pro blokaci útoku ArtPrompt. Co je horší, použití metody Retokenization dokonce zvýšilo počet úspěšných zpracovaných dotazů.
Dodatek: Yandex GPT2 také skvěle odpovídá na dotazy s ASCII grafikou. Příklad se slovem „HELLO“:
Zdroj: opennet.ru
