ArtPrompt - напад на системи со вештачка интелигенција што ви овозможува да ги заобиколите филтрите користејќи ASCII слики

Тим истражувачи од Универзитетот во Вашингтон, Универзитетот во Илиноис и Универзитетот во Чикаго идентификуваа нов метод за заобиколување на ограничувањата за обработка на опасни содржини во чат-ботови со вештачка интелигенција изградени на големи јазични модели (LLM). Нападот се заснова на фактот дека јазичните модели GPT-3.5, GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic) и Llama2 (Meta) успешно препознаваат и го земаат предвид текстот форматиран како ASCII графика во барањата. Така, за да се заобиколат филтрите за опасни прашања, доволно беше да се наведат забранети зборови во форма на слика ASCII.

Во однос на неговата ефикасност, новиот метод на напад значително ги надмина другите познати методи за заобиколување на филтри во чет-ботови. Највисок квалитет на ASCII графичко препознавање е забележан во моделите Gemini, GPT-4 и GPT-3.5, нивото на успешно заобиколување на филтерот со барања за тестирање (HPR, Helpful Rate, стапката на успешна обработка на барањата) во кои тестирањето беше проценето на 100%, 98% и 92%, стапката на успех на нападот (ASR, стапка на успех на напад) е 76%, 32% и 76%, а нивото на опасност од добиените одговори (HS, оценка за штетност) на пет -бодовната скала е 4.42, 3.38 и 4.56 поени, соодветно.

Истражувачите, исто така, покажаа дека моментално вообичаените техники за бајпас против филтри (PPL, парафраза и ретокенизација) не се ефикасни во блокирањето на нападот ArtPrompt. Згора на тоа, со користење на методот Ретокенизација дури и се зголеми бројот на успешно обработени барања.

Дополнување: Yandex GPT2 исто така совршено одговара на прашања со ASCII графика. Пример со зборот „ЗДРАВО“:

Извор: opennet.ru