Атаката Whisper Leak определя тематиката на комуникацията с AI чатботове чрез анализ на TLS трафика

Изследователи по сигурността от компанията Microsoft разработиха техника за атака чрез странични канали Whisper Leak, която позволява, на основа на пасивен анализ на криптирания трафик, предаван чрез TLS-соединение, да се класифицират темите на запитванията към услугите, базирани на големи езикови модели. Информацията за размера на мрежовите пакети и забавянията между тях се оказа достатъчна за определяне на темите на запитванията към AI чатботовете с точност над 98%. На практика предложените методи могат да се използват за разкриване на определени теми в транзитния трафик на потребителя, например, опити за получаване на информация за незаконни действия, без да е необходимо декодиране на съдържанието.

Инструментариумът за извличане на данни от дъмпове на трафика, обучение на модела и тестване на работата на метода е публикуван в GitHub. Възможността за провеждане на атака е демонстрирана за 28 популярни големи езикови модела от най-големите производители. Например, точността при определянето на запитвания за темата "пране на пари" за много AI услуги е била 100%, при наличие в анализирания трафик на 1 целево запитване и 10000 запитвания, които не са свързани с необходимата тема.

Причината за изтичане на информация е, че моделите генерират отговор на запитването стъпка по стъпка, по един токен наведнъж, като на всяка стъпка използват предишния токен като контекст за определяне на следващото най-вероятно слово или фраза. Съответно, за всеки токен се изпраща отделен мрежов пакет и забавянето между пакетите съответства на забавянето между определянето на следващия токен от модела.

В TLS, ако не се използва компресия на данните, обменът на шифротекст е равен на размера на необработения текст плюс константа. При създаването на модел, който съпоставя търсени набори от токени с размери на пакети и забавяния между тях, може да се определи наличието на исканите теми в трафика с достатъчна точност. По време на изследването са подготвени три варианта на подобни модели на машинно обучение, базирани на архитектурите на невронни мрежи LightGBM, Bi-LSTM и BERT. За всеки модел са проведени експерименти за определяне на исканата тема чрез анализ само на размера на пакетите, само на забавянията между пакетите и на двата критерия.

За намаляване на ефективността на пасивния анализ на темата на запитванията, на разработчиците на AI услуги е предложено да прикрепят случайно допълнително съдържание, да буферират предаването на токени или да извършват замяна на фиктивни пакети.

Източник: opennet.ru