Badacze bezpieczeństwa z firmy Microsoft opracowali technikę ataku za pośrednictwem zewnętrznych kanałów Whisper Leak, która umożliwia klasyfikację tematów zapytań do serwisów opartych na dużych modelach językowych na podstawie pasywnej analizy szyfrowanego ruchu przesyłanego przez połączenie TLS. Informacje o wielkości pakietów sieciowych i opóźnieniach między ich transmisją okazały się wystarczające do określenia tematów zapytań do AI chatbotów z dokładnością przekraczającą 98%. W praktyce proponowana metoda może być stosowana do identyfikacji w ruchu tranzytowym użytkownika określonych tematów zapytań, na przykład prób uzyskania informacji o nielegalnych działaniach, bez odszyfrowania zawartości.
Narzędzia do wydobywania danych z zrzutów ruchu, uczenia modeli i testowania działania metody opublikowano na GitHubie. Możliwość przeprowadzenia ataku została zademonstrowana dla 28 popularnych dużych modeli językowych od największych producentów. Na przykład, dokładność określenia zapytań dotyczących tematu „prania brudnych pieniędzy” dla wielu AI serwisów wyniosła 100%, przy obecności w analizowanym ruchu 1 poszukiwanego zapytania i 10000 zapytań niezwiązanych z odpowiednim tematem.
Przyczyną wycieku informacji jest to, że modele generują odpowiedź na zapytanie krok po kroku, token po tokenie, w każdym kroku wykorzystując wcześniejszy token jako kontekst do określenia następnego najbardziej prawdopodobnego słowa lub frazy. Odpowiednio, dla każdego tokena wysyłany jest oddzielny pakiet sieciowy, a opóźnienie między pakietami odpowiada opóźnieniu między określaniem przez model następnego tokena.
W TLS, jeśli nie używa się kompresji danych, długość szyfrogramu jest równa rozmiarowi tekstu niezaszyfrowanego powiększonemu o stałą. Przy tworzeniu modelu, który kojarzy wyszukiwane zestawy tokenów z rozmiarami pakietów i opóźnieniami między ich wysyłką, można dość dokładnie określić obecność poszukiwanych tematów w ruchu. W ramach badania przygotowano trzy warianty takich modeli uczenia maszynowego, opartych na architekturach sieci neuronowych LightGBM, Bi-LSTM i BERT. Dla każdego modelu przeprowadzono eksperymenty mające na celu określenie poszukiwanej tematyki, analizując tylko rozmiary pakietów, tylko opóźnienia między pakietami oraz oba kryteria.
Aby zmniejszyć skuteczność pasywnej analizy tematyki zapytań, programiści usług AI zaproponowali dołączanie losowych dodatków wypełniających, buforowanie przesyłania tokenów lub zastępowanie fikcyjnych pakietów.
Źródło: opennet.ru
