Sicherheitsforscher von Microsoft haben eine Angriffstechnik namens Whisper Leak entwickelt, die es ermöglicht, anhand der passiven Analyse von verschlüsseltem Verkehr, der über eine TLS-Verbindung übertragen wird, die Themen von Anfragen an Dienste basierend auf großen Sprachmodellen zu klassifizieren. Informationen über die Größe von Netzwerkpaketen und die Verzögerungen zwischen deren Übertragung erwiesen sich als ausreichend, um die Themen von Anfragen an KI-Chatbots mit einer Genauigkeit von über 98 % zu bestimmen. In der Praxis kann die vorgeschlagene Methode verwendet werden, um in Transitdaten des Nutzers bestimmte Anfrage-Themen zu identifizieren, beispielsweise Versuche, Informationen über illegale Aktivitäten zu erhalten, ohne den Inhalt zu entschlüsseln.
Ein Werkzeug zur Extraktion von Daten aus Datenverkehrsdumps, zum Training von Modellen und zur Testung der Methodik ist auf GitHub veröffentlicht. Die Möglichkeit, Angriffe durchzuführen, wurde für 28 beliebte große Sprachmodelle der größten Anbieter demonstriert. Zum Beispiel betrug die Genauigkeit der Identifizierung von Anfragen zum Thema „Geldwäsche“ für viele KI-Dienste 100%, wobei im analysierten Datenverkehr 1 relevante Anfrage und 10.000 Anfragen, die nicht mit dem gewünschten Thema in Verbindung standen, vorhanden waren.
Ursache für den Datenverlust ist, dass die Modelle die Antwort auf eine Anfrage schrittweise generieren, tokenweise, wobei jeder Schritt das vorherige Token als Kontext verwendet, um das nächste wahrscheinlichste Wort oder die nächste wahrscheinlichste Phrase zu bestimmen. Dementsprechend wird für jedes Token ein separates Netzwerkpaket gesendet, und die Verzögerung zwischen den Paketen entspricht der Verzögerung zwischen der Bestimmung des nächsten Tokens durch das Modell.
In TLS, if data compression is not used, the ciphertext expansion is equal to the size of the unencrypted text plus a constant. When creating a model that correlates the desired token sets with the packet sizes and the delays between their transmission, it is possible to accurately determine the presence of sought topics in the traffic. Three variants of such machine learning models were prepared for the study, based on LightGBM, Bi-LSTM, and BERT neural network architectures. Experiments were conducted for each model to identify the target topic by analyzing either the packet sizes, only the delays between packets, or both criteria.
To reduce the effectiveness of passive analysis of query topics, AI-service developers are advised to attach random additional padding, buffer the transmission of tokens, or substitute dummy packets.
Quelle: opennet.ru
