Bezpečnostní výzkumníci ze společnosti Microsoft vyvinuli techniku útoku přes vedlejší kanály Whisper Leak, která na základě pasivní analýzy šifrovaného provozu přenášeného prostřednictvím TLS připojení umožňuje klasifikaci témat dotazů na služby založené na velkých jazykových modelech. Informace o velikosti síťových paketů a zpožděních mezi jejich přenosem byly dostatečné k tomu, aby bylo možné určit témata dotazů k AI chatbotům s přesností přes 98 %. V praxi může být navrhovaná metoda použita k identifikaci určitých témat dotazů v tranzitním uživatelském provozu, například pokusů o získání informací o nezákonné činnosti, aniž by bylo potřeba rozšifrovat obsah.
Nástroje pro extrakci dat z dumpů provozu, trénink modelu a testování účinnosti metody byly zveřejněny na GitHubu. Možnost provedení útoku byla demonstrována pro 28 populárních velkých jazykových modelů od největších výrobců. Například přesnost určení dotazů na téma „praní peněz“ pro mnoho AI služeb dosáhla 100 %, přičemž v analyzovaném provozu byl 1 shodný dotaz a 10 000 dotazů nesouvisejících s tímto tématem.
Příčinou úniku informací je skutečnost, že modely generují odpověď na dotaz po krocích, po jednom tokenu za čas, přičemž v každém kroku používají předchozí token jako kontext pro určení následujícího nejpravděpodobnějšího slova nebo fráze. Odpovídajícím způsobem je na každý token odesílán samostatný síťový paket a zpoždění mezi pakety odpovídá zpoždění mezi určením dalšího tokenu modelem.
V TLS, pokud není použito komprese dat, je velikost šifrovaného textu rovna velikosti nešifrovaného textu plus konstantě. Při vytváření modelu, který porovnává požadované sady tokenů s velikostí paketů a zpožděním mezi jejich odesíláním, lze docela přesně určit přítomnost požadovaných témat v provozu. V rámci výzkumu byly připraveny tři varianty takových modelů strojového učení založených na architekturách neuronových sítí LightGBM, Bi-LSTM a BERT. Pro každý model byly provedeny experimenty na určení požadovaného tématu při analýze pouze velikosti paketů, pouze zpoždění mezi pakety a obou kritérií.
Pro snížení účinnosti pasivní analýzy tématických dotazů bylo vývojářům AI služeb navrženo připojit náhodné dodatečné vyplnění, bufferovat přenos tokenů nebo provádět substituci fiktivních paketů.
Zdroj: opennet.ru
