Menggunakan sensor gerak ponsel pintar untuk mendengarkan percakapan

Sekelompok peneliti dari lima universitas Amerika telah mengembangkan teknik serangan saluran samping EarSpy, yang memungkinkan penyadapan percakapan telepon dengan menganalisis informasi dari sensor gerak. Metode ini didasarkan pada fakta bahwa ponsel cerdas modern dilengkapi dengan akselerometer dan giroskop yang cukup sensitif, yang juga merespons getaran yang disebabkan oleh pengeras suara berdaya rendah pada perangkat, yang digunakan saat berkomunikasi tanpa speaker ponsel. Dengan menggunakan metode pembelajaran mesin, peneliti dapat memulihkan sebagian ucapan yang didengar di perangkat berdasarkan informasi yang diterima dari sensor gerak dan menentukan jenis kelamin pembicara.

Sebelumnya, serangan saluran samping yang melibatkan sensor gerak diyakini hanya dapat dilakukan menggunakan speaker kuat yang digunakan untuk panggilan handsfree, dan speaker yang berbunyi saat ponsel diletakkan di telinga tidak akan menyebabkan kebocoran. Namun, peningkatan sensitivitas sensor dan penggunaan speaker dua telinga yang lebih bertenaga pada ponsel pintar modern telah mengubah situasi tersebut. Serangan dapat dilakukan di aplikasi seluler apa pun untuk platform Android, karena akses ke sensor gerak diberikan kepada aplikasi tanpa izin khusus (dengan pengecualian Android 13).

Penggunaan jaringan saraf konvolusional dan algoritma pembelajaran mesin klasik memungkinkan, ketika menganalisis spektogram yang dihasilkan berdasarkan data dari akselerometer pada ponsel pintar OnePlus 7T, untuk mencapai akurasi penentuan jenis kelamin sebesar 98.66%, penentuan pembicara sebesar 92.6%, dan penentuan angka lisan sebesar 56.42%. Pada smartphone OnePlus 9, angka tersebut masing-masing sebesar 88.7%, 73.6%, dan 41.6%. Saat speaker ponsel dihidupkan, keakuratan pengenalan suara meningkat hingga 80%. Untuk merekam data dari accelerometer, aplikasi seluler Sensor Suite Fisika Toolbox standar digunakan.

Menggunakan sensor gerak ponsel pintar untuk mendengarkan percakapan

Untuk melindungi dari serangan jenis ini, perubahan telah dilakukan pada platform Android 13 yang membatasi keakuratan data dari sensor yang disediakan tanpa kekuatan khusus hingga 200 Hz. Saat pengambilan sampel pada 200 Hz, akurasi serangan berkurang menjadi 10%. Perlu diketahui juga bahwa selain kekuatan dan jumlah speaker, keakuratannya juga sangat dipengaruhi oleh kedekatan speaker dengan sensor gerak, ketatnya housing, dan adanya gangguan eksternal dari lingkungan.

Sumber: opennet.ru

Tambah komentar