스마트폰 모션 센서를 사용하여 대화 듣기

미국 XNUMX개 대학의 연구원 그룹이 모션 센서의 정보를 분석하여 전화 대화를 도청할 수 있는 EarSpy 부채널 공격 기술을 개발했습니다. 이 방법은 최신 스마트폰에는 매우 민감한 가속도계와 자이로스코프가 장착되어 있으며 스피커폰 없이 통신할 때 사용되는 장치의 저전력 스피커에서 발생하는 진동에도 반응한다는 사실에 기초합니다. 연구원은 기계 학습 방법을 사용하여 모션 센서에서 수신한 정보를 기반으로 장치에서 들리는 음성을 부분적으로 복원하고 화자의 성별을 결정할 수 있었습니다.

이전에는 모션 센서와 관련된 부채널 공격은 핸즈프리 통화에 사용되는 강력한 스피커를 통해서만 수행될 수 있으며, 전화기를 귀에 대면 소리가 나는 스피커로는 누출이 발생하지 않는 것으로 여겨졌습니다. 그러나 최신 스마트폰에서 센서 감도가 향상되고 더욱 강력한 듀얼 이어 스피커가 사용되면서 상황이 바뀌었습니다. 모션 센서에 대한 액세스는 특별한 권한 없이 애플리케이션에 부여되므로(Android 13 제외) 공격은 Android 플랫폼의 모든 모바일 애플리케이션에서 수행될 수 있습니다.

Convolutional Neural Network와 고전적인 기계 학습 알고리즘을 사용하여 OnePlus 7T 스마트폰의 가속도계 데이터를 기반으로 생성된 스펙트로그램을 분석할 때 성별 판별 정확도 98.66%, 화자 판별 정확도 92.6%, 음성 숫자 결정률은 56.42%입니다. OnePlus 9 스마트폰에서는 이 수치가 각각 88.7%, 73.6%, 41.6%를 기록했습니다. 스피커폰을 켜면 음성인식 정확도가 80%까지 높아졌다. 가속도계의 데이터를 기록하기 위해 표준 Physics Toolbox Sensor Suite 모바일 애플리케이션이 사용되었습니다.

이러한 유형의 공격으로부터 보호하기 위해 특별한 전원 없이 제공되는 센서의 데이터 정확도를 13Hz로 제한하는 변경 사항이 Android 200 플랫폼에 이미 적용되었습니다. 200Hz로 샘플링하면 공격 정확도가 10%로 감소합니다. 또한 스피커의 전력 및 수 외에도 스피커와 모션 센서의 근접성, 하우징의 견고성 및 환경의 외부 간섭 존재 여부에 따라 정확도가 크게 영향을 받는다는 점도 주목됩니다.

출처 : opennet.ru