음표 간 읽기: 음악 내부의 데이터 전송 시스템

말로 전달할 수 없는 것을 표현하세요. 감정의 허리케인 속에 얽혀 있는 다양한 감정을 느껴보세요. 땅과 하늘, 우주마저도 벗어나 지도도, 길도, 표지판도 없는 여행을 떠나는 것. 항상 독특하고 흉내낼 수 없는 전체 이야기를 만들고, 말하고, 경험하세요. 이 모든 것은 음악을 통해 이루어질 수 있습니다. 음악은 수천 년 동안 존재해 왔으며 우리의 귀와 마음을 즐겁게 해주는 예술입니다.

그러나 음악 또는 오히려 음악 작품은 미적 즐거움을 제공할 뿐만 아니라 그 안에 인코딩된 정보를 일부 장치용으로 전달하고 청취자에게는 보이지 않는 정보를 전송하는 데에도 사용할 수 있습니다. 오늘 우리는 취리히 공과대학(ETH Zurich) 대학원생들이 사람의 귀에 들리지 않게 특정 데이터를 음악 작품에 도입하여 음악 자체가 데이터 전송 채널이 되는 매우 특이한 연구에 대해 알게 될 것입니다. 그들은 그들의 기술을 정확히 어떻게 구현했으며, 내장된 데이터가 있는 멜로디와 없는 멜로디는 매우 다르며, 실제 테스트에서는 무엇을 보여줬습니까? 우리는 연구원의 보고서에서 이에 대해 배웁니다. 가다.

연구기반

연구원들은 그들의 기술을 음향 데이터 전송 기술이라고 부릅니다. 화자가 변형된 멜로디를 연주하면 사람은 그것을 정상적인 것으로 인식하지만, 예를 들어 스마트폰은 말하자면 줄 사이, 오히려 음표 사이에 인코딩된 정보를 읽을 수 있습니다. 과학자들은 (이 사람들이 아직 대학원생이라는 사실이 그들이 과학자가 되는 것을 방해하지 않습니다) 선택한 오디오 파일에 관계없이 이러한 매개 변수의 수준을 유지하면서 전송 속도와 신뢰성을 구현의 가장 중요한 측면으로 부릅니다. 이 데이터 전송 기술. 인간의 소리 인식에 대한 심리적, 생리학적 측면을 연구하는 음향심리학은 이 작업에 대처하는 데 도움이 됩니다.

음향 데이터 전송의 핵심은 OFDM(직교 주파수 분할 다중화)이라고 할 수 있으며, 이는 시간이 지남에 따라 소스 음악에 대한 부반송파의 적응과 함께 정보 전송을 위해 전송된 주파수 스펙트럼을 최대한 활용할 수 있게 해줍니다. 덕분에 최대 412미터 거리에서 24bps의 전송 속도를 달성할 수 있었습니다(오류율 < 10%). 40명의 지원자를 대상으로 한 실제 실험에서는 원래의 멜로디와 정보가 포함된 멜로디의 차이를 듣는 것이 거의 불가능하다는 사실이 확인되었습니다.

이 기술을 실제로 어디에 적용할 수 있나요? 연구자들은 나름의 답을 가지고 있습니다. 거의 모든 최신 스마트폰, 노트북 및 기타 휴대용 장치에는 마이크가 장착되어 있으며 많은 공공 장소(카페, 레스토랑, 쇼핑 센터 등)에는 배경 음악이 나오는 스피커가 있습니다. 예를 들어 이 배경 멜로디에는 추가 작업 없이 Wi-Fi 네트워크에 연결하기 위한 데이터가 포함될 수 있습니다.

음향 데이터 전송의 일반적인 특징은 우리에게 분명해졌습니다. 이제 이 시스템의 구조에 대한 자세한 연구로 넘어가겠습니다.

시스템 설명

주파수 마스킹으로 인해 멜로디에 데이터가 도입됩니다. 타임 슬롯에서는 마스킹 주파수가 식별되고 이러한 마스킹 요소에 가까운 OFDM 부반송파가 데이터로 채워집니다.

이미지 #1: 원본 파일을 스피커를 통해 전송되는 복합 신호(멜로디 + 데이터)로 변환합니다.

우선, 원본 오디오 신호는 분석을 위해 연속적인 세그먼트로 나뉩니다. L = 8820 샘플(200ms와 동일)의 각 세그먼트(Hi)에 다음을 곱합니다. 창문* 경계 효과를 최소화합니다.

창문* 스펙트럼 추정의 사이드로브(sidelobe)로 인한 효과를 제어하는 ​​데 사용되는 가중치 함수입니다.

다음으로, 원래 신호의 주요 주파수가 500Hz ~ 9.8kHz 범위에서 감지되었으며, 이를 통해 이 세그먼트에 대한 마스킹 주파수 fM,l을 얻을 수 있었습니다. 또한 수신기에서 부반송파의 위치를 ​​설정하기 위해 9.8~10kHz의 작은 범위에서 데이터가 전송되었습니다. 사용된 주파수 범위의 상한은 스마트폰 마이크의 고주파수 감도가 낮기 때문에 10kHz로 설정되었습니다.

마스킹 빈도는 분석된 각 세그먼트에 대해 개별적으로 결정되었습니다. HPS(Harmonic Product Spectrum) 방법을 사용하여 세 가지 주요 주파수를 식별한 다음 고조파 반음계에서 가장 가까운 음표로 반올림했습니다. 이것이 C1(3Hz)과 B0(16.35Hz) 건반 사이에 있는 fF,i = 0…30.87의 주 음표를 얻은 방법입니다. 기본음이 데이터 전송에 사용하기에는 너무 낮다는 사실을 토대로 더 높은 옥타브 500kfF,i가 9.8Hz ~ 2kHz 범위에서 계산되었습니다. 이러한 주파수(fO,l1) 중 다수는 HPS의 특성으로 인해 더 두드러졌습니다.

이미지 #2: 가장 강한 톤의 기본 음과 고조파 fH,l1에 대해 계산된 옥타브 fO,l2.

옥타브와 고조파의 결과 세트는 마스킹 주파수로 사용되었으며, 이로부터 OFDM 부반송파 주파수 fSC,k가 파생되었습니다. 각 마스킹 주파수 아래와 위에 두 개의 부반송파가 삽입되었습니다.

다음으로, Hi 오디오 세그먼트의 스펙트럼은 부반송파 주파수 fSC,k에서 필터링되었습니다. 그 후, Bi의 정보 비트를 기반으로 OFDM 심볼이 생성되어 복합 세그먼트 Ci가 스피커를 통해 전송될 수 있었습니다. 수신기가 전송된 데이터를 추출할 수 있는 동안 청취자는 멜로디의 변화를 알아차리지 못할 수 있도록 부반송파의 크기와 위상을 선택해야 합니다.

이미지 번호 3: 원래 멜로디의 Hi 세그먼트에 대한 스펙트럼 및 부반송파 주파수의 일부입니다.

정보가 인코딩된 오디오 신호가 스피커를 통해 재생되면 수신 장치의 마이크가 이를 녹음합니다. 임베디드 OFDM 기호의 시작 위치를 찾으려면 먼저 레코드를 대역통과 필터링해야 합니다. 이러한 방식으로 부반송파 사이에 음악적 간섭 신호가 없는 상위 주파수 범위가 추출됩니다. 순환 접두사를 사용하면 OFDM 기호의 시작 부분을 찾을 수 있습니다.

OFDM 심볼의 시작을 감지한 후 수신기는 고주파 영역 디코딩을 통해 가장 지배적인 노트에 대한 정보를 얻습니다. 또한 OFDM은 일부 부반송파에만 영향을 미치기 때문에 협대역 간섭 소스에 상당히 강합니다.

실기 시험

KRK Rokit 8 스피커는 변형된 멜로디의 소스 역할을 했고, Nexus 5X 스마트폰은 수신자 역할을 했습니다.

이미지 #4: 실제 OFDM과 스피커와 마이크 사이 5m 거리에서 실내에서 측정한 상관 피크 간의 차이.

대부분의 OFDM 포인트는 0~25ms 범위에 있으므로 66.6ms 순환 접두사 내에서 유효한 시작을 찾을 수 있습니다. 연구원들은 수신기(이 실험에서는 스마트폰)가 OFDM 기호가 주기적으로 재생되어 감지 기능이 향상된다는 점을 고려합니다.

가장 먼저 확인해야 할 것은 비트 오류율(BER)에 대한 거리의 영향이었습니다. 이를 위해 카펫이 깔린 복도, 바닥에 리놀륨이 깔린 사무실, 나무 바닥이 깔린 강당 등 다양한 유형의 방에서 세 가지 테스트를 수행했습니다.

테스트 주제로 Van Halen의 노래 "And The Cradle Will Rock"이 선택되었습니다.

스피커로부터 2m 떨어진 곳에서 스마트폰으로 측정한 소리 크기가 63dB가 되도록 음량을 조정했습니다.

이미지 번호 5: 스피커와 마이크 사이의 거리에 따른 BER 표시기(파란색 선 - 청중, 녹색 - 복도, 주황색 - 사무실).

복도에서는 스피커로부터 최대 40m 떨어진 스마트폰이 24dB의 소리를 포착했습니다. 15m 거리에 있는 교실의 소리는 55dB였고, 8m 거리의 ​​사무실에서는 스마트폰이 인지하는 소리 수준이 57dB에 달했습니다.

강당과 사무실의 반향이 더 크기 때문에 늦은 OFDM 기호 에코는 순환 접두어 길이를 초과하고 BER을 증가시킵니다.

반향* - 다중 반사로 인해 소리 강도가 점진적으로 감소합니다.

연구원들은 6개 장르의 XNUMX개 노래에 시스템을 적용하여 시스템의 다양성을 더욱 입증했습니다(아래 표).

표 1: 테스트에 사용된 곡.

또한, 테이블 데이터를 통해 각 곡별 비트레이트와 비트오류율을 확인할 수 있습니다. 동일한 부반송파를 사용할 때 차등 BPSK(위상 편이 변조)가 더 잘 작동하기 때문에 데이터 속도가 다릅니다. 이는 인접한 세그먼트에 동일한 마스킹 요소가 포함되어 있을 때 가능합니다. 지속적으로 시끄러운 노래는 마스킹 주파수가 넓은 주파수 범위에 걸쳐 더 강하게 존재하기 때문에 데이터 숨기기를 위한 최적의 기반을 제공합니다. 빠른 속도의 음악은 분석 창의 길이가 고정되어 있기 때문에 OFDM 기호를 부분적으로만 마스킹할 수 있습니다.

다음으로 사람들은 시스템 테스트를 시작했고, 어떤 멜로디가 원본이고 어떤 멜로디가 거기에 포함된 정보에 의해 수정되었는지 확인해야 했습니다. 이를 위해 표 12에서 발췌한 1초 분량의 노래가 특별 웹사이트에 게시되었습니다.

첫 번째 실험(E1)에서 각 참가자에게는 수정된 조각이나 원본 조각을 주어 듣고 그 조각이 원본인지 수정되었는지 결정해야 했습니다. 두 번째 실험(E2)에서 참가자들은 원하는 만큼 두 버전을 모두 듣고 어느 것이 원본이고 어느 것이 수정되었는지 결정할 수 있었습니다.

표 2: 실험 E1 및 E2의 결과.

첫 번째 실험의 결과에는 두 가지 지표가 있습니다. p(O|O) - 원래 멜로디를 올바르게 표시한 참가자의 비율과 p(O|M) - 멜로디의 수정된 버전을 원본으로 표시한 참가자의 비율입니다.

흥미롭게도 일부 참가자들은 일부 변경된 멜로디가 원본 자체보다 더 독창적이라고 생각했습니다. 두 실험의 평균은 일반 청취자가 일반 멜로디와 데이터가 포함된 멜로디 사이의 차이를 느끼지 못할 것임을 시사합니다.

당연히 음악 전문가나 음악가들은 변화된 멜로디에서 일부 부정확성과 의심스러운 요소를 발견할 수 있지만 이러한 요소는 불편함을 유발할 만큼 크지 않습니다.

이제 우리도 실험에 참여할 수 있습니다. 아래에는 동일한 멜로디의 원본과 수정된 두 가지 버전이 있습니다. 차이점을 들으실 수 있나요?

멜로디의 원본 버전
vs
멜로디 수정 버전

연구의 뉘앙스에 대한 자세한 내용은 다음을 참조하는 것이 좋습니다. 보고 연구 그룹.

연구에 사용된 원본 및 수정된 곡의 오디오 파일이 담긴 ZIP 아카이브를 다음에서 다운로드할 수도 있습니다. 이 링크.

커튼콜

이 작업에서 ETH Zurich 대학원생들은 음악 내에서 놀라운 데이터 전송 시스템을 설명했습니다. 이를 위해 그들은 스피커가 연주하는 멜로디에 데이터를 삽입할 수 있는 주파수 마스킹을 사용했습니다. 이 멜로디는 숨겨진 데이터를 인식하고 디코딩하는 장치의 마이크에 의해 인식되지만 일반 청취자는 차이를 느끼지 못할 것입니다. 앞으로 그들은 데이터를 오디오에 도입하기 위한 보다 진보된 방법을 선택하여 시스템을 개발할 계획입니다.

누군가 뭔가 특이하고, 가장 중요하게는 효과가 있는 뭔가를 생각해 내면 우리는 항상 행복합니다. 하지만 더욱 기쁜 것은 이 발명품이 젊은이들에 의해 만들어졌다는 것입니다. 과학에는 연령 제한이 없습니다. 그리고 젊은이들이 과학을 지루하다고 생각한다면, 말하자면 과학은 잘못된 각도에서 제시되고 있는 것입니다. 결국, 우리가 알고 있듯이 과학은 결코 놀라움을 멈추지 않는 놀라운 세계입니다.

금요일 오프탑:

우리는 음악, 아니 오히려 록 음악에 대해 이야기하고 있으므로 여기에는 광활한 록을 통한 멋진 여행이 있습니다.

퀸, '라디오가가'(1984).

읽어주셔서 감사하고, 호기심을 갖고 즐거운 주말 보내세요! 🙂

우리와 함께있어 주셔서 감사합니다. 우리 기사가 마음에 드십니까? 더 재미있는 콘텐츠를 보고 싶다면? 주문하거나 친구에게 추천하여 우리를 지원하십시오. 귀사를 위해 당사가 개발한 고유한 보급형 서버 아날로그에서 Habr 사용자를 위한 30% 할인: VPS(KVM) E5-2650 v4(6코어) 10GB DDR4 240GB SSD 1Gbps에 대한 전체 진실 또는 서버 공유 방법은? (RAID1 및 RAID10에서 사용 가능, 최대 24개 코어 및 최대 40GB DDR4).

Dell R730xd가 2배 더 저렴합니까? 여기서 만 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV $199부터 네덜란드에서! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - 최저 $99! 에 대해 읽다 인프라 공사를 구축하는 방법. 730페니에 5유로 상당의 Dell R2650xd E4-9000 vXNUMX 서버를 사용하는 클래스?

출처 : habr.com