音符の間を読む: 音楽内のデータ伝送システム

言葉では伝えられないことを表現する。 感情のハリケーンの中にさまざまな感情が絡み合っているのを感じます。 大地、空、さらには宇宙そのものから離れ、地図も道も標識もない旅に出ること。 常にユニークで真似のできないストーリー全体を発明し、語り、体験してください。 これらはすべて、何千年も前から存在し、私たちの耳と心を楽しませてくれる芸術である音楽によって実現できます。

しかし、音楽、あるいはむしろ音楽作品は、美的な楽しみだけでなく、その中にエンコードされた、あるデバイス向けの、リスナーには見えない情報の伝達にも役立ちます。 今日は、チューリッヒ工科大学の大学院生が、人間の耳に気づかれずに音楽作品に特定のデータを導入することができ、その結果、音楽自体がデータ送信チャネルになるという、非常に珍しい研究を紹介します。 彼らはテクノロジーをどのように正確に実装したのでしょうか、埋め込みデータがある場合とない場合ではメロディーは大きく異なりますか、そして実践テストでは何が示されましたか? このことについては、研究者の報告からわかります。 行く。

研究根拠

研究者らはその技術を音響データ伝送技術と呼んでいます。 話者が変更されたメロディーを再生すると、人はそれを普通のものとして認識しますが、たとえばスマートフォンは、行間、あるいはむしろ音符の間から、エンコードされた情報を読み取ることができます。 科学者（彼らがまだ大学院生であるという事実は、彼らが科学者であることを妨げるものではありません）は、選択されたオーディオファイルに関係なく、これらのパラメータのレベルを維持しながら送信の速度と信頼性を、実装における最も重要な側面と呼んでいます。このデータ転送技術。 人間による音の知覚の心理的および生理学的側面を研究する音響心理学は、この課題に対処するのに役立ちます。

音響データ伝送の中核は OFDM (直交周波数分割多重) と呼ばれ、時間の経過とともにサブキャリアをソース音楽に適応させることで、伝送される周波数スペクトルを情報伝送に最大限に活用することが可能になりました。 このおかげで、最大 412 メートルの距離で 24 bps の伝送速度を達成することができました (エラー率 < 10%)。 40人のボランティアが参加した実際の実験では、元のメロディーと情報が埋め込まれたメロディーの違いを聞き取ることはほとんど不可能であるという事実が確認されました。

このテクノロジーは実際にどこに適用できますか? 研究者たちは独自の答えを持っています。ほとんどすべての現代のスマートフォン、ラップトップ、その他のハンドヘルド デバイスにはマイクが装備されており、多くの公共の場所 (カフェ、レストラン、ショッピング センターなど) には BGM が流れるスピーカーが設置されています。 このバックグラウンド メロディーには、たとえば、追加のアクションを必要とせずに Wi-Fi ネットワークに接続するためのデータを含めることができます。

音響データ伝送の一般的な特徴は明らかになりました。次に、このシステムの構造の詳細な検討に移りましょう。

システムの説明

メロディーへのデータの導入は、周波数マスキングによって発生します。 タイムスロットでは、マスキング周波数が識別され、これらのマスキング要素に近い OFDM サブキャリアがデータで埋められます。

画像 #1: 元のファイルをスピーカーから送信されるコンポジット信号 (メロディー + データ) に変換します。

まず、元のオーディオ信号が分析のために連続するセグメントに分割されます。 L = 8820 サンプルの各セグメント (Hi) (200 ミリ秒に相当) は、次のように乗算されます。 窓* 境界効果を最小限に抑えるため。

窓* は、スペクトル推定におけるサイドローブによる影響を制御するために使用される重み付け関数です。

次に、元の信号の主周波数が 500 Hz から 9.8 kHz の範囲で検出され、このセグメントのマスキング周波数 f M,l を取得することが可能になりました。 さらに、受信機での副搬送波の位置を確立するために、データは 9.8 ～ 10 kHz の狭い範囲で送信されました。 スマートフォンのマイクは高周波の感度が低いため、使用周波数範囲の上限を10kHzに設定しました。

マスキング周波数は、分析されたセグメントごとに個別に決定されました。 HPS (Harmonic Product Spectrum) メソッドを使用して、1 つの主要な周波数が特定され、ハーモニック半音スケール上の最も近い音に丸められました。 このようにして、キー C3 (0 Hz) と B16.35 (0 Hz) の間にあるメインノート fF,i = 30.87…500 が取得されました。 基本音はデータ送信に使用するには低すぎるという事実に基づいて、その高音オクターブ 9.8kfF,i は 2 Hz ～ 1 kHz の範囲で計算されました。 これらの周波数 (fXNUMX、lXNUMX) の多くは、HPS の性質によりより顕著でした。

画像 #2: 最も強い音の基本音と倍音 fH,l1 の計算されたオクターブ f2,lXNUMX。

得られたオクターブと高調波のセットはマスキング周波数として使用され、そこから OFDM サブキャリア周波数 fSC,k が導出されます。 XNUMX つのサブキャリアが各マスキング周波数の下と上に挿入されました。

次に、Hi オーディオ セグメントのスペクトルがサブキャリア周波数 fSC,k でフィルタリングされました。 その後、Bi の情報ビットに基づいて OFDM シンボルが作成され、これにより複合セグメント Ci がスピーカーから送信されるようになりました。 副搬送波の大きさと位相は、聴取者がメロディーの変化に気づかずに、受信機が送信データを抽出できるように選択する必要があります。

画像 No. 3: 元のメロディーの Hi 部分のスペクトルと副搬送波周波数の一部。

情報がエンコードされたオーディオ信号がスピーカーから再生されると、受信デバイスのマイクがそれを記録します。 埋め込まれた OFDM シンボルの開始位置を見つけるには、まずレコードをバンドパス フィルター処理する必要があります。 このようにして、サブキャリア間に音楽的な干渉信号が存在しない上部周波数範囲が抽出されます。 OFDM シンボルの始まりは、サイクリック プレフィックスを使用して見つけることができます。

OFDM シンボルの開始を検出した後、受信機は高周波数領域のデコードを通じて最も支配的なノートに関する情報を取得します。 さらに、OFDM は、一部のサブキャリアにのみ影響を与えるため、狭帯域干渉源に対して非常に耐性があります。

実技試験

KRK Rokit 8 スピーカーが変更されたメロディーのソースとして機能し、Nexus 5X スマートフォンが受信側の役割を果たしました。

画像 #4: 実際の OFDM と屋内のスピーカーとマイクの間の 5 m で測定された相関ピークの差。

ほとんどの OFDM ポイントは 0 ～ 25 ミリ秒の範囲にあるため、66.6 ミリ秒のサイクリック プレフィックス内で有効な開始を見つけることができます。 研究者らは、受信機 (この実験ではスマートフォン) は、OFDM シンボルが定期的に再生されることを考慮しており、これにより検出が向上していることに注目しています。

最初に確認すべきことは、ビット誤り率 (BER) に対する距離の影響でした。 これを行うために、カーペットが敷かれた廊下、床にリノリウムが敷かれたオフィス、そして木の床の講堂という、さまざまなタイプの部屋で XNUMX つのテストが実行されました。

ヴァン・ヘイレンの曲「And The Cradle Will Rock」がテスト対象として選ばれました。

スピーカーから2mの距離でスマートフォンで測定した音量が63dBになるように音量を調整しました。

画像 No. 5: スピーカーとマイクの間の距離に応じた BER インジケーター (青い線 - 聴衆、緑 - 廊下、オレンジ - オフィス)。

廊下では、スピーカーから最大 40 メートル離れたスマートフォンで 24 dB の音を拾いました。 15メートル離れた教室では55デシベル、8メートル離れたオフィスではスマートフォンが知覚する音のレベルは57デシベルに達しました。

講堂やオフィスは残響が多いため、遅い OFDM シンボルのエコーはサイクリック プレフィックス長を超え、BER が増加します。

残響* - 多重反射により音の強度が徐々に減少します。

研究者らはさらに、システムを 6 つのジャンルの XNUMX つの異なる曲に適用することで、システムの多用途性を実証しました (下表)。

表 No. 1: テストで使用した曲。

また、テーブル データを通じて、各曲のビット レートとビット エラー レートを確認できます。 同じ副搬送波が使用される場合、差動 BPSK (位相シフト キーイング) がより適切に機能するため、データ レートが異なります。 これは、隣接するセグメントに同じマスキング要素が含まれている場合に可能になります。 マスキング周波数が広い周波数範囲にわたってより強く存在するため、継続的に大音量の歌がデータ隠蔽の最適なベースとなります。 ペースの速い音楽は、分析ウィンドウの長さが固定されているため、OFDM シンボルを部分的にしかマスクできません。

次に、人々はシステムのテストを開始し、どのメロディーがオリジナルで、どのメロディーが埋め込まれた情報によって変更されたかを判断する必要がありました。 このため、表12の楽曲を1秒ほど抜粋して特設サイトに掲載した。

最初の実験 (E1) では、各参加者に変更されたフラグメントまたはオリジナルのフラグメントが与えられ、そのフラグメントがオリジナルであるか変更されたかを判断する必要がありました。 2 番目の実験 (EXNUMX) では、参加者は両方のバージョンを好きなだけ聞き、どちらがオリジナルでどちらが変更されたかを判断できました。

表２：実験Ｅ１およびＥ２の結果。

最初の実験の結果には XNUMX つの指標があります。p(O|O) - 元のメロディーを正しくマークした参加者の割合、p(O|M) - メロディーの修正バージョンをオリジナルとしてマークした参加者の割合です。

研究者らによると、興味深いことに、一部の参加者は、特定の変更されたメロディーがオリジナルそのものよりもオリジナルであると考えたという。 両方の実験の平均は、平均的なリスナーは通常のメロディーとデータが埋め込まれたメロディーの違いに気付かないことを示唆しています。

当然のことながら、音楽の専門家やミュージシャンは、変更されたメロディーの一部の不正確さや疑わしい要素を検出することができますが、これらの要素は不快感を引き起こすほど重大なものではありません。

そして今、私たち自身も実験に参加することができます。 以下は、同じメロディーの XNUMX つのバージョン (オリジナルと変更されたもの) です。 違いが聞こえますか？

オリジナルバージョンのメロディー
vs
メロディーの修正バージョン

研究のニュアンスをより詳しく知りたい場合は、以下を参照することをお勧めします。 報告 研究グループ。

研究で使用されたオリジナルおよび変更された曲のオーディオ ファイルの ZIP アーカイブを次の場所からダウンロードすることもできます。 このリンク.

フィナーレ

この研究では、チューリッヒ工科大学の大学院生が、音楽内の驚くべきデータ伝送システムについて説明しました。 これを行うために、周波数マスキングを使用しました。これにより、スピーカーが演奏するメロディーにデータを埋め込むことが可能になりました。 このメロディーはデバイスのマイクによって認識され、隠されたデータが認識されてデコードされますが、平均的なリスナーはその違いにさえ気づきません。 将来的には、オーディオにデータを導入するためのより高度な方法を選択してシステムを開発する予定です。

誰かが珍しいもの、そして最も重要なことに、何かうまくいくものを思いついたとき、私たちは常に幸せです。 しかし、さらに嬉しいのは、この発明が若者によって生み出されたということです。 科学には年齢制限がありません。 そして、若者が科学を退屈だと感じているなら、それはいわば間違った角度から提示されているということになります。 結局のところ、私たちが知っているように、科学は決して驚かされることのない素晴らしい世界です。

金曜日のオフトップ:

私たちは音楽、あるいはむしろロック ミュージックについて話しているので、ここではロックの広がりを巡る素晴らしい旅をご紹介します。

クイーン「ラジオ・ガ・ガ」（1984年）。

読んでいただきありがとうございます。好奇心を持ち続けて、楽しい週末をお過ごしください。 🙂

いつもご宿泊いただきありがとうございます。 私たちの記事が気に入っていますか? もっと興味深いコンテンツを見たいですか? 注文したり、友人に勧めたりして私たちをサポートしてください。 Habr ユーザーは、当社があなたのために発明した、エントリーレベルのサーバーに似たユニークな製品を 30% 割引でご利用いただけます。 VPS (KVM) E5-2650 v4 (6 コア) 10GB DDR4 240GB SSD 1Gbps 20 ドルからの真実、またはサーバーを共有する方法? (RAID1 および RAID10、最大 24 コア、最大 40GB DDR4 で利用可能)。

Dell R730xdは2倍安い？ ここだけ 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV 199 ドルから オランダで！ Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - 99 ドルから! について読む インフラストラクチャー企業を構築する方法730 ペニーで 5 ユーロの価値がある Dell R2650xd E4-9000 vXNUMX サーバーを使用したクラスですか?

出所： habr.com