Die Musik ermöglicht es, das auszudrücken, was Worte nicht vermögen; die vielfältigsten Emotionen zu fühlen, die in einem Sturm der Gefühle miteinander verwoben sind; sich von Erde, Himmel und sogar dem Universum zu lösen, um eine Reise anzutreten, auf der es keine Karten, keine Straßen, keine Wegweiser gibt; eine ganze Geschichte zu erfinden, erzählen und erleben, die immer einzigartig und unverwechselbar bleiben wird. All das kann die Musik – ein Kunstwerk, das seit vielen Tausenden von Jahren existiert und unser Gehör und unsere Herzen erfreut.
Musik, oder genauer gesagt musikalische Werke, können jedoch nicht nur für ästhetischen Genuss dienen, sondern auch als Träger von codierter, für ein bestimmtes Gerät bestimmter Informationen, die für den Hörer unsichtbar sind. Heute werden wir uns mit einer sehr ungewöhnlichen Forschung vertraut machen, bei der Doktoranden der ETH Zürich es geschafft haben, bestimmte Daten unhörbar für das menschliche Ohr in musikalische Werke einzubetten, wodurch die Musik selbst zu einem Kanal für die Datenübertragung wird. Wie sie ihre Technologie umgesetzt haben, wie stark sich Melodien mit und ohne eingebettete Daten unterscheiden und was die praktischen Tests ergeben haben? Darum geht es im Vortrag der Forscher. Los geht's.
Basis der Forschung
Die Forscher bezeichnen ihre Technologie als akustische Datenübertragungstechnik. Wenn ein Lautsprecher eine modifizierte Melodie abspielt, nimmt der Mensch sie als gewöhnlich wahr, während beispielsweise ein Smartphone die codierten Informationen zwischen den Zeilen, genauer gesagt zwischen den Noten, lesen kann. Der wichtigste Aspekt bei der Umsetzung dieser Datenübertragungsmethode, den die Wissenschaftler (dass diese Leute noch Doktoranden sind, hindert sie nicht daran, Wissenschaftler zu sein) als ausschlaggebend ansehen, ist die Geschwindigkeit und Zuverlässigkeit der Übertragung, während das Niveau dieser Parameter unabhängig von der empfohlenen Audiodatei bestehen bleibt. Bei dieser Aufgabe hilft die Psychoakustik, die die psychologischen und physiologischen Aspekte der Wahrnehmung von Geräuschen durch den Menschen untersucht.
Der Kern der akustischen Datenübertragung ist OFDM (Orthogonal Frequency Division Multiplexing), das zusammen mit der Anpassung der Träger an die ursprüngliche Musik im Laufe der Zeit es ermöglicht, das Spektrum der übertragbaren Frequenz maximal auszunutzen, um Informationen zu übertragen. Dadurch konnte eine Übertragungsgeschwindigkeit von 412 Bit/s über eine Distanz von bis zu 24 Metern erreicht werden (Fehlerquote < 10%). Praktische Experimente mit 40 Freiwilligen bestätigten, dass es nahezu unmöglich ist, den Unterschied zwischen der Originalmelodie und der Version, in die Informationen eingebettet wurden, wahrzunehmen.
Wo kann eine solche Technologie praktisch angewendet werden? Die Forscher haben dafür eine Antwort: Fast alle modernen Smartphones, Laptops und andere tragbare Geräte sind mit Mikrofonen ausgestattet, und an vielen öffentlichen Orten (Cafés, Restaurants, Einkaufszentren usw.) gibt es Lautsprecher mit Hintergrundmusik. In diese Hintergrundmelodie können beispielsweise Daten für die Verbindung zum Wi-Fi-Netzwerk ohne zusätzliche Maßnahmen eingebettet werden.
Die allgemeinen Merkmale der akustischen Datenübertragung sind nun klar, nun gehen wir zur detaillierten Untersuchung der Struktur dieses Systems über.
Systembeschreibung
Die Einbettung von Daten in die Melodie erfolgt durch Frequenzmaskierung. In bestimmten Zeitintervallen werden die maskierenden Frequenzen identifiziert, und die OFDM-Trägersignale, die diesen maskierenden Elementen nahe sind, werden mit Daten gefüllt.
Abbildung Nr. 1: Umwandlung der ursprünglichen Datei in ein zusammengesetztes Signal (Melodie + Daten), das über Lautsprecher übertragen wird.
Zunächst wird das ursprüngliche Audiosignal in aufeinanderfolgende Segmente zur Analyse unterteilt. Jedes dieser Segmente (Hi) besteht aus L = 8820 Abtastungen, was 200 ms entspricht, und wird mit einem Fenster* multipliziert, um Grenzwerteffekte zu minimieren.
Fenster* ist eine Gewichtungsfunktion, die verwendet wird, um die durch seitliche Lappen in den spektralen Bewertungen verursachten Effekte zu steuern.
Darüber hinaus wurden die dominierenden Frequenzen des ursprünglichen Signals im Bereich von 500 Hz bis 9,8 kHz erkannt, was es ermöglichte, die Maskierungsfrequenzen fM,l für dieses Segment zu erhalten. Zusätzlich wurden Daten im schmalen Bereich von 9,8 bis 10 kHz übertragen, um die Position der Unterträger im Empfänger zu bestimmen. Die obere Grenze des verwendeten Frequenzbereichs wurde auf 10 kHz festgelegt, da die Empfindlichkeit der Smartphone-Mikrofone bei hohen Frequenzen gering ist.
Die Maskierungsfrequenzen wurden für jedes analysierte Segment individuell bestimmt. Durch die Methode HPS (harmonisches Spektrum der Produkte) wurden drei dominierende Frequenzen ermittelt, die dann auf die nächstgelegenen Töne der harmonischen chromatischen Skala gerundet wurden. Auf diese Weise wurden die Grundtöne fF,i = 1…3, die zwischen den Tasten C0 (16,35 Hz) und B0 (30,87 Hz) liegen, erhalten. Da die Grundtöne zu niedrig für die Datenübertragung sind, wurden im Bereich von 500 Hz … 9,8 kHz ihre höheren Oktaven 2kfF,i berechnet. Viele dieser Frequenzen (fO,l1) waren aufgrund der Natur von HPS ausgeprägter.
Bild Nr. 2: Berechnete Oktaven fO,l1 für die Grundtöne und Harmoniken fH,l2 des stärksten Tons.
Die Gesamtheit der Oktaven und Harmoniken wurde anschließend als Maskierungsfrequenzen verwendet, auf deren Grundlage die Frequenzen der OFDM-Unterträger fSC,k bestimmt wurden. Unter und über jeder Maskierungsfrequenz wurden jeweils zwei Unterträger eingefügt.
Anschließend erfolgte die Filterung des Spektrums des Audiosignals Hi bei den Frequenzen der Unterträger fSC,k. Daraufhin wurde basierend auf den Informationsbits in Bi ein OFDM-Symbol erstellt, wodurch das Composite-Segment Ci über den Lautsprecher übertragen werden konnte. Die Amplituden und Phasen der Unterträger müssen so gewählt werden, dass der Empfänger die übertragenen Daten extrahieren kann, während der Zuhörer keine Veränderungen in der Melodie bemerkt.
Bild Nr. 3: Abschnitt des Spektrums und Frequenzen der Unterträger des Segments Hi der ursprünglichen Melodie.
Wenn das Audiosignal, das die codierten Informationen enthält, über die Lautsprecher wiedergegeben wird, nimmt das Mikrofon des Empfangsgeräts es auf. Um die Anfangspositionen der eingebetteten OFDM-Symbole zu finden, muss die Aufnahme zunächst durch eine Bandfilterung geleitet werden. So wird der obere Frequenzbereich extrahiert, in dem es zwischen den Trägersignalen keine störenden Musiksignale gibt. Der Beginn der OFDM-Symbole kann mit Hilfe des zyklischen Präfixes gefunden werden.
Nach der Erkennung des Beginns der OFDM-Symbole erhält der Empfänger Informationen über die dominierenden Noten durch Dekodierung des oberen Frequenzbereichs. Außerdem ist OFDM recht resistent gegen die Einwirkung von Quellen von schmalbandigen Störungen, da diese nur einige der Trägersignale beeinflussen.
Praktische Tests
Als Quelle der modifizierten Melodien diente der Lautsprecher KRK Rokit 8, und das Empfangsgerät war das Smartphone Nexus 5X.
Bild Nr. 4: Unterschied zwischen den realen Erscheinungen von OFDM und den gemessenen Korrelationstöpfen, aufgenommen im Innenraum in einem Abstand von 5 m zwischen Lautsprecher und Mikrofon.
Die meisten OFDM-Punkte liegen im Bereich von 0 bis 25 ms, daher kann ein akzeptabler Beginn innerhalb des zyklischen Präfixes von 66,6 ms gefunden werden. Die Forscher bemerken, dass der Empfänger (in diesem Experiment das Smartphone) berücksichtigt, dass die OFDM-Symbole periodisch wiedergegeben werden, was deren Erkennung verbessert.
Zunächst musste der Einfluss der Entfernung auf die Bitfehlerrate (BER) überprüft werden. Dazu wurden drei Tests in verschiedenen Raumtypen durchgeführt: ein Korridor mit Teppichboden, ein Büro mit Linoleum auf dem Boden und ein Auditorium mit Holzfußboden.
Als 'Testobjekt' wurde das Lied 'And The Cradle Will Rock' von Van Halen gewählt.
Die Lautstärke wurde so eingestellt, dass der vom Smartphone in 2 m Entfernung vom Lautsprecher gemessene Schalldruckpegel 63 dB betrug.
Bild Nr. 5: BER-Werte in Abhängigkeit von der Entfernung zwischen Lautsprecher und Mikrofon (blaue Linie — Auditorium, grüne Linie — Korridor, orange Linie — Büro).
Im Korridor wurde ein Schallpegel von 40 dB vom Smartphone bis zu 24 Meter vom Lautsprecher erfasst. Im Auditorium betrug der Schallpegel in 15 m Entfernung 55 dB, während im Büro bei einem Abstand von 8 Metern der vom Smartphone wahrgenommene Lautstärkepegel 57 dB erreichte.
Da das Publikum und das Büro eine stärkere Nachhallwirkung aufweisen, überschreiten die späten Echosignale der OFDM-Symbole die Länge des zyklischen Prefixes und erhöhen die BER.
Nachhall* — allmähliche Abnahme der Schallintensität durch wiederholte Reflexion.
Die Forscher demonstrierten anschließend die Vielseitigkeit ihres Systems, indem sie es auf 6 verschiedene Lieder aus drei Genres anwandten (siehe Tabelle unten).
Tabelle Nr. 1: Die im Test verwendeten Lieder.
Anhand der Daten in der Tabelle können wir auch die Übertragungsraten sowie die Bitfehlerraten für jedes Lied sehen. Die Übertragungsrate variiert, da die differentielle BPSK (Phasenmodulation) besser funktioniert, wenn dieselben Trägersignale verwendet werden. Dies ist möglich, wenn benachbarte Segmente identische Maskierungselemente enthalten. Dauerhaft laute Lieder bieten eine optimale Basis für die Datenverbergung, da die Maskierungsfrequenzen in einem breiten Frequenzbereich stärker ausgeprägt sind. Schnell wechselnde Musik kann die OFDM-Symbole nur teilweise maskieren, aufgrund der festen Länge des Analysefensters.
Im nächsten Schritt begaben sich Personen an die Tests, die bestimmen sollten, welches Stück ursprünglich war und welches durch die eingebetteten Informationen modifiziert wurde. Hierzu wurden 12-sekündige Ausschnitte der Lieder aus Tabelle Nr. 1 auf einer speziellen Website platziert.
Im ersten Experiment (E1) erhielt jeder Teilnehmer entweder einen modifizierten oder einen Originalausschnitt zum Anhören und musste entscheiden, ob dieser Ausschnitt original oder modifiziert war. Im zweiten Experiment (E2) konnten die Teilnehmer beide Varianten beliebig oft anhören und dann entscheiden, welche der Originale und welche die modifizierte Version war.
Tabelle Nr. 2: Ergebnisse der Experimente E1 und E2.
In den Ergebnissen des ersten Experiments gibt es zwei Kennzahlen: p(O|O) — der Prozentsatz der Teilnehmer, die die originale Melodie korrekt identifizierten, und p(O|M) — der Prozentsatz der Teilnehmer, die die modifizierte Version der Melodie als original identifizierten.
Es ist interessant, dass einige Teilnehmer laut den Forschern bestimmte modifizierte Melodien als origineller empfanden als das Original. Der Durchschnittswert beider Experimente deutet darauf hin, dass der durchschnittliche Hörer keinen Unterschied zwischen einer herkömmlichen Melodie und einer, in die Daten eingebettet wurden, wahrnehmen wird.
Natürlich werden Musikexperten und Musiker einige Ungenauigkeiten und verdächtige Elemente in den modifizierten Melodien erkennen, aber diese Elemente sind nicht so bedeutend, dass sie Unbehagen verursachen.
Und jetzt können auch wir an dem Experiment teilnehmen. Unten sind zwei Varianten derselben Melodie – die originale und die modifizierte – aufgeführt. Hören Sie den Unterschied?
vs
Für eine detailliertere Auseinandersetzung mit den Nuancen der Studie empfehle ich einen Blick in den Forschergruppe.
Sie können auch das ZIP-Archiv mit den Audio-Dateien der originalen und modifizierten Melodien, die in der Studie verwendet wurden, herunterladen unter .
Epilog
In dieser Arbeit beschreiben Doktoranden der Eidgenössischen Technischen Hochschule Zürich ein erstaunliches System zur Datenübertragung innerhalb von Musik. Sie haben Frequenzmaskierung angewendet, um Daten in die Melodie einzubetten, die über einen Lautsprecher wiedergegeben wird. Diese Melodie wird von einem Mikrofon des Geräts erfasst, das die versteckten Daten erkennt und dekodiert, während der durchschnittliche Hörer den Unterschied überhaupt nicht bemerkt. In Zukunft planen die Forscher, ihr System weiterzuentwickeln und raffiniertere Methoden zur Datenintegration in Audio zu finden.
Wenn jemand etwas Ungewöhnliches und vor allem Funktionierendes erfindet, freuen wir uns immer. Aber noch mehr Freude kommt von der Tatsache, dass diese Erfindung von jungen Menschen geschaffen wurde. Wissenschaft kennt kein Alter. Und wenn die Jugend Wissenschaft als langweilig empfindet, dann wird sie nicht aus der richtigen Perspektive präsentiert, sozusagen. Denn wie wir wissen, ist die Wissenschaft eine erstaunliche Welt, die niemals aufhört, zu überraschen.
Freitags Off-Topic:
Da wir über Musik gesprochen haben, genauer gesagt über Rockmusik, hier ist eine wunderbare Reise durch die Welt des Rocks.
Queen, „Radio Ga Ga“ (1984).
Vielen Dank für Ihre Aufmerksamkeit, bleiben Sie neugierig und haben Sie ein tolles Wochenende, Leute! 🙂
Danke, dass Sie bei uns sind. Gefallen Ihnen unsere Artikel? Möchten Sie mehr interessante Inhalte sehen? Unterstützen Sie uns, indem Sie einen Auftrag erteilen oder uns Ihren Freunden empfehlen. 30% Rabatt für Habr-Nutzer auf ein einzigartiges Entry-Level Server-Äquivalent, das wir für Sie entwickelt haben: (es sind Optionen mit RAID1 und RAID10 bis zu 24 Kernen und bis zu 40GB DDR4 verfügbar).
Dell R730xd zum halben Preis? Nur bei uns in den Niederlanden! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — ab $99! Lesen Sie, wie
Quelle: habr.com
