Vyjadriť to, čo slová nemôžu preniesť; cítiť najrôznejšie emócie prepletajúce sa v hurikáne pocitov; odtrhnúť sa od zeme, neba a dokonca aj od samotného vesmíru, vydať sa na cestu, kde niet máp, niet ciest, niet ukazovateľov; vymyslieť, rozprávať a zažiť celú históriu, ktorá navždy zostane jedinečná a neopakovateľná. To všetko umožňuje hudba — umenie, ktoré existuje už tisíce rokov a oslovuje naše uši a srdcia.
Hudba, a presnejšie hudobné dielo, môže slúžiť nielen na estetické potešenie, ale aj na prenos v nej zakódovanej informácie, určené pre nejaké zariadenie a nepostrehnuteľné pre poslucháča. Dnes sa s vami zoznámime s veľmi nezvyčajným výskumom, v ktorom poslabujúci z švajčiarskej vyššej technickej školy v Zürichu dokázali nepozorovane prepašovať určité údaje do hudobných diel, čím sa samotná hudba stáva kanálom prenosu dát. Ako presne svoje technológie realizovali, aké sú rozdiely medzi melódiami s a bez zakódovaných údajov a čo ukázali praktické testy? O tom sa dozvieme z prednášky výskumníkov. Poďme na to.
Základ výskumu
Výskumníci nazývajú svoju technológiu akustickou technikou prenosu dát. Keď reproduktor prehráva upravenú melódiu, človek ju vníma ako bežnú, zatiaľ čo napríklad smartfón môže čítať zakódované informácie medzi riadkami, presnejšie medzi notami, ak to tak môžeme vyjadriť. Najdôležitejším aspektom pri realizácii tejto metódy prenosu dát vedci (to, že títo chlapci sú stále poslabujúci, im nebráni byť vedcami) nazývajú rýchlosť a spoľahlivosť prenosu pri zachovaní úrovne týchto parametrov bez ohľadu na vybraný audio súbor. S touto úlohou pomáha psychoakustika, skúmajúca psychologické a fyziologické aspekty vnímania zvukov človekom.
Hlavným prvkom akustického prenosu údajov je OFDM (ortogonálne kmitočtové multiplexovanie), ktoré spolu s adaptáciou podnosných signálov k pôvodnej hudbe v priebehu času umožnilo maximálne využiť spektrum prenosovej frekvencie na prenos informácií. Vďaka tomu sa podarilo dosiahnuť rýchlosť prenosu 412 bit/s na vzdialenosť až 24 metrov (chyba pod 10 %). Praktické experimenty so 40 dobrovoľníkmi potvrdili, že je takmer nemožné počuť rozdiel medzi pôvodnou melódiou a tou, do ktorej boli vložené informácie.
Kde sa dá takáto technológia prakticky využiť? Výskumníci majú svoju odpoveď: takmer všetky moderné smartfóny, notebooky a iné prenosné zariadenia majú mikrofóny, a vo mnohých verejných miestach (kaviarne, reštaurácie, nákupné centrá atď.) sú reproduktory s pozadím hudby. Do tejto pozadovej melódie je možné vložiť napríklad údaje na pripojenie k sieti Wi-Fi bez toho, aby bolo potrebné vykonávať ďalšie úkony.
Spoločné rysy akustického prenosu údajov nám sú jasné, teraz prejdeme k detailnému štúdiu štruktúry tohto systému.
Popis systému
Vkladanie údajov do melódie prebieha prostredníctvom maskovania frekvencie. V časových intervaloch sa identifikujú maskovacie frekvencie, a podnosné OFDM blízke týmto maskovacím prvkom sa zapĺňajú údajmi.
Obrázok č. 1: transformácia pôvodného súboru na kompozitný signál (melódia + údaje), prenášaný cez reproduktory.
Na začiatku sa pôvodný audiosignál rozdelí na po sebe nasledujúce segmenty na analýzu. Každý takýto segment (Hi) z L = 8820 vzoriek, trvajúci 200 ms, je vynásobený oknom* na minimalizáciu okrajových efektov.
Okno* je váhová funkcia používaná na riadenie efektov spôsobených prítomnosťou bočných lupienkov v spektrálnych hodnoteniach.
Ďalej sa objavili dominantné frekvencie pôvodného signálu v rozsahu od 500 Hz do 9,8 kHz, čo umožnilo získať maskovacie frekvencie fM,l pre tento segment. Okrem toho sa prenášali údaje v malom rozsahu od 9,8 do 10 kHz na určenie polohy podnesúcich v prijímači. Horná hranica používaného frekvenčného rozsahu bola stanovená na 10 kHz kvôli nízkej citlivosti mikrofónov smartfónov na vysokých frekvenciách.
Maskovacie frekvencie sa určovali pre každý analyzovaný segment individuálne. Pomocou metódy HPS (harmonický spektrum produktov) boli stanovené tri dominantné frekvencie, ktoré boli následne zaokrúhlené na najbližšie tóny harmonickej chromatickej škály. Takto boli získané základné tóny fF,i = 1…3, nachádzajúce sa medzi klávesmi C0 (16,35 Hz) a B0 (30,87 Hz). Vzhľadom na to, že základné tóny sú príliš nízke na použitie v prenosu dát, v rozsahu 500 Hz … 9,8 kHz boli vypočítané ich vyššie oktávy 2kfF,i. Mnohé z týchto frekvencií (fO,l1) boli výraznejšie vďaka povahe HPS.
Obrázok č. 2: vypočítané oktávy fO,l1 pre základné tóny a harmoniky fH,l2 najvýraznejšieho tónu.
Súbor oktáv a harmoník bol následne použitý ako maskovacie frekvencie, na základe ktorých boli získané frekvencie OFDM podnesúcich fSC,k. Nižšie a vyššie od každej maskovacej frekvencie boli vložené dve podnesúce.
Ďalej prebiehala filtrácia spektra audiosegmentu Hi na frekvenciách podnesúcich fSC,k. Na základe informačných bitov v Bi bol vytvorený OFDM symbol, vďaka čomu mohol byť kompozitný segment Ci prenášaný cez reproduktor. Veľkosti a fázy podnesúcich je potrebné zvoliť tak, aby prijímač dokázal extrahovať prenášané údaje, zatiaľ čo poslucháč nezaznamenal zmeny v melódii.
Obrázok č. 3: úsek spektra a frekvencie podnesúcich segmentu Hi pôvodnej melódie.
Keď sa audi signál s ním kódovanými informáciami reprodukuje cez reproduktory, mikrofón prijímacieho zariadenia ho zaznamenáva. Aby sa našli počiatočné pozície zabudovaných symbolov OFDM, záznamy musia najprv prejsť pásmovým filtrovaním. Týmto spôsobom sa extrahuje horné frekvenčné pásmo, kde nie sú muzikálne signály-rušiče medzi podnosnými. Začiatok symbolov OFDM je možné nájsť pomocou cyklického prefixu.
Po zistení začiatku symbolov OFDM prijímač získava informácie o najdominantnejších tónoch dekódovaním horných frekvenčných oblastí. Navyše, OFDM je dostatočne odolný voči pôsobeniu zdrojov úzkopásmových rušení, pretože ovplyvňujú len niektoré z podnosných.
Praktické testy
Ako zdroj pozmenených melódií slúžil reproduktor KRK Rokit 8 a prijímajúcu stranu reprezentoval smartfón Nexus 5X.
Obrázok č. 4: rozdiel medzi skutočnými prejavmi OFDM a špičkami korelácie meranými v interiéri vo vzdialenosti 5 m medzi reproduktorom a mikrofónom.
Väčšina OFDM bodov sa nachádza v rozmedzí od 0 do 25 ms, preto je možné nájsť prijateľný začiatok v rámci cyklického prefixu 66.6 ms. Výskumníci poznamenávajú, že prijímač (v tomto experimente smartfón) berie do úvahy, že symboly OFDM sa reprodukujú periodicky, čo zlepšuje ich detekciu.
Prvé, čo sa muselo skontrolovať, bolo vplyv vzdialenosti na mieru chybovosti po bitoch (BER). Na tento účel sa uskutočnili tri testy v rôznych typoch priestorov: chodba s kobercom, kabinet s linoleom na podlahe a poslucháreň s drevenou podlahou.
Ako "testovanú" bola zvolená pieseň "And The Cradle Will Rock" skupiny Van Halen.
Hlasitosť bola nastavená tak, aby nameraná úroveň zvuku smartfónom vo vzdialenosti 2 m od reproduktora bola 63 dB.
Obrázok č. 5: ukazovatele BER v závislosti od vzdialenosti medzi reproduktorom a mikrofónom (modrá čiara — poslucháreň, zelená — chodba, oranžová — kancelária).
Na chodbe bol zvuk v 40 dB zachytený smartfónom vo vzdialenosti až 24 metrov od reproduktora. V posluchárni bol na vzdialenosti 15 m zvuk 55 dB a v kancelárii pri vzdialenosti 8 metrov dosahoval úroveň vnímaného zvuku smartfónom 57 dB.
Vzhľadom na to, že publikum a kancelária sú viac reverberantné, neskoré echo signály OFDM symbolov presahujú dĺžku cyklického prefixu a zvyšujú BER.
Reverberácia* — postupné znižovanie intenzity zvuku v dôsledku jeho viackrát odrazu.
Ďalej výskumníci demonštrovali univerzálnosť svojho systému, aplikovali ho na 6 rôznych piesní troch žánrov (tabuľka nižšie).
Tabuľka č. 1: použité piesne v testoch.
Rovnako pomocou údajov z tabuľky môžeme vidieť rýchlosť prenosu a koeficienty chýb za bit pre každú pieseň. Rýchlosť prenosu sa líši, pretože diferenciálny BPSK (fázová manipulácia) funguje lepšie, keď sú použité rovnaké podnosné frekvencie. A to je možné, keď susedné segmenty obsahujú rovnaké maskovacie prvky. Kontinuálne hlasné piesne zabezpečujú optimálny základ pre skrývanie dát, pretože maskovacie frekvencie sú výraznejšie prítomné v širokom frekvenčnom pásme. Rýchlo sa meniaca hudba môže len čiastočne maskovať OFDM symboly kvôli fixnej dĺžke analytického okna.
Ďalej k testovaniu systému pristúpili osoby, ktoré mali určiť, ktorá melódia je pôvodná a ktorá bola modifikovaná vloženou informáciou. Na tento účel boli 12-sekundové úryvky piesní z tabuľky č. 1 umiestnené na špeciálnej webovej stránke.
V prvom experimente (E1) bol každému účastníkovi poskytnutý buď zmenený, alebo pôvodný fragment na vypočutie a musel rozhodnúť, či je tento fragment originálny alebo zmenený. V druhom experimente (E2) účastníci mohli neustále počúvať oba varianty a potom rozhodnúť, ktorý z nich je originál a ktorý zmenený.
Tabuľka č. 2: výsledky experimentov E1 a E2.
Vo výsledkoch prvého pokusu sú dva ukazovatele: p(Ó|Ó) — percento účastníkov, ktorí správne označili pôvodnú melódiu a p(Ó|M) — percento účastníkov, ktorí označili zmenenú verziu melódie ako originálnu.
Zaujímavé je, že niektorí účastníci, podľa vedcov, považovali určité zmenené melódie za originálnejšie ako samotný originál. Priemerný ukazovateľ oboch experimentov naznačuje, že priemerný poslucháč si nevšimne rozdiel medzi bežnou melódiou a tou, do ktorej boli zabudované dáta.
Samozrejme, odborníci na hudbu a hudobníci si dokážu všimnúť určité nepresnosti a podozrivé prvky v zmenených melódiách, ale tieto prvky nie sú natoľko významné, aby spôsobovali nepohodlie.
A teraz sa môžeme sami zúčastniť experimentu. Nižšie sú uvedené dva varianty tej istej melódie — originálna a zmenená. Počujete rozdiel?
vs
Pre podrobnejšie oboznámenie s nuansami výskumu odporúčam pozrieť sa do skúmacej skupiny.
Môžete si tiež stiahnuť ZIP-archív audiosúborov originálnych a zmenených melódií, ktoré boli použité v štúdii, na .
Epilog
V tejto práci postgraduálni študenti švajčiarskej vysokej technickej školy v Zürichu opísali úžasný systém prenosu dát v hudbe. Na tento účel použili frekvenčné maskovanie, čo im umožnilo zakomponovať dáta do melódie prehrávané reproduktorom. Táto melódia je rozpoznaná mikrofónom zariadenia, ktoré rozpoznáva skryté dáta a dekóduje ich, zatiaľ čo priemerný poslucháč si nijakého rozdielu ani nevšimne. Do budúcna plánujú rozvíjať svoj systém a hľadať dokonalejšie metódy zakomponovania dát do audia.
Keď niekto vymyslí niečo neobyčajné, a hlavne funkčné, vždy sa tešíme. Ešte väčšiu radosť máme z toho, že toto vynález bolo vytvorené mladými ľuďmi. Veda nemá vekové obmedzenia. A ak si mládež myslí, že veda je nudná, znamená to, že je prezentovaná nie z toho správneho uhla pohľadu. Veď, ako vieme, veda je úžasný svet, ktorý nikdy prestane prekvapovať.
Petkov offtop:
Keď už hovoríme o hudbe, a konkrétne o rockovej hudbe, tu je skvelá cesta po prostoroch rocku.
Queen, „Radio Ga Ga“ (1984).
Ďakujem za pozornosť, zostaňte zvedaví a prajem všetkým skvelý víkend, chalani! 🙂
Ďakujeme, že s nami zostávate. Páčia sa vám naše články? Chcete vidieť viac zaujímavých materiálov? Podporte nás objednaním alebo odporúčaním priateľom, 30% zľava pre používateľov Chabra na unikátny ekvivalent entry-level serverov, ktorý sme pre vás vytvorili: (k dispozícii varianty s RAID1 a RAID10, až 24 jadier a až 40GB DDR4).
Dell R730xd za polovicu? Len u nás v Holandsku! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — od 99 dolárov! Prečítajte si o tom
Zdroj: habr.com
