Kifejezni azt, amit a szavak nem tudnak közvetíteni; megtapasztalni a legkülönfélébb érzelmeket, amelyek egy érzések viharában összefonódnak; elszakadni a földtől, az égtől és még magától az Univerzumtól is, hogy egy olyan utazásra induljunk, ahol nincsenek térképek, nincsenek utak, nincsenek jelzők; kitalálni, elmesélni és átélni egy olyan történetet, amely mindig egyedi és megismételhetetlen marad. Mind ezt lehetővé teszi a zene — egy művészet, amely már évezredek óta létezik és kényezteti a fülünket és a szívünket.
Azonban a zene, pontosabban a zenei művek nemcsak esztétikai élvezetet nyújthatnak, hanem információk továbbítására is szolgálhatnak, amelyek kódolt formában rejlenek bennük, és amelyek a hallgató számára észrevétlenek. Ma megismerkedünk egy meglehetősen szokatlan kutatással, amelyben a zürichi műszaki egyetem doktoranduszai meg tudták valósítani, hogy észrevétlenül juttassanak el bizonyos adatokat zenei művekbe, így a zene maga adatátviteli csatornává válik. Hogyan valósították meg ezt a technológiát, mennyire különböznek a beágyazott adatokkal és anélkül készült melódiák, és mit mutattak a gyakorlati tesztek? Erről a kutatók előadásában fogunk tájékozódni. Indulás!
A kutatás alapja
A kutatók akusztikai adatátviteli technikának nevezik a technológiájukat. Amikor egy hangsugárzó lejátszik egy módosított melódiát, az ember azt egy hagyományos zenének érzékeli, azonban például egy okostelefon képes olvasni az adatokat, amelyek a sorok között, pontosabban a hangjegyek között rejlenek, ha ezt így lehet kifejezni. A legfontosabb szempont a módszer megvalósításában a tudósok (az, hogy ezek a srácok még doktoranduszok, nem akadályozza meg őket abban, hogy tudósok legyenek) szerint a sebesség és a megbízhatóság, amelyek a kiválasztott audiofájltól függetlenül is megmaradnak. E feladat megoldásában segít a pszichoakusztika, amely az emberi hangok észlelésének pszichológiai és fiziológiai aspektusait vizsgálja.
Az akusztikus adatátvitel alapja az OFDM (Orthogonal Frequency Division Multiplexing), amely lehetővé tette a hordozó frekvenciák zeneidőhöz való alkalmazását, így maximálisan kihasználva a továbbított frekvenciaspektrumot az információátvitelhez. Ennek köszönhetően 412 bps adatátviteli sebességet sikerült elérni 24 méteres távolságig (hibaarány < 10%). A valós kísérletek 40 önkéntes részvételével megerősítették, hogy gyakorlatilag lehetetlen különbséget hallani az eredeti dallam és az információt tartalmazó verzió között.
Hol alkalmazható ez a technológia a gyakorlatban? A kutatók válasza: szinte minden modern okostelefon, laptop és más zsebes eszköz mikrofonokkal van felszerelve, és sok nyilvános helyen (kávézók, éttermek, bevásárlóközpontok stb.) háttérzenét játszanak a hangszórók. Ebbe a háttérzenébe például be lehet ágyazni az adatokat a Wi-Fi hálózatra való csatlakozáshoz anélkül, hogy további lépéseket kellene tennünk.
Most, hogy tisztáztuk az akusztikus adatátvitel közös vonásait, nézzük meg részletesebben a rendszer felépítését.
A rendszer leírása
Az adatok beágyazása a dallamba a frekvencia álcázás révén történik. Az időintervallumokban az álcázó frekvenciák azonosításra kerülnek, és az ehhez közeli OFDM hordozók adatokat töltenek be.
1. ábra: az eredeti fájl átalakítása kompozit jelekké (dallam + adatok), amelyet hangszórókon keresztül továbbítanak.
Először az eredeti audiosignal sorozatos szegmensekre van osztva az elemzéshez. Minden egyes szegmens (Hi) L = 8820 minta, ami 200 ms, megszorozva van ablakkal* a határesetek minimalizálása érdekében.
Ablak* — egy súlyozási függvény, amelyet a spektrális értékelésekben fellépő oldalsó lobogókból adódó hatások kezelésére használnak.
Ezután a forrássignal domináló frekvenciáit a 500 Hz-től 9,8 kHz-ig terjedő tartományban észlelték, ami lehetővé tette a maszkáló frekvenciák fM,l meghatározását a megadott szegmenshez. Ezen felül az adatok továbbítására kis tartományban, 9,8-tól 10 kHz-ig került sor a hordozósávok helyének meghatározásához a vevőegységben. A használt frekvenciatartomány felső határát 10 kHz-re állították, mivel a telefonmikrofonok érzékenysége magas frekvenciákon alacsony.
A maszkáló frekvenciákat az egyes elemzett szegmensek számára egyedileg határozták meg. Az HPS (harmonikus termékek spektruma) módszerével három domináló frekvenciát állapítottak meg, amelyeket a harmonikus kromatikus skála legközelebbi hangjaira kerekítettek. Így születtek meg a fő hangok fF,i = 1…3, amelyek a C0 (16,35 Hz) és B0 (30,87 Hz) billentyűk között helyezkednek el. Tekintettel arra, hogy a fő hangok túl alacsonyak voltak az adatok továbbításához, a 500 Hz … 9,8 kHz tartományban a magasabb oktávjaik 2kfF,i kiszámítása született meg. Ezek közül sok frekvencia (fO,l1) kifejezettebbé vált az HPS természeténél fogva.
2. ábra: a legyengült hangok és a legjobb frekvenciák fO,l1 a fő hangok és a fH,l2 harmonikusok alapján.
Az oktávok és harmonikusok összessége maszkáló frekvenciaként szolgált, amelyek alapján az OFDM alha-frekvenciákat fSC,k határozták meg. Minden maszkáló frekvencia alá és fölé két alha-frekvenciát helyeztek el.
Ezután a Hi hangszegmens spektrumának szűrése történt a fSC,k alha-frekvenciákon. Ezt követően az információs bitek Bi alapján OFDM szimbólum alakult, lehetővé téve a kompozit szegmens Ci hangszórón való továbbítását. Az alha-frekvenciák nagyságát és fázisait úgy kell megválasztani, hogy a vevő kihúzza a továbbított adatokat, miközben a hallgató ne észleljen változást a dallamban.
3. ábra: a spektrum szakasza és az alha-frekvenciák a Hi szegmensből származó eredeti dallam szerint.
Amikor az audiojelet, amely a benne kódolt információt tartalmazza, a hangszórók reprodukálják, a vételi eszköz mikrofonja rögzíti azt. Az OFDM jelzők kezdeti pozícióinak megtalálásához a felvételt először sávszűrésen kell átkonvertálni. Így kinyerjük a felső frekvenciatartományt, ahol nincsenek zenei zajok a hordozók között. Az OFDM jelek kezdetét ciklikus prefix segítségével lehet meghatározni.
Az OFDM jelek kezdetének észlelése után a vevő a legdominánsabb hangjegyeket kapja meg a felső frekvenciatartomány dekódolásával. Ezen kívül az OFDM elég ellenálló a keskeny sávú zavarok hatásával szemben, mivel ezek csak a hordozók egyes részeire hatnak.
Gyakorlati tesztek
A módosított dallamok forrásaként a KRK Rokit 8 hangszóró szolgált, míg a vevő fél szerepét a Nexus 5X okostelefon játszotta.
4. kép: az OFDM valós megnyilvánulásai és a hangszóró és a mikrofon között 5 méteren mért korrelációs csúcsok közötti különbség.
Az OFDM pontok többsége 0 és 25 ms közötti tartományban helyezkedik el, ezért a megengedett kezdet megtalálható a 66,6 ms ciklikus prefixen belül. A kutatók megjegyzik, hogy a vevő (ebben a kísérletben az okostelefon) figyelembe veszi, hogy az OFDM jelek periódikusan reprodukálódnak, ami javítja a detektálásukat.
Az első dolog, amit ellenőrizni kellett, a távolság hatása a bit hibaarányra (BER). Ehhez három tesztet végeztek különböző helyiségtípusokban: szőnyeggel borított folyosó, linóleummal borított iroda és fa padlójú előadóterem.
Kísérleti dalnak a Van Halen „And The Cradle Will Rock” című számát választották.
A hangzás hangerejét úgy állították be, hogy a hangszórótól 2 méterre mért hangszint 63 dB legyen.
5. kép: a BER arányok a hangszóró és a mikrofon közötti távolság függvényében (kék vonal — előadóterem, zöld — folyosó, narancssárga — iroda).
A folyosón a 40 dB-es hangot a smartphone legfeljebb 24 méter távolságból észlelte a hangszórótól. Az előadóteremben 15 méteres távolságból a hangszint 55 dB volt, míg az irodában 8 méternél a smartphone által észlelt hangszint 57 dB-ig jutott.
Mivel a közönség és az iroda visszhangosabb, az OFDM szimbólumok késleltetett visszhangjelei meghaladják a ciklikus prefix hosszát, és növelik a BER-t.
Visszhang* — a hangintenzitás fokozatos csökkenése a többszöri visszaverődés következtében.
Ezt követően a kutatók bemutatták rendszerük univerzális alkalmazhatóságát, amikor hat különböző dalt alkalmaztak három műfajból (a lenti táblázatban).
1. táblázat: a tesztelt dalok.
A táblázat adatai alapján láthatjuk a bitsebességet és a hibaügyleti arányokat minden dal esetében. A bitsebesség eltérő, mivel a differenciális BPSK (fázismanipuláció) jobban működik, ha azonos alhordozókat használnak. Ez akkor lehetséges, ha a szomszédos szegmensek azonos maszk elemeket tartalmaznak. A folyamatosan hangos dalok optimális alapot biztosítanak az adatok elrejtéséhez, mivel a maszk frekvenciák jobban jelen vannak széles frekvenciatartományban. A gyorsan változó zene csak részben képes elfedni az OFDM szimbólumokat a rögzített elemzési ablak miatt.
Ezt követően a rendszert tesztelő személyek próbálták meghatározni, hogy melyik melódia eredeti, és melyik lett módosítva az abba beépített információval. Ehhez a 1. táblázatból származó 12 másodperces dalrészletek egy speciális weboldalon kerültek közzétételre.
Az első kísérletben (E1) minden résztvevő vagy módosított, vagy eredeti részletet kapott meghallgatásra, és el kellett döntenie, hogy ez a részlet eredeti vagy módosított. A második kísérletben (E2) a résztvevők annyiszor hallgathatták meg a két változatot, ahányszor csak akarták, majd el kellett dönteniük, hogy melyik az eredeti és melyik a módosított.
2. táblázat: az E1 és E2 kísérletek eredményei.
Az első kísérlet eredményeiben két mutató található: p(O|O) — a résztvevők százaléka, akik helyesen azonosították az eredeti melódiát, és p(O|M) — a résztvevők százaléka, akik a módosított dalt az eredetiként azonosították.
Érdekes, hogy a kutatók szerint egyes résztvevők bizonyos módosított dallamokat eredetibbnek gondoltak, mint magát az eredetit. A két kísérlet átlagos mutatói azt mutatják, hogy az átlagos hallgató nem észleli a különbséget a szokásos dallam és a módosított verzió között.
Természetesen a zene szakértői és zenészek észlelhetnek bizonyos pontatlanságokat és gyanús elemeket a módosított dallamokban, de ezek az elemek nem jelentősek ahhoz, hogy kényelmetlenséget okozzanak.
Most részt vehetünk a kísérletben is. Itt van két változata ugyanannak a dallamnak - az eredeti és a módosított. Hallasz különbséget?
vs
A kutatás részleteivel való alaposabb megismerkedéshez javaslom, hogy nézze meg a kutatócsoport.
Továbbá letöltheti a kutatás során használt eredeti és módosított dallamok audiofájljaiból készült ZIP-archívumot a következő linken: .
Epilógus
Ebben a munkában a zürichi műszaki egyetem doktoranduszai bemutatták az adatok zenei keretek közötti továbbításának egy lenyűgöző rendszerét. Ehhez frekvenciaképzést alkalmaztak, amely lehetővé tette, hogy adatokat ágyazzanak a hangszórón lejátszott dallamba. Ez a dallam a készülék mikrofón keresztül észlelhető, amely felismeri a rejtett adatokat és dekódolja azokat, míg az átlagos hallgató nem is észlel különbséget. A jövőben a fiatalok arra terveznek fejlődni, hogy fejlettebb módszereket találjanak az adatok audioba való beágyazására.
Ha valaki valami szokatlant, de működőt talál ki, mindig örülünk. De még nagyobb öröm az, hogy ezt a találmányt fiatalok hozták létre. A tudomány nem ismer életkorhatárokat. Ha a fiatalok unalmasnak találják a tudományt, az azt jelenti, hogy nem a megfelelő szögből mutatják be, úgy mondják. Hiszen, mint tudjuk, a tudomány egy csodálatos világ, amely soha nem hagyja abba az ámulást.
Pénteki off-topic:
Mivel a zenéről, pontosabban a rockzenéről beszélünk, itt van egy csodálatos utazás a rock világában.
Queen, „Radio Ga Ga” (1984).
Köszönöm a figyelmet, maradjanak kíváncsiak, és kellemes hétvégét kívánok mindenkinek! 🙂
Köszönjük, hogy velünk maradnak. Tetszenek Önöknek a cikkeink? Szeretnének több érdekes anyagot látni? Támogassanak minket rendelés leadásával vagy ismerősöknek való ajánlással. 30% kedvezmény a Habr felhasználóinak az egyedülálló entry-level szervereinkre, amelyet Önöknek találtunk ki: (elérhetők RAID1 és RAID10 opciók, akár 24 magig és 40GB DDR4-ig).
Dell R730xd két alkalommal olcsóbban? Csak nálunk Hollandiában! Dell R420 — 2x E5-2430 2.2GHz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — 99 dollártól! Olvasd el ezt
Forrás: habr.com
