Четене между нотите: системата за предаване на данни в музиката

Изразете това, което думите не могат да предадат; усетете голямо разнообразие от емоции, преплетени в ураган от чувства; да се откъснеш от земята, небето и дори от самата Вселена, тръгвайки на пътешествие, където няма карти, пътища, знаци; измислете, разкажете и изживейте цяла история, която винаги ще остане уникална и неподражаема. Всичко това може да направи музиката - изкуство, което съществува от много хиляди години и радва ушите и сърцата ни.

Но музиката или по-скоро музикалните произведения могат да служат не само за естетическо удоволствие, но и за предаване на кодирана в тях информация, предназначена за някакво устройство и невидима за слушателя. Днес ще се запознаем с едно много необичайно изследване, в което студенти от ETH Zurich успяха незабелязано от човешкото ухо да въведат определени данни в музикални произведения, поради което самата музика се превръща в канал за предаване на данни. Как точно са внедрили технологията си, много ли се различават мелодиите с и без вградени данни и какво показаха практическите тестове? Научаваме за това от доклада на изследователите. Отивам.

Изследователска база

Изследователите наричат ​​технологията си акустична технология за предаване на данни. Когато високоговорителят изсвири модифицирана мелодия, човек я възприема като нормална, но например смартфонът може да чете кодирана информация между редовете или по-скоро между бележките, така да се каже. Учените (фактът, че тези момчета са все още дипломирани студенти, не им пречи да бъдат учени) наричат ​​скоростта и надеждността на предаване при запазване на нивото на тези параметри, независимо от избрания аудио файл, като най-важен аспект при изпълнението на тази техника за пренос на данни. Психоакустиката, която изучава психологическите и физиологичните аспекти на човешкото възприятие на звуците, помага да се справи с тази задача.

Ядрото на акустичното предаване на данни може да се нарече OFDM (ортогонално честотно мултиплексиране), което, заедно с адаптирането на подносещите към изходната музика във времето, направи възможно максималното използване на предавания честотен спектър за предаване на информация. Благодарение на това беше възможно да се постигне скорост на предаване от 412 bps на разстояние до 24 метра (степен на грешка < 10%). Практически експерименти с участието на 40 доброволци потвърдиха факта, че е почти невъзможно да се чуе разликата между оригиналната мелодия и тази, в която е заложена информацията.

Къде може да се приложи тази технология на практика? Изследователите имат свой собствен отговор: почти всички съвременни смартфони, лаптопи и други преносими устройства са оборудвани с микрофони, а много обществени места (кафенета, ресторанти, търговски центрове и др.) имат високоговорители с фонова музика. Тази фонова мелодия може например да включва данни за свързване към Wi-Fi мрежа, без да са необходими допълнителни действия.

Общите характеристики на предаването на акустични данни ни станаха ясни, сега нека преминем към подробно изследване на структурата на тази система.

Описание на системата

Въвеждането на данни в мелодията става поради честотно маскиране. Във времевите слотове маскиращите честоти се идентифицират и OFDM подносещите в близост до тези маскиращи елементи се запълват с данни.

Изображение #1: Преобразуване на оригиналния файл в композитен сигнал (мелодия + данни), предаван през високоговорителите.

Като начало оригиналният аудио сигнал се разделя на последователни сегменти за анализ. Всеки такъв сегмент (Hi) от L = 8820 проби, равен на 200 ms, се умножава по прозорец* за минимизиране на граничните ефекти.

прозорец* е тегловна функция, използвана за контролиране на ефектите, дължащи се на страничните листове в спектралните оценки.

След това доминиращите честоти на оригиналния сигнал бяха открити в диапазона от 500 Hz до 9.8 kHz, което направи възможно получаването на маскиращи честоти fM,l за този сегмент. В допълнение, данните бяха предадени в малък диапазон от 9.8 до 10 kHz, за да се установи местоположението на подносещите в приемника. Горната граница на използвания честотен диапазон беше зададена на 10 kHz поради ниската чувствителност на микрофоните на смартфона при високи честоти.

Честотите на маскиране бяха определени за всеки анализиран сегмент поотделно. Използвайки метода HPS (Хармоничен продуктов спектър), трите доминиращи честоти бяха идентифицирани и след това закръглени до най-близките ноти на хармоничната хроматична скала. Така се получават основните ноти fF,i = 1…3, разположени между клавишите C0 (16.35 Hz) и B0 (30.87 Hz). Въз основа на факта, че основните ноти са твърде ниски за използване при предаване на данни, техните по-високи октави 500kfF,i бяха изчислени в диапазона 9.8 Hz ... 2 kHz. Много от тези честоти (fO,l1) са по-изразени поради естеството на HPS.

Изображение #2: Изчислени октави fO,l1 за основните ноти и хармоници fH,l2 на най-силния тон.

Полученият набор от октави и хармоници бяха използвани като маскиращи честоти, от които бяха получени OFDM подносещите честоти fSC,k. Две подносещи са вмъкнати под и над всяка маскираща честота.

След това спектърът на Hi аудио сегмента беше филтриран на подносещи честоти fSC,k. След това беше създаден OFDM символ на базата на информационните битове в Bi, поради което съставният сегмент Ci можеше да бъде предаден през високоговорителя. Големините и фазите на подносещите трябва да бъдат избрани така, че приемникът да може да извлече предадените данни, докато слушателят не забележи промени в мелодията.

Изображение № 3: част от спектъра и подносещите честоти на Hi сегмента на оригиналната мелодия.

Когато аудио сигнал с кодирана в него информация се възпроизвежда през високоговорители, микрофонът на приемащото устройство го записва. За да се намерят началните позиции на вградените OFDM символи, записите първо трябва да бъдат лентово филтрирани. По този начин се извлича горният честотен диапазон, където няма музикални интерферентни сигнали между подносещите. Можете да намерите началото на OFDM символите с помощта на цикличен префикс.

След откриване на началото на OFDM символи, приемникът получава информация за най-доминиращите ноти чрез декодиране на високочестотен домейн. В допълнение, OFDM е доста устойчив на теснолентови източници на смущения, тъй като те засягат само някои от подносещите.

Практически тестове

Високоговорителят KRK Rokit 8 действа като източник на модифицираните мелодии, а смартфонът Nexus 5X играе ролята на приемащата страна.

Изображение #4: Разлика между действителните OFDM и пиковете на корелация, измерени на закрито на 5 м между високоговорител и микрофон.

Повечето OFDM точки се намират в диапазона от 0 до 25 ms, така че можете да намерите валиден старт в рамките на 66.6 ms цикличен префикс. Изследователите отбелязват, че приемникът (в този експеримент, смартфон) взема предвид, че OFDM символите се възпроизвеждат периодично, което подобрява тяхното откриване.

Първото нещо, което трябва да се провери, е ефектът от разстоянието върху честотата на битовите грешки (BER). За целта бяха проведени три теста в различни типове помещения: коридор с килим, офис с линолеум на пода и аудитория с дървен под.

Песента “And The Cradle Will Rock” на Van Halen е избрана за обект на теста.

Силата на звука беше регулирана така, че нивото на звука, измерено от смартфона на разстояние 2 м от високоговорителя, беше 63 dB.

Изображение № 5: BER индикатори в зависимост от разстоянието между говорещия и микрофона (синя линия - публика, зелена - коридор, оранжева - офис).

В коридора звук от 40 dB беше уловен от смартфон на разстояние до 24 метра от високоговорителя. В класната стая на разстояние 15 м звукът беше 55 dB, а в офиса на разстояние 8 метра нивото на звука, възприет от смартфона, достигна 57 dB.

Тъй като аудиторията и офисът са по-ехтящи, ехото на късните OFDM символи надвишава дължината на цикличния префикс и увеличава BER.

Реверберация* - постепенно намаляване на интензивността на звука поради многократните му отражения.

Изследователите допълнително демонстрираха гъвкавостта на своята система, като я приложиха към 6 различни песни от три жанра (таблицата по-долу).

Таблица № 1: песни, използвани в тестове.

Освен това, чрез данните в таблицата, можем да видим битрейта и процентите на битови грешки за всяка песен. Скоростите на предаване на данни са различни, тъй като диференциалното BPSK (фазова манипулация) работи по-добре, когато се използват едни и същи подносители. И това е възможно, когато съседни сегменти съдържат едни и същи маскиращи елементи. Постоянно силните песни осигуряват оптимална база за скриване на данни, тъй като маскиращите честоти присъстват по-силно в широк честотен диапазон. Бързата музика може само частично да маскира OFDM символите поради фиксираната дължина на прозореца за анализ.

След това хората започнаха да тестват системата, като трябваше да определят коя мелодия е оригинална и коя е модифицирана от информацията, вградена в нея. За целта на специален сайт бяха публикувани 12-секундни откъси от песни от таблица №1.

В първия експеримент (E1) на всеки участник беше даден модифициран или оригинален фрагмент за слушане и трябваше да реши дали фрагментът е оригинален или модифициран. Във втория експеримент (E2) участниците можеха да слушат и двете версии толкова пъти, колкото искат, и след това да решат коя е оригинална и коя е модифицирана.

Таблица № 2: резултати от експерименти Е1 и Е2.

Резултатите от първия експеримент имат два показателя: p(O|O) - процентът на участниците, отбелязали правилно оригиналната мелодия и p(O|M) - процентът на участниците, отбелязали модифицираната версия на мелодията като оригинална.

Интересното е, че някои участници, според изследователите, смятат определени променени мелодии за по-оригинални от самия оригинал. Средната стойност от двата експеримента предполага, че средният слушател не би забелязал разлика между обикновена мелодия и тази, в която са вградени данни.

Естествено, музикалните експерти и музикантите ще могат да открият някои неточности и подозрителни елементи в променените мелодии, но тези елементи не са толкова значими, че да предизвикат дискомфорт.

И сега ние самите можем да участваме в експеримента. По-долу има две версии на една и съща мелодия - оригиналната и модифицираната. Чуваш ли разликата?

Оригинална версия на мелодията
vs
Модифицирана версия на мелодията

За по-подробно запознаване с нюансите на изследването препоръчвам да разгледате докладът изследователска група.

Можете също така да изтеглите ZIP архив с аудио файлове на оригиналните и модифицирани мелодии, използвани в изследването на тази връзка.

Епилог

В тази работа студенти от ETH Цюрих описаха невероятна система за предаване на данни в музиката. За да направят това, те използваха честотно маскиране, което направи възможно вграждането на данните в мелодията, изсвирена от високоговорителя. Тази мелодия се възприема от микрофона на устройството, който разпознава скритите данни и ги декодира, докато обикновеният слушател дори няма да забележи разликата. В бъдеще момчетата планират да развият своята система, като изберат по-модерни методи за въвеждане на данни в аудио.

Когато някой измисли нещо необичайно и най-важното, нещо, което работи, ние винаги се радваме. Но още по-голяма радост е, че това изобретение е създадено от млади хора. Науката няма възрастови ограничения. И ако младите хора намират науката за скучна, значи тя се представя от грешен ъгъл, така да се каже. В края на краищата, както знаем, науката е невероятен свят, който не спира да учудва.

Петък извън топ:

Тъй като говорим за музика или по-скоро за рок музика, ето едно прекрасно пътешествие из просторите на рока.

Queen, "Radio Ga Ga" (1984).

Благодаря за четенето, останете любопитни и желая страхотен уикенд, момчета! 🙂

Благодарим ви, че останахте с нас. Харесвате ли нашите статии? Искате ли да видите още интересно съдържание? Подкрепете ни, като направите поръчка или препоръчате на приятели, 30% отстъпка за потребителите на Habr за уникален аналог на сървъри от начално ниво, който беше измислен от нас за вас: Цялата истина за VPS (KVM) E5-2650 v4 (6 ядра) 10GB DDR4 240GB SSD 1Gbps от $20 или как да споделите сървър? (предлага се с RAID1 и RAID10, до 24 ядра и до 40GB DDR4).

Dell R730xd 2 пъти по-евтин? Само тук 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV от $199 в Холандия! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - от $99! Прочети за Как да изградим инфраструктура Corp. клас с използване на сървъри Dell R730xd E5-2650 v4 на стойност 9000 евро за стотинка?

Източник: www.habr.com