Четете между нотите: система за предаване на данни в музиката

Да изразиш нещо, което думите не могат; да усетиш най-разнообразни емоции, преплитащи се в ураган от чувства; да се отделиш от земята, небето и дори самата Вселена, потегляйки на пътешествие без карти, без пътища, без указатели; да измислиш, разкажеш и преживееш цяла история, която винаги ще остане уникална и неповторима. Всичко това музиката позволява — изкуството, което съществува вече много хиляди години и радва нашите уши и сърца.

Но музиката, или по-точно музикалните произведения, могат да служат не само за естетическо удоволствие, но и за предаване на информация, закодирана в тях, предназначена за определени устройства и незабележима за слушателя. Днес ще се запознаем с доста необичайно изследване, в което аспиранти от Швейцарската висша техническа школа в Цюрих успяха незабелязано за човешкото ухо да вградят определени данни в музикалните произведения, поради което самата музика става канал за предаване на данни. Как точно реализираха своята технология, как се различават мелодиите с и без вградени данни, и какво показаха практическите изпитания? За това ще научим от доклада на изследователите. Да започваме.

Основи на изследването

Изследователите наричат своята технология акустична техника за предаване на данни. Когато говорителят възпроизвежда променена мелодия, човекът я възприема като обикновена, а например смартфонът може да прочете закодираната информация между редовете, по-точно между нотите, ако може да се изразим така. Най-важният аспект в реализирането на този метод на предаване на данни учените (фактът, че тези момчета все още са аспиранти, не пречи да бъдат учени) наричат скоростта и надеждността на предаване, запазвайки нивото на тези параметри независимо от избрания аудиофайл. Да се справиш с тази задача помага психоакустиката, която изследва психологическите и физиологичните аспекти на възприемането на звуците от човека.

Като основен метод за акустична предаване на данни можем да посочим OFDM (мултиплексинг с ортогонално честотно разделение на каналите), който, съчетан с адаптиране на поднесущите честоти към оригиналната музика с времето, позволява оптимално използване на честотния спектър за предаване на информация. Благодарение на това бе постигната скорост на предаване от 412 бит/с на разстояние до 24 метра (коефициент на грешките < 10%). Практически експерименти с участие на 40 доброволци потвърдиха факта, че е почти невъзможно да се чуе разликата между оригиналната мелодия и тази, в която бяха внедрени данни.

Къде можем да приложим такава технология на практика? Изследователите имат своя отговор: почти всички съвременни смартфони, лаптопи и други портативни устройства са оборудвани с микрофони, а в много обществени места (кафенета, ресторанти, търговски центрове и т.н.) има колонки с фонова музика. В тази фонова мелодия могат да бъдат внедрени, например, данни за свързване към Wi-Fi мрежа без необходимост от извършване на допълнителни действия.

Общите характеристики на акустичното предаване на данни вече са ясни, сега да се преминем към подробно проучване на структурата на тази система.

Описание на системата

Внедряването на данни в мелодията става чрез маскиране на честотата. В времевите интервали маскиращите честоти се идентифицират и поднесущите OFDM, близки до тези маскиращи елементи, се запълват с данни.

Изображение №1: преобразуване на изходния файл в композитен сигнал (мелодия + данни), предаван чрез високоговорители.

Първо изходният аудиосигнал се разделя на последователни сегменти за анализ. Всеки от тези сегменти (Hi) с L = 8820 семпли, равен на 200 мс, се умножава по прозорец* за минимизиране на граничните ефекти.

Прозорец* е теглова функция, използвана за управление на ефектите, свързани с наличието на странични лобове в спектралните оценки.

След това бяха установени доминиращите честоти на изходния сигнал в диапазона от 500 Hz до 9.8 kHz, което позволи получаването на маскиращи честоти fM,l за този сегмент. В допълнение, се извършваше предаване на данни в малкия диапазон от 9.8 до 10 kHz за установяване на местоположението на поднесущите в приемника. Горната граница на използваната честотна област беше установена на 10 kHz поради ниската чувствителност на микрофоните на смартфоните на високи честоти.

Маскиращите честоти бяха определяни индивидуално за всеки анализиран сегмент. Чрез метода HPS (хармоничен спектър на продуктите) бяха установени три доминиращи честоти, след което те бяха закръглени до най-близките ноти на хармоничната хроматична скала. Така бяха получени основните ноти fF,i = 1…3, лежащи между клавишите C0 (16.35 Hz) и B0 (30.87 Hz). Поради това, че основните ноти са твърде ниски за предаване на данни, в диапазона 500 Hz … 9.8 kHz бяха изчислени техните по-високи октави 2kfF,i. Много от тези честоти (fO,l1) бяха по-изразени заради природата на HPS.

Изображение №2: изчислени октави fO,l1 за основните ноти и хармониците fH,l2 на най-силния тон.

Сборът от октавите и хармониците след това се използваше като маскиращи честоти, на базата на които бяха получени честотите на OFDM поднесущата fSC,k. Над и под всяка маскираща честота бяха поставени две поднесущи.

След това се извърши филтриране на спектъра на аудиосегмента Hi на честотите на поднесущите fSC,k. След това на базата на информационните битове в Bi беше създаден OFDM символ, така че композитният сегмент Ci можеше да се предава през звуковия изход. Стойностите и фазите на поднесущите трябва да се изберат по такъв начин, че приемникът да може да извлече предаваните данни, докато слушателят не забелязва промени в мелодията.

Изображение №3: участък от спектъра и честотите на поднесущите сегмента Hi на оригиналната мелодия.

Когато аудиосигналът, съдържащ кодирана информация, се възпроизвежда от говорители, микрофонът на получаващото устройство го записва. За да се намерят началните позиции на вградените OFDM символи, записът трябва да премине през филтриране на честотната лента. По този начин се извлича горният честотен диапазон, където няма музикални сигнали-нарушители между подносителите. Началото на OFDM символите може да бъде намерено с цикличен префикс.

След откритие на началото на OFDM символите, приемникът получава информация за най-доминиращите нотки чрез декодиране на горния честотен диапазон. Освен това, OFDM е достатъчно устойчив на влиянието на източници на честотни смущения, тъй като те влияят само на някои от подносителите.

Практически изпитания

Като източник на изменени мелодии беше използван говорител KRK Rokit 8, а ролята на получаващата страна играеше смартфон Nexus 5X.

Изображение №4: разликата между реалните проявления на OFDM и върховете на корелацията, измерени в затворено помещение на разстояние 5 м между говорителя и микрофона.

Повечето OFDM точки са в диапазона от 0 до 25 мс, така че допустимото начало може да бъде намерено в цикличния префикс от 66.6 мс. Изследователите отбелязват, че приемникът (в този експеримент смартфон) отчита, че OFDM символите се възпроизвеждат периодично, което подобрява откритията им.

Първото, което трябваше да се провери, беше влиянието на разстоянието върху коефициента на грешки по битове (BER). За това бяха проведени три теста в различни типове помещения: коридор с килим, кабинет с линолеум на пода и аудитория с дървен под.

Громкостта на звука беше настроена така, че измереният от смартфона на разстояние 2 м от говорителя звуково ниво да бъде 63 дБ.

Изображение №5: показанията на BER в зависимост от разстоянието между говорителя и микрофона (синя линия — аудитория, зелена — коридор, оранжева — офис).

В коридора звукът от 40 дБ беше уловен от смартфона на разстояние до 24 метра от говорителя. В аудиторията на разстояние 15 м звукът беше 55 дБ, а в офиса на разстояние от 8 метра нивото на възприемания звук от смартфона достигна 57 дБ.

Поради факта, че аудитория и офисът са по-реверберирующи, късните ехо сигнали на OFDM символите превишават дължината на цикличния префикс и увеличават BER.

Реверберация* — постепенно намаляване на интензивността на звука поради многократното му отразяване.

След това изследователите демонстрираха универсалността на своята система, прилагайки я към 6 различни песни от три жанра (таблица по-долу).

Таблица №1: използваните в тестовете песни.

Също така, чрез данните от таблицата можем да видим скоростта на предаване и коефициентите на грешки по битове за всяка песен. Скоростта на предаване на данни е различна, тъй като диференциалният BPSK (фазова манипулация) работи по-добре, когато се използват едни и същи поднесущи. А това е възможно, когато съседните сегменти съдържат еднакви маскиращи елементи. Нонстоп високите песни осигуряват оптимална основа за скриване на данни, тъй като маскиращите честоти са по-изразено присъстващи в широк честотен диапазон. Бързо променящата се музика може частично да маскира OFDM символите поради фиксираната дължина на анализа.

След това към тестването на системата се включиха хора, които трябваше да определят коя мелодия е оригиналната, а коя е модифицираната с внедрената информация. За това 12-секундни откъси от песните в таблица №1 бяха разположени на специален сайт.

В първия експеримент (E1) на всеки участник беше предоставен или модифициран, или оригинален откъс за слушане, и той трябваше да реши дали този откъс е оригинален или модифициран. Във втория експеримент (E2) участниците можеха да слушат двата варианта неограничен брой пъти, а след това да решат кой от тях е оригиналът, а кой е променен.

Таблица №2: резултатите от експериментите E1 и E2.

В резултатите от първия опит има два показателя: p(О|О) — процентът на участниците, които правилно идентифицираха оригиналната мелодия и p(О|М) — процентът на участниците, които идентифицираха изменената версия на мелодията като оригинална.

Интересно, че някои участници, според изследователите, смятали определени променени мелодии за по-оригинални от оригинала. Средният показател от двата експеримента говори, че средностатистическият слушател няма да забележи разлика между обикновената мелодия и променената.

Естествено, музикалните експерти и музиканти могат да уловят някои неточности и съмнителни елементи в променените мелодии, но тези елементи не са достатъчно значителни, за да предизвикат дискомфорт.

И сега можем сами да участваме в експеримента. По-долу са представени два варианта на една и съща мелодия — оригиналният и промененият. Чувствате ли разликата?

Оригиналният вариант на мелодията
срещу
Промененият вариант на мелодията

За по-подробно запознаване с нюансите на изследването, препоръчвам да се запознаете с доклад изследователската група.

Можете също да изтеглите ZIP-архив с аудиофайлове на оригиналните и променени мелодии, използвани в изследването, на тази връзка.

Епилог

В този труд аспиранти от Швейцарската федерална политехника в Цюрих описват удивителна система за предаване на данни в музиката. Те приложиха честотно маскиране, което им позволи да внедрят данни в мелодията, възпроизвеждана от колонка. Тази мелодия се възприема от микрофона на устройството, което разпознава скритите данни и ги декодира, докато средностатистическият слушател не забелязва разлика. В бъдеще момчетата планират да развият системата си, избирайки по-съвременни методи за внедряване на данни в аудио.

Когато някой измисли нещо необичайно, а и работещо, винаги сме щастливи. Но още повече радост идва от факта, че това изобретение е създадено от млади хора. Науката няма възрастови ограничения. А ако младежите смятат, че науката е скучна, значи я представят неправилно. Защото, както знаем, науката е удивителен свят, който никога не спира да ни изненадва.

Петъчен офф-топ:

Благодаря за вниманието, оставете се на любопитството и желая на всички страхотни уикенди, приятели! 🙂

Благодарим, че останахте с нас. Харесвате ли нашите статии? Искате ли да виждате повече интересни материали? Подкрепете ни, като направите поръчка или ни препоръчате на познати, 30% отстъпка за потребителите на Хабра за уникален аналог на entry-level сървъри, създаден от нас за вас: Всичко за VPS (KVM) E5-2650 v4 (6 ядра) 10GB DDR4 240GB SSD 1Gbps от $20 или как да делим сървъра правилно? (налични опции с RAID1 и RAID10, до 24 ядра и до 40GB DDR4).

Dell R730xd два пъти по-евтин? Само при нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100TB от $199 в Нидерландия! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Четете за това Как да изградим инфраструктура от корпоративен клас с прилагане на сървъри Dell R730xd Е5-2650 v4 на стойност 9000 евро за копейки?

Източник: habr.com