Четене между нотите: система за предаване на данни в музиката

Да изразиш онова, което думите не могат да предадат; да усетиш най-разнообразни емоции, преплитащи се в ураган от чувства; да се откъснеш от земята, небето и дори от самата Вселена, отправяйки се на пътешествие, където няма карти, няма пътища, няма указатели; да измислиш, разкажеш и преживееш цяла история, която винаги ще остане уникална и неповторима. Всичко това позволява музиката — изкуство, съществуващо вече много хиляди години и радващо нашите уши и сърца.

Но музиката, а по-точно музикалните произведения, могат да служат не само за естетическо удоволствие, но и за предаване на закодирана в тях информация, предназначена за някакво устройство и невидима за слушателя. Днес ще се запознаем с доста необичайно изследване, в което аспиранти от швейцарската висша техническа школа в Цюрих успяха незабелязано за човешкото ухо да внедрят определени данни в музикални произведения, поради което самата музика става канал за предаване на данни. Как точно реализираха своята технология, колко се различават мелодиите с и без внедрени данни и какво показаха практическите изпитания? За това ще научим от доклада на изследователите. Да започваме.

Основата на изследването

Изследователите наричат своята технология акустична техника за предаване на данни. Когато говорителят възпроизвежда променена мелодия, човек я възприема като обикновена, а например смартфонът може да счете закодирана информация между редовете, по-точно между нотите, ако може така да се изразим. Най-важният аспект в реализирането на тази методика за предаване на данни учените (това, че тези момчета все още са аспиранти, не им пречи да бъдат учени) наричат скоростта и надеждността на предаването при запазване на нивото на тези параметри независимо от избрания аудиофайл. Справянето с тази задача помага психоакустиката, която изследва психологическите и физиологичните аспекти на възприятието на звуците от човека.

Ядро на акустичната предаване на данни може да се нарече OFDM (мултиплексиране с ортогонално честотно разделение на каналите), което, наред с адаптацията на поднесущите към оригиналната музика с течение на времето, позволява да се използва максимално спектърът на предаваната честота за предаване на информация. Благодарение на това бе постигната скорост на предаване от 412 бит/с на разстояние до 24 метра (коефициент на грешките < 10%). Практическите експерименти с участието на 40 доброволци потвърдиха, че е практически невъзможно да се чуе разликата между оригиналната мелодия и тази, в която е внедрена информацията.

Къде може да се приложи такава технология на практика? Изследователите имат свой отговор: практически всички съвременни смартфони, лаптопи и други преносими устройства са снабдени с микрофони, а на много обществени места (кафета, ресторанти, търговски центрове и т.н.) има колонки с фонова музика. В тази фонова мелодия могат да се внедрят, например, данни за свързване с Wi-Fi мрежа без необходимост от допълнителни действия.

Общите характеристики на акустичното предаване на данни са ясни, сега да преминем към детайлно изучаване на структурата на тази система.

Описание на системата

Внедряването на данни в мелодията се извършва чрез маскиране на честотите. Във времевите интервали маскиращите честоти се идентифицират, а поднесущите OFDM, близки до тези маскиращи елементи, се запълват с данни.

Изображение №1: преобразуване на изходния файл в композитен сигнал (мелодия + данни), предавани чрез тонколоните.

Първо, изходният аудиосигнал се разделя на последователни сегменти за анализ. Всеки такъв сегмент (Hi) от L = 8820 образци, равен на 200 мс, се умножава по прозорец* за минимизиране на краищните ефекти.

Прозорец* — теглова функция, използвана за управление на ефектите, причинени от наличието на странични лепестки в спектралните оценки.

След това бяха открити доминиращи честоти на изходния сигнал в диапазон от 500 Hz до 9.8 kHz, което позволи да се получат маскиращи честоти fM,l за този сегмент. В допълнение към това се извърши предаване на данни в малък диапазон от 9.8 до 10 kHz за установяване на местоположението на поднесущите в приемника. Горната граница на използваната област на честотите беше установена на 10 kHz поради ниската чувствителност на микрофоните на смартфона при високи честоти.

Маскиращите честоти се определяха индивидуално за всеки анализиран сегмент. Чрез метода HPS (хармоничен спектър на продуктите) бяха установени три доминиращи честоти, след което бяха закръглени до най-близките тонове на хармоничната хроматична скала. Именно така бяха получени основните ноти fF,i = 1…3, разположени между клавишите C0 (16.35 Hz) и B0 (30.87 Hz). Въз основа на това, че основните ноти са твърде ниски за използване при предаване на данни, в диапазона 500 Hz … 9.8 kHz бяха изчислени техните по-високи октави 2kfF,i. Много от тези честоти (fO,l1) бяха по-изразени поради естеството на HPS.

Изображение №2: изчислените октави fO,l1 за основните ноти и хармониците fH,l2 на най-силния тон.

Съчетанието на октави и хармоници беше използвано като маскиращи честоти, на базата на които бяха получени честотите на OFDM поднесущата fSC,k. Под и над всяка маскираща честота бяха вкарани две поднесущи.

След това се извърши филтрация на спектъра на аудиосегмента Hi на честотите на поднесущите fSC,k. След това, на базата на информационните битове в Bi, се създаваше OFDM символ, така че композитният сегмент Ci можеше да бъде предаван през говорителя. Стойностите и фазите на поднесущите трябва да бъдат избрани така, че приемникът да може да извлича предадените данни, докато слушателят не забелязва промени в мелодията.

Изображение №3: участък от спектъра и честотите на поднесущите сегмента Hi на изходната мелодия.

Когато аудиосигналът с кодирана информация се възпроизвежда през колоните, микрофонът на приемника записва сигнала. За да намерим началните позиции на вгражданите OFDM символи, записите първо трябва да преминат през филтриране по честотен диапазон. По този начин се извлича горният честотен диапазон, където няма музикални сигнални смущения между подносителите. Началото на OFDM символите може да бъде намерено с помощта на цикличен префикс.

След откритие на началото на OFDM символите, приемникът получава информация за най-доминиращите тонове чрез декодиране на горната честотна област. Освен това, OFDM е сравнително устойчив на въздействието на източници на теснопосочни смущения, тъй като те влияят само на някои от подносителите.

Практически изпитвания

Като източник на изменени мелодии беше избрана колоната KRK Rokit 8, а ролята на приемната страна играеше смартфонът Nexus 5X.

Изображение №4: разлика между реални проявления на OFDM и върховете на корелацията, измерени в помещение на разстояние 5 м между колоната и микрофона.

Повечето OFDM точки се намират в диапазона от 0 до 25 мс, затова може да се намери допустимо начало в рамките на цикличния префикс от 66.6 мс. Изследователите отбелязват, че приемникът (в този експеримент смартфон) взема предвид, че OFDM символите се възпроизвеждат периодично, което подобрява тяхното откритие.

Първото нещо, което трябваше да бъде проверено, е влиянието на разстоянието върху коефицента на грешки по битове (BER). За целта бяха проведени три теста в различни видове помещения: коридор с килим, кабинет с линолеум на пода и аудитория с дървен под.

Громността на звука беше настроена така, че измереният от смартфон на разстояние 2 м от колоната звуков ниво да бъде 63 дБ.

Изображение №5: показателите на BER в зависимост от разстоянието между колоната и микрофона (синя линия — аудитория, зелена — коридор, оранжева — офис).

В коридора звукът от 40 дБ беше уловен от смартфона на разстояние до 24 метра от колоната. В аудиторията на разстояние 15 м звукът беше 55 дБ, а в офиса при разстояние от 8 метра нивото на възприемания от смартфона звук достигна 57 дБ.

Поради факта, че аудиторията и офисът са по-ревербериращи, късните ехо-сигнали на OFDM символите надвишават дължината на цикличния префикс и увеличават BER.

Реверберация* — постепенно намаление на интензивността на звука поради многократното му отразяване.

Впоследствие изследователите демонстрираха универсалността на своята система, прилагайки я към 6 различни песни от три жанра (в таблицата по-долу).

Таблица №1: използвани в тестовете песни.

Също така чрез данните в таблицата можем да видим скоростта на предаване и коефициентите на битови грешки за всяка песен. Скоростта на предаване на данни варира, тъй като диференциалният BPSK (фазова манипулация) работи по-добре, когато се използват същите поднесущи. Това е възможно, когато съседните сегменти съдържат идентични маскиращи елементи. Непрекъснато силните песни осигуряват оптимална основа за скриване на данни, тъй като маскиращите честоти са по-изразени в широкия честотен обхват. Бързо променящата се музика може само частично да маскира OFDM символите поради фиксирана дължина на анализа.

След това към тестването на системата се включиха хора, които трябваше да определят коя мелодия е оригиналната, а коя е модифицирана с внедрена информация. За целта 12-секундни фрагменти от песните в таблица №1 бяха публикувани на специален сайт.

В първия експеримент (E1) всеки участник получаваше или модифициран, или оригинален фрагмент за слушане, и той трябваше да реши дали този фрагмент е оригинален или модифициран. Във втория експеримент (E2) участниците можеха да слушат и двете версии без ограничение, след което да решат коя е оригиналната, а коя е модифицираната.

Таблица №2: резултати от експериментите E1 и E2.

В резултатите от първия опит има два показателя: p(О|О) — процент на участниците, които правилно са идентифицирали оригиналната мелодия и p(О|М) — процент на участниците, които са идентифицирали модифицирана версия на мелодията като оригинална.

Интересно е, че някои участници, според изследователите, смятали определени променени мелодии за по-оригинални от самия оригинал. Средната стойност на двата експеримента показва, че средностатистическият слушател няма да забележи разликата между обичайната мелодия и онази, в която са интегрирани данни.

Естествено, музикалните специалисти и музиканти могат да улавят някои неточности и подозрителни елементи в променените мелодии, но тези елементи не са толкова значителни, че да причиняват дискомфорт.

А сега можем да участваме в експеримента. По-долу са представени два варианта на една и съща мелодия — оригиналният и промененият. Чувате ли разликата?

Оригиналният вариант на мелодията
срещу
Модифицираният вариант на мелодията

За по-подробно запознаване с нюансите на изследването, препоръчвам да се запознаете с доклад изследователската група.

Можете също да изтеглите ZIP архив на аудиофайловете на оригиналните и променени мелодии, използвани в изследването, от тази връзка.

Епилог

В тази работа аспиранти от Швейцарската висша техническа школа в Цюрих описват удивителна система за предаване на данни в музиката. За това те прилагат честотно маскиране, което позволява интегрирането на данни в мелодия, изпълнявана от високоговорител. Тази мелодия се възприема от микрофона на устройството, което разпознава скритите данни и ги декодира, докато средностатистическият слушател дори не забелязва разликата. В бъдеще момчетата планират да развиват системата си, като търсят по-съвършени методи за интегриране на данни в аудио.

Когато някой измисли нещо необичайно, а най-важното — работещо, винаги се радваме. Но още по-голяма радост идва от факта, че това изобретение е създадено от млади хора. Науката няма възрастови ограничения. А ако младежите смятат науката за скучна, значи я представят не по правилния начин, така да се каже. Все пак, както знаем, науката е удивителен свят, който никога не спира да ни изненадва.

Петъчен офф-топ:

Благодаря ви за вниманието, оставайте любопитни и отлични уикенди на всички, момчета! 🙂

Благодарим ви, че останахте с нас. Харесват ли ви нашите статии? Искате ли да видите повече интересни материали? Подкрепете ни, като направите поръчка или ни препоръчате на познати. 30% отстъпка за потребителите на Хабра на уникален аналог на entry-level сървъри, който създадохме специално за вас: Цялата истина за VPS (KVM) E5-2650 v4 (6 ядра) 10GB DDR4 240GB SSD 1Gbps от 20 $ или как правилно да разделите сървър. (с налични опции за RAID1 и RAID10, до 24 ядра и до 40GB DDR4).

Dell R730xd на половин цена? Всичко това само при нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100TB от 199 $ в Нидерландия! Dell R420 — 2x E5-2430 2.2GHz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от 99 $! Чете се за това Как да построим инфраструктура от корпоративен клас с помощта на сървъри Dell R730xd E5-2650 v4 на стойност 9000 евро за малко пари?

Източник: habr.com