Ноталар арасындағы оқу: музыка ішіндегі деректерді беру жүйесі

Ноталар арасындағы оқу: музыка ішіндегі деректерді беру жүйесі

Сөзбен жеткізе алмайтын нәрсені айту; сезім дауылында тоғысқан алуан түрлі эмоцияларды сезіну; карта, жол, белгі жоқ сапарға шығып, жерден, аспаннан, тіпті Әлемнің өзінен үзіліп кету; әрқашан бірегей және қайталанбайтын болып қалатын бүкіл оқиғаны ойлап табыңыз, айтып беріңіз және бастан кешіріңіз. Осының барлығын музыка – сан мыңдаған жылдар бойы бар, құлағымызды, жүрегімізді қуантатын өнер жасай алады.

Дегенмен, музыка, дәлірек айтсақ, музыкалық шығармалар тек эстетикалық ләззат алу үшін ғана емес, сонымен бірге оларда кодталған, қандай да бір құрылғыға арналған және тыңдаушыға көрінбейтін ақпаратты беру үшін де қызмет ете алады. Бүгін біз өте ерекше зерттеумен танысамыз, онда ETH Цюрих магистранттары адам құлағы байқамай, музыкалық шығармаларға белгілі бір деректерді енгізе алды, соның арқасында музыканың өзі деректерді беру арнасына айналады. Олар өз технологиясын қалай нақты енгізді, енгізілген деректері бар және жоқ әуендер бір-бірінен өте ерекшеленеді және практикалық сынақтар не көрсетті? Бұл туралы зерттеушілердің баяндамасынан білеміз. Бар.

Зерттеу негізі

Зерттеушілер олардың технологиясын акустикалық деректерді беру технологиясы деп атайды. Динамик өзгертілген әуенді ойнағанда, адам оны қалыпты деп қабылдайды, бірақ, мысалы, смартфон жолдар арасындағы, дәлірек айтқанда, ноталар арасындағы кодталған ақпаратты оқи алады. Ғалымдар (бұл жігіттердің әлі де аспирант екендігі олардың ғалым болуына кедергі келтірмейді) таңдалған аудиофайлға қарамастан, осы параметрлердің деңгейін сақтай отырып, беру жылдамдығы мен сенімділігін жүзеге асырудағы ең маңызды аспект деп атайды. бұл деректерді беру техникасы. Бұл міндетті шешуге адамның дыбыстарды қабылдауының психологиялық және физиологиялық аспектілерін зерттейтін психоакустика көмектеседі.

Акустикалық деректерді берудің өзегін OFDM (ортогональды жиілікті бөлу мультиплексирлеу) деп атауға болады, ол уақыт өте келе бастапқы музыкаға қосалқы тасымалдаушылардың бейімделуімен қатар ақпаратты беру үшін берілетін жиілік спектрін барынша пайдалануға мүмкіндік берді. Осының арқасында 412 метрге дейінгі қашықтықта 24 бит/с тарату жылдамдығына қол жеткізу мүмкін болды (қателік деңгейі < 10%). 40 ерікті қатысқан тәжірибелік эксперименттер бастапқы әуен мен ақпарат енгізілген әуен арасындағы айырмашылықты есту мүмкін емес екенін растады.

Бұл технологияны тәжірибеде қайда қолдануға болады? Зерттеушілердің өз жауабы бар: қазіргі заманғы смартфондардың, ноутбуктердің және басқа да қол құрылғыларының барлығы дерлік микрофондармен жабдықталған, ал көптеген қоғамдық орындарда (кафелер, мейрамханалар, сауда орталықтары және т.б.) фондық музыка бар динамиктер бар. Бұл фондық әуен, мысалы, қосымша әрекеттерді қажет етпестен Wi-Fi желісіне қосылуға арналған деректерді қамтуы мүмкін.

Акустикалық деректерді берудің жалпы ерекшеліктері бізге түсінікті болды, енді осы жүйенің құрылымын егжей-тегжейлі зерттеуге көшейік.

Жүйе сипаттамасы

Мәліметтерді әуенге енгізу жиілікті маскировкаға байланысты болады. Уақыт аралықтарында маскировка жиіліктері анықталады және осы маскировка элементтеріне жақын OFDM ішкі тасымалдаушылары деректермен толтырылады.

Ноталар арасындағы оқу: музыка ішіндегі деректерді беру жүйесі
Сурет №1: Түпнұсқа файлды динамиктер арқылы берілетін композиттік сигналға (әуен + деректер) түрлендіру.

Бастау үшін бастапқы дыбыстық сигнал талдау үшін дәйекті сегменттерге бөлінеді. 8820 мс тең L = 200 үлгінің әрбір осындай сегменті (Hi) көбейтіледі. терезе* шекаралық әсерлерді азайту үшін.

Терезе* спектрлік бағалаулардағы бүйірлік бөліктерге байланысты әсерлерді бақылау үшін қолданылатын салмақтау функциясы болып табылады.

Содан кейін бастапқы сигналдың басым жиіліктері 500 Гц-тен 9.8 кГц-ке дейінгі диапазонда анықталды, бұл осы сегмент үшін fM,l маскировка жиіліктерін алуға мүмкіндік берді. Сонымен қатар, қабылдағыштағы қосалқы тасымалдаушылардың орналасуын белгілеу үшін деректер 9.8-ден 10 кГц-ке дейінгі шағын диапазонда жіберілді. Қолданылатын жиілік диапазонының жоғарғы шегі смартфон микрофондарының жоғары жиіліктердегі сезімталдығының төмен болуына байланысты 10 кГц-ке орнатылды.

Маскировка жиілігі әрбір талданатын сегмент үшін жеке анықталды. HPS (Гармоникалық өнім спектрі) әдісін қолдана отырып, үш басым жиілік анықталды, содан кейін гармоникалық хроматикалық шкала бойынша ең жақын ноталарға дейін дөңгелектенді. Осылайша C1 (3 Гц) және В0 (16.35 Гц) пернелерінің арасында жатқан fF,i = 0…30.87 негізгі ноталары алынды. Негізгі ноталардың деректерді беруде пайдалану үшін тым төмен екендігін ескере отырып, олардың жоғары октавалары 500kfF,i 9.8 Гц ... 2 кГц диапазонында есептелді. Бұл жиіліктердің көпшілігі (fO,l1) СЭС-тің табиғатына байланысты айқынырақ болды.

Ноталар арасындағы оқу: музыка ішіндегі деректерді беру жүйесі
Сурет №2: Негізгі ноталар үшін fO,l1 есептелген октавалар және ең күшті тонның fH,l2 гармоникасы.

Алынған октавалар мен гармоникалардың жиынтығы маска жиіліктері ретінде пайдаланылды, олардан OFDM ішкі тасымалдаушы жиіліктері fSC,k алынды. Әрбір маскировка жиілігінің астына және үстіне екі қосалқы тасымалдаушы енгізілді.

Әрі қарай, Hi аудио сегментінің спектрі fSC,k ішкі тасымалдаушы жиіліктерінде сүзілді. Осыдан кейін Bi-дегі ақпараттық биттердің негізінде OFDM символы жасалды, соның арқасында Ci композиттік сегменті динамик арқылы берілуі мүмкін. Ішкі тасымалдаушылардың шамалары мен фазалары тыңдаушы әуендегі өзгерістерді байқамай тұрғанда, қабылдағыш жіберілген деректерді шығарып алатындай етіп таңдалуы керек.

Ноталар арасындағы оқу: музыка ішіндегі деректерді беру жүйесі
№3 сурет: бастапқы әуеннің Hi сегментінің спектрінің және қосалқы жиіліктерінің бөлігі.

Кодталған ақпараты бар аудио сигнал динамиктер арқылы ойнатылатын кезде, қабылдау құрылғысының микрофоны оны жазады. Енгізілген OFDM таңбаларының бастапқы орындарын табу үшін алдымен жазбаларды өткізу жолағы сүзгілеу керек. Осылайша, ішкі тасымалдаушылар арасында музыкалық кедергі сигналдары жоқ жоғарғы жиілік диапазоны алынады. OFDM таңбаларының басын циклдік префиксті пайдаланып табуға болады.

OFDM таңбаларының басталуын анықтағаннан кейін ресивер жоғары жиілікті доменді декодтау арқылы ең басым ноталар туралы ақпаратты алады. Сонымен қатар, OFDM тар жолақты кедергі көздеріне өте төзімді, өйткені олар тек кейбір қосалқы тасымалдаушыларға әсер етеді.

Практикалық сынақтар

KRK Rokit 8 динамигі өзгертілген әуендердің көзі болды, ал Nexus 5X смартфоны қабылдаушы тарап рөлін атқарды.

Ноталар арасындағы оқу: музыка ішіндегі деректерді беру жүйесі
№4 сурет: OFDM және динамик пен микрофон арасындағы 5 м қашықтықта өлшенген нақты OFDM және корреляция шыңдары арасындағы айырмашылық.

OFDM нүктелерінің көпшілігі 0-ден 25 мс аралығында болады, сондықтан 66.6 мс циклдік префикс ішінде жарамды бастауды таба аласыз. Зерттеушілер ресивер (бұл экспериментте смартфон) OFDM таңбаларының мезгіл-мезгіл ойнатылатынын ескереді, бұл оларды анықтауды жақсартады.

Тексеру керек бірінші нәрсе қашықтықтың бит қате жылдамдығына (BER) әсері болды. Ол үшін әртүрлі типтегі бөлмелерде үш сынақ жүргізілді: кілем төселген дәліз, еденге линолеум төселген кеңсе және ағаш едені бар аудитория.


Сынақ нысаны ретінде Ван Халеннің «And The Cradle Will Rock» әні таңдалды.

Дыбыс деңгейі смартфонның динамиктен 2 м қашықтықта өлшенген дыбыс деңгейі 63 дБ болатындай етіп реттелді.

Ноталар арасындағы оқу: музыка ішіндегі деректерді беру жүйесі
No 5 сурет: динамик пен микрофон арасындағы қашықтыққа байланысты BER индикаторлары (көк сызық - аудитория, жасыл - дәліз, қызғылт сары - кеңсе).

Дәлізде 40 дБ дыбысты динамиктен 24 метрге дейінгі қашықтықта смартфон қабылдады. Сыныпта 15 м қашықтықта дыбыс 55 дБ болса, 8 метр қашықтықтағы кеңседе смартфон арқылы қабылданатын дыбыс деңгейі 57 дБ жетті.

Аудитория мен кеңсе жаңғырықтырақ болғандықтан, кеш OFDM символының жаңғырығы циклдік префикс ұзындығынан асып, BER мәнін арттырады.

Реверберация* - дыбыс қарқындылығының оның бірнеше рет шағылысуына байланысты біртіндеп төмендеуі.

Зерттеушілер өз жүйесінің жан-жақтылығын одан әрі үш жанрдағы 6 түрлі әнге қолдану арқылы көрсетті (төмендегі кесте).

Ноталар арасындағы оқу: музыка ішіндегі деректерді беру жүйесі
Кесте No1: тесттерде қолданылатын әндер.

Сондай-ақ, кесте деректері арқылы біз әрбір ән үшін бит жылдамдығы мен бит қателерінің жылдамдығын көре аламыз. Деректер жылдамдығы әртүрлі, себебі дифференциалды BPSK (фазалық ауыстыру) бірдей қосалқы тасымалдаушылар пайдаланылғанда жақсы жұмыс істейді. Бұл іргелес сегменттерде бірдей маска элементтері болған кезде мүмкін болады. Үздіксіз шулы әндер деректерді жасыру үшін оңтайлы базаны қамтамасыз етеді, себебі маскировка жиіліктері кең жиілік диапазонында көбірек болады. Жылдам музыка талдау терезесінің бекітілген ұзындығына байланысты OFDM таңбаларын ішінара ғана жасыра алады.

Содан кейін адамдар жүйені сынай бастады, олар қандай әуеннің түпнұсқа екенін және оған енгізілген ақпарат арқылы өзгертілгенін анықтауы керек болды. Осы мақсатта No12 кестеден 1 секундтық ән үзінділері арнайы сайтқа орналастырылды.

Бірінші экспериментте (E1) әрбір қатысушыға тыңдау үшін өзгертілген немесе түпнұсқа фрагмент берілді және фрагменттің түпнұсқа немесе өзгертілгенін шешуі керек болды. Екінші экспериментте (E2) қатысушылар екі нұсқаны да қалағанынша тыңдай алады, содан кейін қайсысы түпнұсқа, қайсысы өзгертілгенін шеше алды.

Ноталар арасындағы оқу: музыка ішіндегі деректерді беру жүйесі
No 2 кесте: Е1 және Е2 тәжірибелерінің нәтижелері.

Бірінші эксперименттің нәтижелері екі көрсеткішке ие: p(O|O) - бастапқы әуенді дұрыс белгілеген қатысушылардың пайызы және p(O|M) - әуеннің өзгертілген нұсқасын түпнұсқа деп белгілеген қатысушылардың пайызы.

Бір қызығы, кейбір қатысушылар, зерттеушілердің пікірінше, кейбір өзгертілген әуендерді түпнұсқадан гөрі түпнұсқа деп санаған. Екі эксперименттің де орташа мәні орташа тыңдаушының әдеттегі әуен мен деректер енгізілген әуен арасындағы айырмашылықты байқамайтынын көрсетеді.

Әрине, музыка мамандары мен музыканттар өзгертілген әуендердегі кейбір дәлсіздіктер мен күдікті элементтерді анықтай алады, бірақ бұл элементтер ыңғайсыздық тудыратындай маңызды емес.

Ал енді экспериментке өзіміз қатыса аламыз. Төменде бір әуеннің екі нұсқасы берілген - түпнұсқа және өзгертілген. Айырмашылықты ести аласыз ба?

Әуеннің түпнұсқа нұсқасы
vs
Әуеннің өзгертілген нұсқасы

Зерттеудің нюанстарымен толығырақ танысу үшін мен қарауды ұсынамын есеп зерттеу тобы.

Сондай-ақ зерттеуде пайдаланылған түпнұсқа және өзгертілген әуендердің аудио файлдарының ZIP мұрағатын жүктеп алуға болады бұл сілтеме.

Эпилогия

Бұл жұмыста ETH Zurich магистранттары музыкадағы деректерді берудің таңғажайып жүйесін сипаттады. Бұл үшін олар деректерді динамик ойнайтын әуенге енгізуге мүмкіндік беретін жиілікті масканы қолданды. Бұл әуенді құрылғының микрофоны қабылдайды, ол жасырын деректерді таниды және оны декодтайды, ал қарапайым тыңдаушы тіпті айырмашылықты байқамайды. Болашақта жігіттер деректерді аудиоға енгізудің жетілдірілген әдістерін таңдай отырып, өз жүйесін дамытуды жоспарлап отыр.

Біреу ерекше, ең бастысы жұмыс істейтін нәрсе ойлап тапса, біз әрқашан қуанамыз. Бірақ одан да қуаныштысы, бұл өнертабысты жастар жасаған. Ғылымда жас шектеулері жоқ. Ал жастарға ғылым жалықтыратын болса, ол былайша айтқанда, дұрыс емес қырынан берілуде. Өйткені, біз білетіндей, ғылым – таң қалдыруды тоқтатпайтын таңғажайып дүние.

Жұмадан тыс:


Әңгіме музыка, дәлірек айтсақ рок музыкасы туралы болғандықтан, рок кеңістігінде тамаша саяхат.


Королева, «Радио Га Га» (1984).

Оқығаныңыз үшін рахмет, қызықты болыңыз және демалыс күндеріңіз жақсы өтсін! 🙂

Бізбен бірге болғандарыңызға рахмет. Сізге біздің мақалалар ұнайды ма? Қызықты мазмұнды көргіңіз келе ме? Тапсырыс беру немесе достарыңызға ұсыну арқылы бізге қолдау көрсетіңіз, Habr пайдаланушылары үшін біз сіз үшін ойлап тапқан бастапқы деңгейдегі серверлердің бірегей аналогына 30% жеңілдік: VPS (KVM) E5-2650 v4 (6 ядросы) 10 ГБ DDR4 240 ГБ SSD 1 Гбит/с 20 доллардан немесе серверді қалай бөлісуге болатыны туралы барлық шындық? (RAID1 және RAID10, 24 ядроға дейін және 40 ГБ DDR4 дейін қол жетімді).

Dell R730xd 2 есе арзан ба? Тек осында 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6 ГГц 14C 64 ГБ DDR4 4x960 ГБ SSD 1 Гбит/с 100 теледидар 199 доллардан бастап Нидерландыда! Dell R420 - 2x E5-2430 2.2 ГГц 6C 128 ГБ DDR3 2x960 ГБ SSD 1 Гбит/с 100 ТБ - 99 доллардан бастап! туралы оқыңыз Инфрақұрылымдық корпорацияны қалай құруға болады. бір тиынға 730 еуро тұратын Dell R5xd E2650-4 v9000 серверлерін қолданатын класс?

Ақпарат көзі: www.habr.com

пікір қалдыру