Ноталардын ортосундагы окуу: музыканын ичиндеги маалыматтарды берүү системасы

Ноталардын ортосундагы окуу: музыканын ичиндеги маалыматтарды берүү системасы

Сөз менен жеткире албаган нерселерди айтыңыз; сезимдердин бороон-чапкынында чырмалышкан ар түрдүү сезимдерди сезүү; карта, жол, белгилер жок саякатка чыгып, жерден, асмандан, жада калса Ааламдын өзүнөн ажырап кетүү; дайыма кайталангыс жана кайталангыс бойдон кала турган бүт окуяны ойлоп табыңыз, айтып бериңиз жана башынан өткөрүңүз. Мунун баарын музыка жасай алат – бул көп миңдеген жылдардан бери жашап келе жаткан жана биздин кулагымды, жүрөгүбүздү кубанткан искусство.

Бирок, музыка, тагыраак айтканда, музыкалык чыгармалар эстетикалык ырахат алуу үчүн гана эмес, аларда коддолгон, кандайдыр бир түзүлүш үчүн арналган жана угуучуга көрүнбөгөн маалыматтарды берүү үчүн да кызмат кыла алат. Бүгүн биз өтө адаттан тыш изилдөө менен таанышабыз, анда ETH Цюрихтин аспиранттары адамдын кулагы байкабай, белгилүү бир маалыматтарды музыкалык чыгармаларга киргизе алышкан, мунун аркасында музыка өзү маалымат берүү каналына айланат. Алар өз технологиясын кантип так ишке ашырышты, камтылган маалыматтары бар жана жок обондор такыр башкачабы жана практикалык тесттер эмнени көрсөттү? Бул тууралуу изилдөөчүлөрдүн баяндамасынан билебиз. Go.

Изилдөөнүн негизи

Окумуштуулар алардын технологиясын акустикалык маалыматтарды берүү технологиясы деп аташат. Динамик өзгөртүлгөн обонду ойногондо, адам аны кадимкидей кабыл алат, бирок, мисалы, смартфон саптардын ортосундагы, тагыраак айтканда, ноталардын ортосундагы коддолгон маалыматты окуй алат. Окумуштуулар (бул балдардын дагы эле аспиранттар экени алардын илимпоз болушуна тоскоол болбойт) тандалган аудио файлына карабастан, бул параметрлердин деңгээлин сактоо менен берүүнүн ылдамдыгын жана ишенимдүүлүгүн ишке ашыруудагы эң маанилүү аспект катары аташат. бул маалымат берүү техникасы. Бул милдетти чечүүгө адамдын үндөрдү кабыл алуусунун психологиялык жана физиологиялык аспектилерин изилдөөчү психоакустика жардам берет.

Акустикалык маалыматтарды берүүнүн өзөгүн OFDM (ортогоналдык жыштык бөлүштүрүү мультиплекси) деп атоого болот, ал убакыттын өтүшү менен булак музыкасына субташуучулардын ыңгайлашуусу менен бирге маалыматты берүү үчүн берилүүчү жыштык спектрин максималдуу түрдө пайдаланууга мүмкүндүк берди. Мунун аркасында 412 метрге чейинки аралыкта 24 бит/сек ылдамдыкка жетүү мүмкүн болгон (ката деңгээли < 10%). 40 ыктыярчы катышкан практикалык эксперименттер баштапкы обон менен маалымат камтылган обондун ортосундагы айырманы угуу дээрлик мүмкүн эместигин тастыктады.

Бул технологияны практикада кайда колдонууга болот? Окумуштуулардын өз жообу бар: дээрлик бардык заманбап смартфондор, ноутбуктар жана башка кол аппараттары микрофондор менен жабдылган, ал эми көптөгөн коомдук жайларда (кафе, ресторан, соода борборлору ж.б.) фон музыкасы менен коштолгон колонкалар орнотулган. Бул фон обону, мисалы, кошумча аракеттерди талап кылбастан Wi-Fi тармагына туташуу үчүн маалыматтарды камтышы мүмкүн.

Акустикалык маалыматтарды берүүнүн жалпы өзгөчөлүктөрү бизге түшүнүктүү болуп калды, эми бул системанын түзүмүн деталдуу изилдөөгө өтөбүз.

Тутумдун сүрөттөлүшү

Маалыматтарды обонго киргизүү жыштыкты маскалоодон улам пайда болот. Убакыт тилкелеринде маскалоо жыштыктары аныкталат жана бул маскалоочу элементтерге жакын OFDM субташуучулары маалыматтар менен толтурулат.

Ноталардын ортосундагы окуу: музыканын ичиндеги маалыматтарды берүү системасы
Сүрөт №1: Түпнуска файлды динамиктер аркылуу берилүүчү композиттик сигналга (мелодия + маалыматтар) айландыруу.

Баштоо үчүн, баштапкы аудио сигнал талдоо үчүн ырааттуу сегменттерге бөлүнөт. 8820 мс барабар L = 200 үлгүлөрдүн ар бир мындай сегменти (Hi) көбөйтүлөт терезе* чектик таасирлерин минималдаштыруу үчүн.

Терезе* спектрдик баалоодо каптал лобдордон улам эффекттерди көзөмөлдөө үчүн колдонулган салмактуу функция.

Андан кийин баштапкы сигналдын үстөмдүк жыштыктары 500 Гцден 9.8 кГцге чейинки диапазондо аныкталган, бул бул сегмент үчүн fM,l маскалык жыштыктарды алууга мүмкүндүк берди. Кошумчалай кетсек, маалымат кабылдагычта субташуучулардын ордун аныктоо үчүн 9.8ден 10 кГцге чейинки чакан диапазондо берилген. Колдонулган жыштык диапазонунун жогорку чеги смартфондун микрофондорунун жогорку жыштыктагы сезгичтигинен улам 10 кГц деп белгиленген.

Маскалоо жыштыктары ар бир талданган сегмент үчүн өзүнчө аныкталган. HPS (Гармоникалык продукт спектри) ыкмасын колдонуу менен үч үстөмдүк кылган жыштыктар аныкталып, андан кийин гармоникалык хроматикалык шкала боюнча жакынкы ноталарга чейин тегеректелген. C1 (3 Гц) жана В0 (16.35 Гц) баскычтарынын ортосунда жаткан fF,i = 0…30.87 негизги ноталары ушундайча алынган. Фундаменталдык ноталар маалыматтарды өткөрүүдө колдонуу үчүн өтө төмөн экендигине таянып, алардын жогорку октавалары 500kfF,i 9.8 Гц... 2 кГц диапазондо эсептелген. Бул жыштыктардын көбү (fO,l1) ГЭСтин табиятынан улам айкыныраак болгон.

Ноталардын ортосундагы окуу: музыканын ичиндеги маалыматтарды берүү системасы
Сүрөт №2: Эң күчтүү тондун негизги ноталары жана fH,l1 гармоникалары үчүн эсептелген октавалар fO,l2.

Натыйжадагы октавалардын жана гармоникалардын жыйындысы маска жыштыктары катары колдонулуп, алардан OFDM субташуучу жыштыктары fSC,k алынган. Ар бир маскировка жыштыгынын астына жана жогору жагына эки субташуучу киргизилген.

Андан кийин, Hi аудио сегментинин спектри fSC,k субташуучу жыштыктарда чыпкаланган. Андан кийин, Бидеги маалыматтык биттердин негизинде OFDM символу түзүлдү, анын аркасында композиттик Ci сегменти динамик аркылуу берилиши мүмкүн. Субташуучулардын чоңдуктары жана фазалары угуучу обондогу өзгөрүүлөрдү байкабай турганда, кабыл алуучу берилген маалыматтарды бөлүп ала тургандай кылып тандалышы керек.

Ноталардын ортосундагы окуу: музыканын ичиндеги маалыматтарды берүү системасы
Сүрөт №3: оригиналдуу обондун Hi сегментинин спектринин жана субташуучу жыштыктарынын бөлүгү.

Коддолгон маалыматы бар аудио сигнал динамиктер аркылуу ойнотулганда, кабыл алуучу түзүлүштүн микрофону аны жазып алат. Кыскартылган OFDM символдорунун баштапкы позицияларын табуу үчүн, адегенде жазуулар өткөрмө өткөрмө фильтрден өтүшү керек. Ушундай жол менен, жогорку жыштык диапазону алынып салынат, мында субташуучулардын ортосунда музыкалык интерференция сигналдары жок. Сиз циклдик префикстин жардамы менен OFDM символдорунун башталышын таба аласыз.

OFDM символдорунун башталышын аныктагандан кийин, кабыл алуучу жогорку жыштыктагы домендин декоддоосу аркылуу эң басымдуу ноталар жөнүндө маалымат алат. Кошумчалай кетсек, OFDM тар тилкелүү интерференция булактарына кыйла туруктуу, анткени алар кээ бир субташуучуларга гана таасир этет.

Практикалык тесттер

KRK Rokit 8 спикери өзгөртүлгөн обондордун булагы болуп, ал эми Nexus 5X смартфону кабыл алган тараптын ролун ойногон.

Ноталардын ортосундагы окуу: музыканын ичиндеги маалыматтарды берүү системасы
Сүрөт №4: Чыныгы OFDM менен корреляциянын чокуларынын ортосундагы айырма, динамик менен микрофондун ортосундагы 5 м аралыкта.

Көпчүлүк OFDM чекиттери 0дөн 25 мс чейинки диапазондо жатат, андыктан сиз 66.6 мс циклдик префикстин ичинде жарактуу баштоону таба аласыз. Окумуштуулар ресивер (бул экспериментте смартфон) OFDM символдору мезгил-мезгили менен ойноорун эске алып, аларды аныктоону жакшыртаарын белгилешет.

Текшерүү үчүн биринчи нерсе аралыктын бит ката ылдамдыгына (BER) таасири болду. Бул үчүн ар кандай типтеги бөлмөлөрдө үч сыноо жүргүзүлдү: коридор килем төшөлгөн, полу линолеум менен жабылган кеңсе жана жыгач полу бар аудитория.


Сынактын предмети катары Ван Халендин "And The Cradle Will Rock" ыры тандалды.

Үндүн катуулугу смартфон тарабынан өлчөнгөн үн деңгээли динамиктен 2 м аралыкта 63 дБ болгудай кылып туураланган.

Ноталардын ортосундагы окуу: музыканын ичиндеги маалыматтарды берүү системасы
Сүрөт №5: Динамик менен микрофондун ортосундагы аралыкка жараша BER индикаторлору (көк сызык - аудитория, жашыл - коридор, кызгылт сары - кеңсе).

Коридордо 40 дБ үндү динамиктен 24 метрге чейинки аралыкта смартфон кабыл алган. 15 м аралыктагы класста үн 55 дБ болсо, 8 метр аралыкта кеңседе смартфон тарабынан кабыл алынган үн деңгээли 57 дБ жетти.

Аудитория жана кеңсе жаңыртылгандыктан, кеч OFDM символдорунун жаңырыгы циклдик префикстин узундугунан ашып, BERди көбөйтөт.

Жаңырык* - анын көп жолу чагылышынан улам үн интенсивдүүлүгүнүн акырындык менен төмөндөшү.

Окумуштуулар андан ары үч жанрдагы 6 башка ырга колдонуу менен системанын ар тараптуулугун көрсөтүштү (төмөндөгү таблица).

Ноталардын ортосундагы окуу: музыканын ичиндеги маалыматтарды берүү системасы
№1 таблица: тесттерде колдонулган ырлар.

Ошондой эле, таблица маалыматтары аркылуу биз ар бир ыр үчүн бит ылдамдыгын жана бит ката ылдамдыгын көрө алабыз. Берилиштердин ылдамдыгы ар кандай, анткени дифференциалдык BPSK (фазалык нөөмөт баскычы) бир эле субташуучулар колдонулганда жакшыраак иштейт. Жана бул чектеш сегменттер бир эле маскалоочу элементтерди камтыган учурда мүмкүн. Үзгүлтүксүз үндүү ырлар маалыматтарды жашыруу үчүн оптималдуу базаны камсыздайт, анткени маскалануучу жыштыктар кеңири жыштык диапазонунда көбүрөөк болот. Ыкчам музыка OFDM белгилерин жарым-жартылай гана жаап, талдоо терезесинин белгиленген узундугуна байланыштуу болот.

Андан кийин, адамдар системаны сынай башташты, алар кайсы обондун оригиналдуу экенин жана андагы маалымат менен өзгөртүлгөнүн аныкташы керек болчу. Бул үчүн атайын сайтка No12 таблицадагы ырлардын 1 секунддук үзүндүлөрү жарыяланган.

Биринчи экспериментте (E1) ар бир катышуучуга угуу үчүн өзгөртүлгөн же оригиналдуу фрагмент берилген жана фрагмент оригиналдуубу же өзгөртүлгөнбү, чечиши керек болчу. Экинчи экспериментте (E2) катышуучулар эки версияны тең каалаганча угуп, анан кайсынысы оригиналдуу, кайсынысы өзгөртүлгөнүн чече алышкан.

Ноталардын ортосундагы окуу: музыканын ичиндеги маалыматтарды берүү системасы
Таблица №2: E1 жана E2 эксперименттеринин натыйжалары.

Биринчи эксперименттин жыйынтыгында эки көрсөткүч бар: p(O|O) - баштапкы обонду туура белгилеген катышуучулардын пайызы жана p(O|M) - обондун өзгөртүлгөн вариантын оригиналдуу деп белгилеген катышуучулардын пайызы.

Кызыктуусу, кээ бир катышуучулар, изилдөөчүлөрдүн айтымында, айрым өзгөртүлгөн обондорду оригиналдууга караганда оригиналдуу деп эсептешкен. Эки эксперименттин орточо көрсөткүчү орточо угуучу кадимки обон менен маалыматтар камтылган обондун ортосундагы айырманы байкабай турганын көрсөтүп турат.

Албетте, музыка адистери жана музыканттар өзгөртүлгөн обондордогу кээ бир так эместиктерди жана шектүү элементтерди байкай алышат, бирок бул элементтер ыңгайсыздыкты жараткыдай мааниге ээ эмес.

Эми экспериментке өзүбүз да катыша алабыз. Төмөндө бир эле обондун эки версиясы - оригиналдуу жана өзгөртүлгөн. Сиз айырманы уга аласызбы?

Обонун оригиналдуу версиясы
vs
Обонун өзгөртүлгөн версиясы

Изилдөөнүн нюанстары менен кененирээк таанышуу үчүн мен карап көрүүнү сунуштайм билдирүү изилдөө тобу.

Сиз ошондой эле изилдөөдө колдонулган оригиналдуу жана өзгөртүлгөн обондордун аудио файлдарынын ZIP архивин жүктөп алсаңыз болот бул шилтеме.

эпилогунда

Бул эмгекте ETH Цюрихтин аспиранттары музыканын ичиндеги укмуштуудай маалыматтарды берүү тутумун сүрөттөшкөн. Бул үчүн алар спикер ойногон обонго маалыматтарды киргизүүгө мүмкүндүк берген жыштык маскасын колдонушкан. Бул обон аппараттын микрофону тарабынан кабыл алынат, ал жашыруун маалыматтарды таанып, аны чечмелейт, ал эми орточо угуучу айырманы байкабай калат. Келечекте балдар аудиого маалыматтарды киргизүүнүн өнүккөн ыкмаларын тандап, өз системасын иштеп чыгууну пландаштырууда.

Кимдир бирөө адаттан тыш, эң негизгиси иштеген бир нерсе ойлоп тапса, биз дайыма кубанабыз. Бирок андан да кубанычтуусу, бул ойлоп табуу жаштар тарабынан жаралган. Илимде курактык чектөө жок. Ал эми жаштарга илим кызыксыз деп табылса, анда ал туура эмес бурчтан берилип жатат, мындайча айтканда. Анткени, биз билгендей, илим эч качан таң калтырбай турган укмуштуу дүйнө.

Жумадан тышкары:


Биз музыка, тагыраак айтканда, рок-музыка жөнүндө сөз кылып жаткандыктан, бул жерде рок кеңдиктери аркылуу сонун саякат.


Queen, "Radio Ga Ga" (1984).

Окуганыңыз үчүн рахмат, кызыктуу болуңуз жана дем алышыңыз жакшы өтсүн! 🙂

Биз менен болгонуңуз үчүн рахмат. Биздин макалалар сизге жагабы? Көбүрөөк кызыктуу мазмунду көргүңүз келеби? Буйрутма берүү же досторуңузга сунуштоо менен бизди колдоңуз, Habr колдонуучулары үчүн биз сиз үчүн ойлоп тапкан баштапкы деңгээлдеги серверлердин уникалдуу аналогуна 30% арзандатуу: VPS (KVM) E5-2650 v4 (6 өзөктүү) 10 ГБ DDR4 240 ГБ SSD 1 Гбит/с 20 доллардан же серверди кантип бөлүшүү керектиги жөнүндө бардык чындык? (RAID1 жана RAID10 менен жеткиликтүү, 24 өзөккө чейин жана 40 ГБ DDR4 чейин).

Dell R730xd 2 эсе арзанбы? Бул жерде гана 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ 199 доллардан баштап Нидерландыда! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - 99 доллардан! Жөнүндө окуу Инфраструктураны кантип куруу керек. бир тыйынга 730 евро турган Dell R5xd E2650-4 v9000 серверлерин колдонуу менен класс?

Source: www.habr.com

Комментарий кошуу