Wyrazić to, czego słowa nie potrafią oddać; poczuć najbardziej różnorodne emocje splatające się w huragan uczuć; oderwać się od ziemi, nieba, a nawet samego Wszechświata, wyruszając w podróż, gdzie nie ma map, dróg, ani wskazówek; wymyślić, opowiedzieć i przeżyć całą historię, która zawsze pozostanie unikalna i niepowtarzalna. To wszystko umożliwia muzyka — sztuka, która istnieje już od wielu tysięcy lat i uszczęśliwia nasze uszy i serca.
Jednak muzyka, a dokładniej utwory muzyczne, mogą służyć nie tylko do estetycznej przyjemności, ale także do przekazywania informacji zakodowanej w nich, przeznaczonej dla jakiegoś urządzenia i niewidocznej dla słuchacza. Dziś zapoznamy się z dość niezwykłym badaniem, w którym studenci doktoranccy ze szwajcarskiej wyższej szkoły technicznej w Zurychu zdołali w dyskretny sposób wpleść określone dane w utwory muzyczne, przez co sama muzyka staje się kanałem transmisji danych. Jak dokładnie zrealizowali swoją technologię, jak bardzo różnią się melodie z i bez zakodowanych danych oraz co pokazały praktyczne testy? O tym dowiemy się z relacji badaczy. Zaczynamy.
Podstawa badania
Badacze nazwali swoją technologię akustyczną techniką transmisji danych. Gdy głośnik odtwarza zmienioną melodię, człowiek postrzega ją jako zwykłą, natomiast na przykład smartfon może odczytywać zakodowane informacje między nutami, jeśli można to tak ująć. Najważniejszym aspektem wdrożenia tej metodologii transmisji danych naukowcy (to, że ci uczniowie są wciąż doktorantami, nie przeszkadza im być naukowcami) nazywają szybkością i niezawodnością transmisji przy zachowaniu poziomu tych parametrów, niezależnie od wybranego pliku audio. Zrealizowanie tego zadania wspiera psychoakustyka, badająca psychologiczne i fizjologiczne aspekty postrzegania dźwięków przez człowieka.
Rdzeniem akustycznego przesyłu danych jest OFDM (ortogonalne mnożenie w dziedzinie częstotliwości), które, w połączeniu z adaptacją nośników do oryginalnej muzyki w czasie, pozwoliło w maksymalny sposób wykorzystać pasmo przekazywanej częstotliwości do przesyłania informacji. Dzięki temu udało się osiągnąć prędkość przesyłu wynoszącą 412 bitów/s na odległość do 24 metrów (współczynnik błędów < 10%). Eksperymenty praktyczne z udziałem 40 ochotników potwierdziły, że trudno usłyszeć różnicę między oryginalną melodią a tą, w którą wprowadzono informacje.
Gdzie można zastosować taką technologię w praktyce? Oto odpowiedź badaczy: praktycznie wszystkie nowoczesne smartfony, laptopy i inne przenośne urządzenia są wyposażone w mikrofony, a w wielu miejscach publicznych (kawiarnie, restauracje, centra handlowe itp.) są głośniki z muzyką w tle. Do tej muzyki w tle można wprowadzić na przykład dane do połączenia z siecią Wi-Fi bez potrzeby podejmowania dodatkowych działań.
Ogólne cechy akustycznego przesyłu danych stały się nam jasne, teraz przejdźmy do szczegółowego badania struktury tego systemu.
Opis systemu
Wprowadzenie danych do melodii następuje poprzez maskowanie częstotliwości. W przedziałach czasowych identyfikowane są maskujące częstotliwości, a nośniki OFDM, bliskie tym maskującym elementom, są wypełniane danymi.
Rysunek nr 1: przekształcenie oryginalnego pliku w sygnał kompozytowy (melodia + dane), przesyłany przez głośniki.
Na początek oryginalny sygnał audio dzielony jest na sekwencyjne segmenty do analizy. Każdy z tych segmentów (Hi) z L = 8820 próbek, wynoszący 200 ms, jest mnożony przez okno* w celu minimalizacji efektów brzegowych.
Okno* to funkcja wagowa używana do zarządzania efektami spowodowanymi obecnością bocznych płatków w ocenach spektralnych.
Następnie zidentyfikowano dominujące częstotliwości sygnału źródłowego w zakresie od 500 Hz do 9,8 kHz, co umożliwiło uzyskanie częstotliwości maskujących fM,l dla danego segmentu. Dodatkowo transmitowano dane w wąskim zakresie od 9,8 do 10 kHz w celu ustalenia lokalizacji podnośnych w odbiorniku. Górny limit wykorzystywanego zakresu częstotliwości ustalono na 10 kHz z powodu niskiej czułości mikrofonów smartfonów na wysokich częstotliwościach.
Częstotliwości maskujące określano indywidualnie dla każdego analizowanego segmentu. Przy użyciu metody HPS (harmonicznego spektrum produktów) ustalono trzy dominujące częstotliwości, które następnie zaokrąglono do najbliższych nut harmonijnej skali chromatycznej. W ten sposób uzyskano podstawowe nuty fF,i = 1…3, mieszczące się pomiędzy klawiszami C0 (16,35 Hz) i B0 (30,87 Hz). Biorąc pod uwagę, że podstawowe nuty są zbyt niskie do wykorzystania w transmisji danych, obliczono ich wyższe oktawy w zakresie 500 Hz … 9,8 kHz jako 2kfF,i. Wiele z tych częstotliwości (fO,l1) było bardziej wyraźnych z powodu natury HPS.
Obraz №2: obliczone oktawy fO,l1 dla podstawowych nut i harmonicznych fH,l2 najsilniejszego tonu.
Zbiór oktaw i harmonicznych został następnie wykorzystany jako częstotliwości maskujące, na podstawie których obliczono częstotliwości podnośnej OFDM fSC,k. Powyżej i poniżej każdej częstotliwości maskującej umieszczono dwie podnośne.
Następnie nastąpiła filtracja widma segmentu audio Hi na częstotliwościach podnośnych fSC,k. Na tej podstawie z bitów informacyjnych w Bi tworzony był symbol OFDM, co umożliwiło przesyłanie segmentu kompozytu Ci przez głośnik. Wartości i fazy podnośnych muszą być dobrane w taki sposób, aby odbiornik mógł wyodrębnić przesyłane dane, podczas gdy słuchacz nie dostrzegał zmian w melodii.
Obraz №3: fragment widma i częstotliwości podnośnych segmentu Hi oryginalnej melodii.
Gdy sygnał audio z zakodowaną informacją jest odtwarzany przez głośniki, mikrofon odbiornika nagrywa go. Aby znaleźć początkowe pozycje wbudowanych symboli OFDM, nagranie musi być najpierw przefiltrowane pasmowo. W ten sposób wydobywa się górny zakres częstotliwości, w którym nie ma muzycznych sygnałów zakłócających pomiędzy podnośnymi. Początek symboli OFDM można znaleźć za pomocą prefiksu cyklicznego.
Po wykryciu początku symboli OFDM, odbiornik uzyskuje informacje o najbardziej dominujących nutach poprzez dekodowanie górnej częstotliwości. Co więcej, OFDM jest wystarczająco odporny na działanie źródeł zakłóceń w wąskim paśmie, ponieważ wpływają one tylko na niektóre z podnośnych.
Badania praktyczne
Źródłem zmodyfikowanych melodii był głośnik KRK Rokit 8, a rolę strony odbierającej odegrał smartphone Nexus 5X.
Obrazek nr 4: różnica między rzeczywistymi przejawami OFDM a szczytami korelacji mierzonymi w pomieszczeniu w odległości 5 m między głośnikiem a mikrofonem.
Większość punktów OFDM leży w zakresie od 0 do 25 ms, dlatego można znaleźć dopuszczalne rozpoczęcie wewnątrz cyklicznego prefiksu 66,6 ms. Badacze zauważają, że odbiornik (w tym doświadczeniu smartphone) uwzględnia, że symbole OFDM są odtwarzane cyklicznie, co poprawia ich wykrywanie.
Pierwszą rzeczą, którą należało sprawdzić, był wpływ odległości na współczynnik błędów bitowych (BER). W tym celu przeprowadzono trzy testy w różnych typach pomieszczeń: korytarz z dywanem, biuro z linoleum na podłodze i sala wykładowa z drewnianą podłogą.
Jako próbkę wybrano utwór „And The Cradle Will Rock” grupy Van Halen.
Głośność była ustawiona w taki sposób, aby poziom dźwięku mierzony przez smartphone w odległości 2 m od głośnika wynosił 63 dB.
Obrazek nr 5: wskaźniki BER w zależności od odległości między głośnikiem a mikrofonem (niebieska linia — sala wykładowa, zielona — korytarz, pomarańczowa — biuro).
W korytarzu dźwięk o poziomie 40 dB był rejestrowany przez smartphone na odległości do 24 metrów od głośnika. W sali wykładowej w odległości 15 m dźwięk wynosił 55 dB, a w biurze przy odległości 8 metrów poziom odbieranego przez smartphone dźwięku osiągał 57 dB.
Ze względu na to, że publiczność i biuro są bardziej reverberujące, późne echa sygnałów symboli OFDM przekraczają długość prefiksu cyklicznego i zwiększają BER.
Reverberacja* — stopniowe zmniejszanie intensywności dźwięku w wyniku jego wielokrotnego odbicia.
Następnie badacze wykazali uniwersalność swojego systemu, stosując go do 6 różnych piosenek trzech gatunków (tabela poniżej).
Tabela nr 1: użyte w testach piosenki.
Również na podstawie danych z tabeli możemy zobaczyć prędkość transmisji i wskaźniki błędów na bit dla każdej piosenki. Prędkość transmisji różni się, ponieważ różnicowy BPSK (manipulacja fazą) działa lepiej, gdy używane są te same podnośne. A to jest możliwe, gdy sąsiednie segmenty zawierają identyczne elementy maskujące. Ciągle głośne piosenki zapewniają optymalną bazę do ukrywania danych, ponieważ częstotliwości maskujące bardziej wyraźnie występują w szerokim zakresie częstotliwości. Muzyka szybko zmieniająca się może tylko częściowo maskować symbole OFDM z powodu stałej długości okna analizy.
Następnie w testowaniu systemu wzięli udział ludzie, którzy mieli określić, która melodia jest oryginalna, a która została zmodyfikowana wprowadzaną do niej informacją. W tym celu 12-sekundowe fragmenty piosenek z tabeli nr 1 zostały umieszczone na specjalnej stronie internetowej.
W pierwszym eksperymencie (E1) każdy uczestnik otrzymywał albo zmodyfikowany, albo oryginalny fragment do odsłuchania i musiał zdecydować, czy ten fragment jest oryginalny, czy zmieniony. W drugim eksperymencie (E2) uczestnicy mogli odsłuchiwać oba warianty nieskończoną ilość razy, a następnie zdecydować, który z nich jest oryginałem, a który zmienionym.
Tabela nr 2: wyniki eksperymentów E1 i E2.
W wynikach pierwszego eksperymentu znajdują się dwa wskaźniki: p(O|O) — procent uczestników, którzy prawidłowo wskazali oryginalną melodię, oraz p(O|M) — procent uczestników, którzy oznaczyli zmodyfikowaną wersję melodii jako oryginalną.
Ciekawe, że niektórzy uczestnicy, według badaczy, uważali pewne zmienione melodie za bardziej oryginalne niż sam oryginał. Średni wynik obu eksperymentów sugeruje, że przeciętny słuchacz nie zauważy różnicy między zwykłą melodią a tą, w którą wbudowano dane.
Naturalnie, znawcy muzyki i muzycy będą w stanie dostrzec pewne niedokładności i podejrzane elementy w zmienionych melodiach, ale elementy te nie są na tyle istotne, aby budzić dyskomfort.
A teraz możemy sami wziąć udział w eksperymencie. Poniżej przedstawione są dwa warianty tej samej melodii — oryginalny i zmieniony. Czy słyszysz różnicę?
vs
Aby dokładniej zapoznać się z niuansami badania, polecam zajrzeć do grupy badawczej.
Możesz również pobrać ZIP-archiwum z plikami audio oryginalnych i zmienionych melodii użytych w badaniach, dostępne po .
Epilog
W tej pracy studenci z ETH Zurich opisali niesamowity system przesyłania danych w muzyce. W tym celu zastosowali maskowanie częstotliwości, co umożliwiło wbudowanie danych w melodię odtwarzaną przez głośnik. Melodia ta jest odbierana przez mikrofon urządzenia, które rozpoznaje ukryte dane i je dekoduje, podczas gdy przeciętny słuchacz nawet nie zauważy różnicy. W przyszłości zespół planuje rozwijać swój system, dobierając bardziej zaawansowane metody wbudowywania danych w audio.
Kiedy ktoś wymyśla coś niezwykłego, a co najważniejsze, działającego, zawsze się cieszymy. Ale jeszcze większa radość płynie z tego, że to wynalazek stworzony przez młodych ludzi. Nauka nie ma ograniczeń wiekowych. A jeśli młodzież uważa naukę za nudną, to oznacza, że jest ona przedstawiana w niewłaściwy sposób. Jak wiadomo, nauka to niesamowity świat, który nigdy przestaje zaskakiwać.
Piątkowy offtop:
Skoro już rozmawiamy o muzyce, a konkretnie o rocku, oto wspaniała podróż po przestrzeniach rocka.
Queen, „Radio Ga Ga” (1984).
Dziękuję za uwagę, pozostańcie ciekawi, i życzę wszystkim wspaniałego weekendu, chłopaki! 🙂
Dziękujemy, że z nami jesteś. Czy podobają Ci się nasze artykuły? Chcesz widzieć więcej interesujących materiałów? Wspieraj nas składając zamówienie lub polecając znajomym, 30% zniżki dla użytkowników Habr na unikalny odpowiednik serwerów entry-level, który został stworzony przez nas dla Ciebie: (dostępne opcje z RAID1 i RAID10, do 24 rdzeni i do 40GB DDR4).
Dell R730xd dwa razy tańszy? Tylko u nas w Holandii! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — od 99 dolarów! Czytaj o tym
Źródło: habr.com
