Firma Google wprowadzi\u0142a kodek audio Lyra V2, kt\u00f3ry wykorzystuje metody uczenia maszynowego, aby osi\u0105gn\u0105\u0107 maksymaln\u0105 jako\u015b\u0107 przesy\u0142ania g\u0142osu przy u\u017cyciu bardzo wolnych \u0142\u0105czy. Nowa wersja r\u00f3\u017cni si\u0119 przej\u015bciem na now\u0105 architektur\u0119 sieci neuronowej, obs\u0142ug\u0105 dodatkowych platform, rozszerzonymi mo\u017cliwo\u015bciami zarz\u0105dzania bitrate'em, zwi\u0119kszon\u0105 wydajno\u015bci\u0105 i osi\u0105gni\u0119ciem wy\u017cszej jako\u015bci d\u017awi\u0119ku. Referencyjna implementacja kodu napisana jest w C++ i jest rozpowszechniana na licencji Apache 2.0. <\/p>\n
Pod wzgl\u0119dem jako\u015bci przesy\u0142anych danych g\u0142osowych przy niskich pr\u0119dko\u015bciach Lyra znacznie przewy\u017csza tradycyjne kodeki, kt\u00f3re wykorzystuj\u0105 metody cyfrowego przetwarzania sygna\u0142\u00f3w. Aby osi\u0105gn\u0105\u0107 wysok\u0105 jako\u015b\u0107 przesy\u0142ania g\u0142osu w warunkach ograniczonej ilo\u015bci przesy\u0142anych informacji, opr\u00f3cz standardowych metod kompresji d\u017awi\u0119ku i przetwarzania sygna\u0142\u00f3w, w Lyra zastosowano model mowy oparty na systemie uczenia maszynowego, kt\u00f3ry pozwala odtworzy\u0107 brakuj\u0105ce informacje na podstawie typowych cech mowy. <\/p>\n
Kodek sk\u0142ada si\u0119 z kodera i dekodera. Algorytm dzia\u0142ania kodera sprowadza si\u0119 do wyodr\u0119bniania parametr\u00f3w danych g\u0142osowych co 20 milisekund, ich kompresji i przesy\u0142ania do odbiorcy przez sie\u0107 z bitrate'em od 3,2 kbps do 9,2 kbps. Po stronie odbiorcy dekoder wykorzystuje generatywny model do odtworzenia pierwotnego sygna\u0142u g\u0142osowego na podstawie przekazanych parametr\u00f3w d\u017awi\u0119kowych, kt\u00f3re obejmuj\u0105 logarytmiczne mel-spektrogramy uwzgl\u0119dniaj\u0105ce cechy energii mowy w r\u00f3\u017cnych pasmach cz\u0119stotliwo\u015bci i przygotowane z uwzgl\u0119dnieniem modelu postrzegania s\u0142uchu przez cz\u0142owieka. <\/p>\n
W Lyra V2 zastosowano nowy model generatywny oparty na konwolucyjnej sieci neuronowej SoundStream, kt\u00f3ry charakteryzuje si\u0119 niskimi wymaganiami w zakresie zasob\u00f3w obliczeniowych, co pozwala na dekodowanie w czasie rzeczywistym nawet na s\u0142abszych systemach. Model u\u017cywany do generacji d\u017awi\u0119ku by\u0142 szkolony na podstawie kilku tysi\u0119cy godzin nagra\u0144 g\u0142osowych w ponad 90 j\u0119zykach. Do dzia\u0142ania modelu u\u017cywany jest TensorFlow Lite. Wydajno\u015b\u0107 oferowanej implementacji jest wystarczaj\u0105ca do kodowania i dekodowania mowy na smartfonach z ni\u017cszej p\u00f3\u0142ki cenowej. <\/p>\n
Opr\u00f3cz wykorzystania innego modelu generatywnego, nowa wersja wyr\u00f3\u017cnia si\u0119 tak\u017ce w\u0142\u0105czeniem w architektur\u0119 kodeka element\u00f3w z kwantyzatorem RVQ (Residual Vector Quantizer), wykonywanym po stronie nadawcy przed przes\u0142aniem danych, a po stronie odbiorcy po odebraniu danych. Kwantyzator przekszta\u0142ca parametry wydawane przez kodek na zestawy pakiet\u00f3w, koduj\u0105c informacje w oparciu o wybrany bitrate. W celu zapewnienia r\u00f3\u017cnych poziom\u00f3w jako\u015bci przewidziano kwantyzatory dla trzech bitrate'\u00f3w (3,2 kps, 6 kbps i 9,2 kbps); im wy\u017cszy bitrate, tym lepsza jako\u015b\u0107, ale wy\u017csze wymagania dotycz\u0105ce przepustowo\u015bci.
<\/center> <\/p>\n
Nowa architektura pozwoli\u0142a na obni\u017cenie op\u00f3\u017anie\u0144 sygna\u0142u z 100 do 20 milisekund. Dla por\u00f3wnania, kodek Opus dla WebRTC wykaza\u0142 op\u00f3\u017anienia wynosz\u0105ce 26,5 ms, 46,5 ms i 66,5 ms przy testowanych bitrate'ach. Zr\u00f3wnolegle znacz\u0105co zwi\u0119kszy\u0142a si\u0119 wydajno\u015b\u0107 kodera i dekodera \u2014 w por\u00f3wnaniu z poprzedni\u0105 wersj\u0105 zauwa\u017cono przyspieszenie do 5 razy. Na przyk\u0142ad, na smartfonie Pixel 6 Pro nowy kodek wykonuje kodowanie i dekodowanie 20-milisekundowego pr\u00f3bki w czasie 0,57 ms, co jest 35 razy szybsze ni\u017c wymagane do przesy\u0142ania w czasie rzeczywistym. <\/p>\n
![\"Google](\"\/wp-content\/uploads\/2022\/10\/54943fd2b2c5c2d008c8c35e462f4a4b.jpg\")
<\/center> <\/p>\n