Tvrtka Google predstavila je audio kodek Lyra V2, koji koristi metode strojne obrade za postizanje maksimalne kvalitete prijenosa govora pri vrlo sporim komunikacijskim kanalima. Nova verzija ističe se prelaskom na novu arhitekturu neuronske mreže, podrškom za dodatne platforme, proširenim mogućnostima upravljanja protokom podataka, povećanjem performansi i postizanjem viših kvaliteta zvuka. Referentna implementacija koda napisana je na C++ i distribuirana je pod Apache 2.0 licencom.
Po kvaliteti prenesenih glasovnih podataka pri niskim brzinama, Lyra značajno nadilazi tradicionalne kodeke koji koriste metode digitalne obrade signala. Za postizanje visoke kvalitete prijenosa glasa u uvjetima ograničenog volumena prenesenih informacija, osim uobičajenih metoda kompresije zvuka i transformacije signala, Lyra koristi jezični model zasnovan na sustavu strojne obrade, koji omogućuje rekonstrukciju nedostajućih informacija na temelju tipičnih karakteristika govora.
Kodek uključuje kodera i dekodera. Algoritam rada kodera svodi se na ekstrakciju parametara glasovnih podataka svakih 20 milisekundi, njihovo komprimiranje i prijenos primatelju preko mreže s protokom podataka od 3.2kbps do 9.2kbps. Na strani primatelja, dekoder koristi generativni model za rekonstrukciju izvornih glasovnih signala na temelju prenesenih zvučnih parametara, koji uključuju logaritamske mel-spektrograma, uzimajući u obzir karakteristike energije govora u različitim frekvencijskim pojasovima, pripremljene s obzirom na model ljudskog slušnog percepcije.
U Lyra V2 korišten je novi generativni model temeljen na konvolucijskoj neuronskoj mreži SoundStream, koja se odlikuje niskim zahtjevima za računalnim resursima, što omogućuje dekodiranje u stvarnom vremenu čak i na slabo opremljenim sustavima. Model korišten za generiranje zvuka treniran je koristeći nekoliko tisuća sati snimaka glasova na više od 90 jezika. Za izvođenje modela koristi se TensorFlow Lite. Performanse predložene implementacije su dovoljne za kodiranje i dekodiranje govora na pametnim telefonima nižih cjenovnih razreda.
Osim korištenja druge generativne metode, nova verzija se također ističe uključivanjem u arhitekturu kodeka sekcija s kvantizatorom RVQ (Residual Vector Quantizer), koji se izvršava na strani pošiljatelja prije prijenosa podataka, a na strani primatelja nakon prijema podataka. Kvantizator pretvara parametre koje isporučuje kodek u skupine paketa, kodirajući informacije u vezi s odabranom brzinom prijenosa. Kako bi se osigurala različita razina kvalitete, predviđeni su kvantizatori za tri brzine prijenosa (3.2 kps, 6 kbps i 9.2 kbps), gdje je veća brzina bolja kvaliteta, ali veći zahtjevi za propusnost.
Nova arhitektura omogućila je smanjenje latencije prijenosa signala s 100 na 20 milisekundi. Za usporedbu, kodek Opus za WebRTC je na testiranim brzinama prijenosa pokazao latencije od 26.5 ms, 46.5 ms i 66.5 ms. Također je značajno poboljšana učinkovitost kodera i dekodera — u usporedbi s prethodnom verzijom zabilježen je porast do 5 puta. Na primjer, na pametnom telefonu Pixel 6 Pro novi kodek izvodi kodiranje i dekodiranje uzorka od 20 milisekundi za 0.57 ms, što je 35 puta brže od potrebnog za prijenos u stvarnom vremenu.
Osim povećanja učinkovitosti, postignuto je i poboljšanje kvalitete obnove zvuka — prema MUSHRA skali, kvaliteta govora pri brzinama prijenosa od 3.2 kbps, 6 kbps i 9.2 kbps uz korištenje kodeka Lyra V2 odgovara brzinama prijenosa od 10 kbps, 13 kbps i 14 kbps uz korištenje kodeka Opus.
Izvor: opennet.ru
