Společnost Google představila audiokodek Lyra V2, který využívá metody strojového učení k dosažení maximální kvality přenosu řeči při použití velmi pomalých komunikačních kanálů. Nová verze se vyznačuje přechodem na novou architekturu neuronové sítě, podporou dalších platforem, rozšířenými možnostmi řízení bitrate, zvýšením výkonu a dosažením vyšší kvality zvuku. Referenční implementace kódu je napsána v C++ a šíří se pod licencí Apache 2.0.
Z hlediska kvality přenášených hlasových dat při nízkých rychlostech Lyra výrazně překonává tradiční kodeky, které používají metody digitálního zpracování signálů. Pro dosažení vysoké kvality přenosu hlasu za podmínek omezeného objemu přenášených informací, kromě běžných metod komprese zvuku a transformace signálů, Lyra používá hlasový model založený na systému strojového učení, který umožňuje rekonstrukci chybějících informací na základě typických charakteristik řeči.
Kodek zahrnuje kodér a dekodér. Algoritmus fungování kodéru spočívá v extrakci parametrů hlasových dat každých 20 milisekund, jejich kompresi a předání příjemci přes síť s bitrate od 3,2 kbps do 9,2 kbps. Na straně příjemce dekodér používá generativní model k rekonstrukci původního řečového signálu na základě přenesených zvukových parametrů, které zahrnují logaritmické mel-spektrogramy zohledňující charakteristiky energie řeči v různých frekvenčních pásmech a připravené s ohledem na model lidského sluchového vnímání.
V Lyra V2 byla využita nová generativní model na bázi konvoluční neuronové sítě SoundStream, která se vyznačuje nízkými nároky na výpočetní zdroje, což umožňuje dekódování v reálném čase i na slabších systémech. Model použitý pro generaci zvuku byl vyškolen pomocí několika tisíc hodin záznamů hlasů ve více než 90 jazycích. Pro provádění modelu se využívá TensorFlow Lite. Výkon navržené implementace je dostatečný pro kódování a dekódování řeči na smartphonech nižší cenové kategorie.
Kromě využití odlišného generativního modelu je nová verze také zajímavá zahrnutím v architektuře kodeku článků s kvantizátorem RVQ (Residual Vector Quantizer), který se provádí na straně odesílatele před přenosem dat a na straně příjemce po přijetí dat. Kvantizátor převádí parametry vydávané kodekem na soubory paketů, kódováním informací podle zvoleného bitratu. Pro zajištění různé úrovně kvality jsou k dispozici kvantizátory pro tři bitraty (3,2 kps, 6 kbps a 9,2 kbps), čím vyšší bitrate, tím lepší kvalita, ale vyšší požadavky na šířku pásma.
Nová architektura umožnila snížit zpoždění přenosu signálu z 100 na 20 milisekund. Pro srovnání kodek Opus pro WebRTC prokázal při testovaných bitrates zpoždění 26,5 ms, 46,5 ms a 66,5 ms. Také došlo k výraznému nárůstu výkonu kodéru a dekodéru — v porovnání s předchozí verzí je zaznamenáno zrychlení až 5x. Například na smartphonu Pixel 6 Pro nový kodek provádí kódování a dekódování 20 milisekundového vzorku za 0,57 ms, což je 35krát rychlejší, než je nutné pro přenos v reálném čase.
Kromě výkonu se podařilo dosáhnout i zvýšení kvality obnovy zvuku — na MUSHRA škále odpovídá kvalita řeči na bitrates 3,2 kbps, 6 kbps a 9,2 kbps při použití kodeku Lyra V2 bitrate 10 kbps, 13 kbps a 14 kbps při použití kodeku Opus.
Zdroj: opennet.ru
