Společnost Google představila nový audiokodek Lyra, optimalizovaný pro dosažení maximální kvality přenosu řeči i při využití velmi pomalých komunikačních kanálů. Kód Lyra je napsán v C++ a je otevřen pod licencí Apache 2.0, avšak mezi nezbytnými závislostmi pro jeho fungování se nachází proprietární knihovna libsparse_inference.so, která implementuje jádro pro matematické výpočty. Bylo uvedeno, že proprietární knihovna je dočasná – Google slibuje, že v budoucnu vyvine otevřenou alternativu a zajistí podporu různých platforem.
Pokud jde o kvalitu přenášených hlasových dat při nízkých rychlostech, Lyra výrazně převyšuje tradiční kodeky, které využívají metody digitálního zpracování signálů. Pro dosažení vysoké kvality přenosu hlasu při omezeném objemu přenášených informací, kromě běžných metod komprese zvuku a převodu signálů, Lyra využívá řečový model založený na systému strojového učení, který umožňuje rekonstruovat chybějící informace na základě typických rysů řeči. Model použitý pro generaci zvuku byl trénován na několika tisících hodinách nahrávek hlasů ve více než 70 jazycích.
Kodek obsahuje encoder a decoder. Algoritmus fungování encodera spočívá v extrakci parametrů hlasových dat každých 40 milisekund, jejich kompresi a přenosu příjemci po síti. Pro přenos dat stačí komunikační kanál s rychlostí 3 kilobity za sekundu. Extrahované zvukové parametry zahrnují logaritmické mel-spektrogramy, které zohledňují charakteristiky energie řeči v různých frekvenčních pásmech a jsou připraveny s ohledem na model lidského sluchového vnímání.
V dekodéru se používá generativní model, který na základě předaných zvukových parametrů rekonstruuje signál s řečí. Pro snížení složitosti výpočtů byla aplikována lehká model na základě rekurentní neuronové sítě, což je varianta modelu syntézy řeči WaveRNN, ve které se používá nižší vzorkovací frekvence, ale paralelně se generuje několik signálů v různých frekvenčních pásmech. Získané signály se poté překrývají, aby se získal jediný výstupní signál odpovídající požadované frekvenci vzorkování.
Pro zrychlení byly také využity specializované procesorové instrukce dostupné v 64bitových procesorech ARM. Nakonec, i přes použití strojového učení, může kodek Lyra sloužit k kódování a dekódování řeči v reálném čase na smartphonech střední cenové kategorie, přičemž ukazuje zpoždění přenosu signálu na úrovni 90 milisekund.
Zdroj: opennet.ru
