Virksomheden Google har præsenteret den nye lydkodek Lyra, der er optimeret til at opnå maksimal kvalitet i taleoverførsel, selv ved brug af meget langsomme forbindelser. Implementeringskoden af Lyra er skrevet i C++ og er åbent under Apache 2.0 licens, men blandt de nødvendige afhængigheder er der en proprietær biblioteksfil, libsparse_inference.so, som indeholder kernefunktionalitet til matematiske beregninger. Det bemærkes, at den proprietære biblioteksfil er midlertidig — senere lover Google at udvikle en åben erstatning og sikre support for forskellige platforme.
I forhold til kvaliteten af taleoverførsel ved lave hastigheder overgår Lyra væsentligt traditionelle kodekder, der anvender metoder inden for digital signalbehandling. For at opnå høj kvalitet i taleoverførsel under begrænset båndbredde anvendes foruden almindelige metoder til lydkomprimering og signalbehandling en tale model baseret på maskinlæring, der muliggør rekonstruktion af manglende information ud fra typiske taleegenskaber. Modellen, der anvendes til lydgenerering, er trænet ved hjælp af flere tusinde timers optagelser af stemmer på mere end 70 sprog.
Kodeken omfatter en encoder og en decoder. Encoderens algoritme fokuserer på at udtrække parametre fra taleoplysninger hver 40 millisekunder, komprimere dem og sende dem til modtageren via nettet. For at overføre data er der behov for en forbindelse med en hastighed på 3 kilobit per sekund. De udtrukne lydparametre inkluderer logaritmiske mel-spektrogrammer, der tager højde for energikvalitet i forskellige frekvensområder og er udarbejdet med tanke på menneskelig høresans.
Decoderen anvender en generativ model, der rekonstruerer talesignalet baseret på de indsendte lydparametre. For at mindske beregningskompleksiteten er der anvendt en letvægtsmodel baseret på en rekursiv neuralt netværk, som er en variant af WaveRNN talesynthesemodellen, der arbejder med en lavere samplefrekvens og genererer flere signaler parallelt i forskellige frekvensområder. De genererede signaler lægges derefter sammen for at skabe et enkelt udgangssignal, der svarer til den angivne prøvefrekvens.
For at fremskynde processen er der også anvendt specialiserede processorinstruktioner, der er tilgængelige i 64-bit ARM-processorer. Som et resultat kan Lyra-codec, trods brugen af maskinlæring, anvendes til realtids kodning og dekodning af tale på smartphones i mellemklasseprisen og viser en transmissionsforsinkelse på 90 millisekunder.
Kilde: opennet.ru
