Google har lanserat en ny ljudkodare, Lyra, som är optimerad för att åstadkomma maximal ljudkvalitet vid röstöverföring, även över mycket långsamma kommunikationskanaler. Implementeringen av Lyra är skriven i C++ och släppt under Apache 2.0-licensen, men bland de nödvändiga beroenden som krävs för att få den att fungera finns en proprietär bibliotek, libsparse_inference.so, som innehåller en kärna för matematiska beräkningar. Det påpekas att den proprietära biblioteket är tillfällig — Google lovar att i framtiden utveckla en öppen ersättning och stödja olika plattformar.
När det gäller kvaliteten på den överförda röstdata vid låga hastigheter överträffar Lyra avsevärt traditionella kodare som använder metoder för digital signalbehandling. För att uppnå hög ljudkvalitet under förhållanden med begränsad överföringsinformation använder Lyra, förutom vanliga ljudkomprimeringsmetoder och signalbehandling, en talmodell baserad på maskininlärning, vilket gör det möjligt att återskapa saknad information utifrån typiska egenskaper hos rösten. Modellen som används för ljudgenerering har tränats med hjälp av flera tusen timmar av röstinspelningar på mer än 70 språk.
Kodaren omfattar en encoder och en decoder. Algoritmen för kodarens arbete går ut på att extrahera parametrar för röstdata var 40:e millisekund, komprimera dem och överföra dem till mottagaren via nätverket. För att överföra data räcker en kommunikationskanal med en hastighet av 3 kilobit per sekund. De extraherade ljudparametrarna inkluderar logaritmiska mel-spektrogram som beaktar energiegenskaperna hos rösten i olika frekvensområden och förbereds med hänsyn till modellen för mänsklig hörseluppfattning.
I decodern använder en generativ modell som återskapar signalspråk baserat på de överförda ljudparametrarna. För att minska beräkningskomplexiteten har en lätt modell baserad på en återkommande neuronnätverk använts, vilket är en variant av WaveRNN-modellen för talsyntes, där en lägre samplingfrekvens används men flera signaler genereras parallellt i olika frekvensområden. De erhållna signalerna kombineras sedan för att få en enhetlig utgångssignal som motsvarar den angivna samplingsfrekvensen.
För att påskynda processen har även specialiserade processorinstruktioner som finns i 64-bits ARM-processorer använts. Trots användningen av maskininlärning kan Lyra-codec användas för att koda och avkoda tal i realtid på smartphones i medelprisklassen, med en signalöverföringsfördröjning på 90 millisekunder.
Källa: opennet.ru
