Google har lanserat ljudkodeken Lyra V2, som använder maskininlärningsmetoder för att uppnå maximal talöverföringskvalitet över mycket långsamma kommunikationskanaler. Den nya versionen kännetecknas av en övergång till en ny nätverksarkitektur, stöd för fler plattformar, utökade möjligheter till bitratestyrning, förbättrad prestanda och en högre ljudkvalitet. Den referensimplementation av koden är skriven i C++ och distribueras under Apache 2.0-licensen.
När det gäller kvaliteten på överförda röstdata vid låga hastigheter överträffar Lyra avsevärt traditionella kodekar som använder digital signalbehandling. För att uppnå hög ljudöverföringskvalitet i situationer med begränsad dataöverföring använder Lyra, förutom vanliga ljudkomprimeringsmetoder och signaltransformering, en röstmodell baserad på maskininlärningssystem, som gör det möjligt att återskapa saknad information baserat på typiska röstkarakteristika.
Kodeken innehåller en kodare och en avkodare. Kodarens arbetsalgoritm går ut på att extrahera röstdata parametrar var 20:e millisekund, komprimera dem och överföra dem till mottagaren via nätverket med en bitrat från 3,2 kbps till 9,2 kbps. På mottagarens sida använder avkodaren en generativ modell för att återskapa den ursprungliga tal-signalen utifrån de överförda ljudparametrarna, som inkluderar logaritmiska mel-spektrogram som tar hänsyn till röstens energikarakteristik i olika frekvensområden och är förberedda med hänsyn till den mänskliga hörselns uppfattningsmodell.
I Lyra V2 används en ny generativ modell baserad på konvolutionella neuronnätet SoundStream, som har låga krav på beräkningsresurser, vilket möjliggör realtidsavkodning även på lågpresterande system. Den modell som används för ljudgenerering har tränats med hjälp av flera tusen timmar av inspelningar av röster på mer än 90 språk. TensorFlow Lite används för att köra modellen. Prestandan för den föreslagna implementationen är tillräcklig för att koda och avkoda tal på budgetsmartphones.
Förutom att använda en annan generativ modell är den nya versionen också anmärkningsvärd för att den inkluderar en kodarkitektur med RVQ (Residual Vector Quantizer) kvantiserare, som utförs på avsändarsidan före sändning av data, och på mottagarsidan efter mottagning av data. Kvantiseraren omvandlar de parametrar som kodaren genererar till paketuppsättningar, där informationen kodas med hänsyn till den valda bithastigheten. För att säkerställa olika kvalitetsnivåer finns kvantiserare för tre bithastigheter (3.2 kps, 6 kbps och 9.2 kbps); ju högre bithastighet, desto bättre kvalitet, men också högre krav på bandbredd.
Den nya arkitekturen har gjort det möjligt att minska signalöverföringens latens från 100 till 20 millisekunder. Jämförande visade Opus-kodaren för WebRTC latenser på testade bithastigheter på 26.5 ms, 46.5 ms och 66.5 ms. Prestandan för både kodaren och dekodern har också ökat avsevärt — jämfört med föregående version rapporteras hastighetsökningar på upp till 5 gånger. Till exempel, på en Pixel 6 Pro-smartphone utför den nya kodaren kodning och dekodning av en 20-millisecond sampling på 0.57 ms, vilket är 35 gånger snabbare än vad som krävs för realtidsöverföring.
Förutom prestandan har det också uppnåtts en ökning av ljudåterställningens kvalitet — på MUSHRA-skalan motsvarar talets kvalitet vid bithastigheterna 3.2 kbps, 6 kbps och 9.2 kbps vid användning av Lyra V2-kodaren bithastigheterna 10 kbps, 13 kbps och 14 kbps vid användning av Opus-kodaren.
Källa: opennet.ru
