A Google bemutatott egy új Lyra audio kodeket, amelyet a beszédátvitel maximális minőségének elérésére optimalizáltak, még nagyon lassú kapcsolatok használata esetén is. A Lyra megvalósítása C++ nyelven készült és Apache 2.0 licenc alatt nyílt, de az működéséhez szükséges függőségek között szerepel egy lícensen elérhető libsparse_inference.so könyvtár, amely a matematikai számításokhoz szükséges magot valósítja meg. Megjegyzik, hogy a propritárius könyvtár ideiglenes — a Google ígérete szerint később nyílt alternatívát fejlesztenek ki, és támogatni fogják a különböző platformokat.
A Lyra a hangadatok átadásának minőségében alacsony sebességek mellett jelentősen meghaladja a hagyományos kodekeket, amelyek digitális jelkezelési módszereket használnak. Annak érdekében, hogy a hangátadás magas minőségű legyen korlátozott információátvitel mellett, a hang tömörítésével és a jelek átalakításával kapcsolatos hagyományos módszerek mellett a Lyra egy gépi tanulás alapú beszédmodell alkalmazását is bevezetett, amely lehetővé teszi a hiányzó információk helyreállítását a beszéd tipikus jellemzői alapján. A hanggenerálásra használt modellt több ezer órányi, több mint 70 nyelven rögzített beszédhanggal tanították.
A kodek tartalmaz egy kódolót és egy dekódolót. A kódoló működési algoritmusa a hangadatok paramétereinek 40 millisekundumonkénti kinyerésére, tömörítésére és a címzettnek hálózaton keresztüli továbbítására épül. Az adatok továbbításához elegendő egy 3 kilobit/másodperc sebességű kapcsolatra. A kinyert hangparaméterek közé tartoznak a logaritmikus mel-spektrumok, amelyek figyelembe veszik a beszédenergia jellemzőit különböző frekvenciatartományokban, és az emberi hallásérzékelés modelljének figyelembevételével készültek.
A dekóder generatív modellt használ, amely az átadott hangparaméterek alapján reprodukálja a beszédjelet. A számítások egyszerűsítése érdekében egy könnyű modellt alkalmaznak, amely egy visszacsatolt ideghálózaton alapul, a WaveRNN beszédszintézis modell változata, amely alacsonyabb mintavételi frekvenciát használ, de párhuzamosan több jelet generál különböző frekvenciatartományokban. Az így kapott jelek utána egybeolvadnak, hogy egyetlen kimeneti jelet kapjunk, amely megfelel a megadott mintavételi frekvenciának.
A gyorsítás érdekében speciális processzor utasításokat is alkalmaznak, amelyek elérhetők a 64 bites ARM processzorokban. Ennek köszönhetően, a gépi tanulás alkalmazása ellenére, a Lyra kodek valós időben használható beszéd kódolására és dekódolására középkategóriás okostelefonokon, amely körülbelül 90 milliszekundumos jelátviteli késleltetést mutat.
Forrás: opennet.ru
