Podjetje Google je predstavilo nov avdikodek Lyra, optimiziran za dosego maksimalne kakovosti prenosa govora, tudi pri zelo počasnih komunikacijskih kanalih. Koda za izvajanje Lyre je napisana v C++ in je odprta pod licenco Apache 2.0, vendar med potrebnimi odvisnostmi za delovanje obstaja lastniška knjižnica libsparse_inference.so, ki implementira jedro za matematična računalna opravila. Opaženo je, da je lastniška knjižnica začasna – Google obeta razvoj odprte zamenjave v prihodnosti ter podporo različnih platform.
Po kakovosti prenesenih glasovnih podatkov pri nizkih hitrostih Lyra močno presega tradicionalne kodeke, ki uporabljajo metode digitalne obdelave signalov. Za dosego visoke kakovosti prenosa glasu v pogojih omejenega obsega prenesenih informacij, poleg običajnih metod stiskanja zvoka in pretvorbe signalov, Lyra uporablja govorno modeliranje z vgrajenim sistemom strojnega učenja, ki omogoča obnovo manjkajočih informacij na podlagi tipičnih značilnosti govora. Model, uporabljen za generiranje zvoka, je bil usposobljen z uporabo več tisoč ur posnetkov glasov v več kot 70 jezikih.
Kodek vključuje kodirnik in dekodirnik. Algoritem delovanja kodirnika se zmanjšuje na ekstrakcijo parametrov glasovnih podatkov vsakih 40 milisekund, njihovo stiskanje in prenos prejemniku po omrežju. Za prenos podatkov zadostuje komunikacijski kanal s hitrostjo 3 kilobite na sekundo. Izvlečeni zvočni parametri vključujejo logaritemske mel-spektrograma, ki upoštevajo značilnosti energije govora v različnih frekvenčnih pasovih in so pripravljeni ob upoštevanju modela človeškega sluha.
V decodirniku se uporablja generativni model, ki na podlagi posredovanih zvočnih parametrov ponovno ustvari signal z govorom. Za zmanjšanje kompleksnosti izračunov je bila uporabljena lahka modela, ki temelji na rekurentni nevronski mreži, ki predstavlja različico modela sinteze govora WaveRNN, pri čemer se uporablja nižja frekvenca vzorčenja, vendar se generira hkrati več signalov v različnih frekvenčnih območjih. Pridobljeni signali se nato prekrivajo za pridobitev enotnega izhodnega signala, ki ustreza zahtevani frekvenci diskretizacije.
Za pospešitev so bile uporabljene tudi specializirane procesorske instrukcije, ki so na voljo v 64-bitnih procesorjih ARM. Tako lahko kljub uporabi strojnega učenja kodek Lyra uporablja za kodiranje in dekodiranje govora v realnem času na pametnih telefonih srednjega cenovnega razreda, pri čemer se prikazuje zakasnitev prenosa signala na ravni 90 milisekund.
Izvor: opennet.ru
