Tvrtka Google je predstavila novi audiokodek Lyra, optimiziran za postizanje maksimalne kvalitete prijenosa govora čak i pri korištenju vrlo sporih komunikacijskih kanala. Implementacija koda za Lyra napisana je na C++ i otvorena je pod Apache 2.0 licencom, ali među potrebnim ovisnostima nalazi se proprietarna biblioteka libsparse_inference.so s implementacijom jezgre za matematička izračunavanja. Napominje se da je proprietarna biblioteka privremena — u budućnosti Google obećava razviti otvorenu zamjenu i osigurati podršku za različite platforme.
U kvaliteti prijenosa glasovnih podataka na niskim brzinama, Lyra znatno nadmašuje tradicionalne kodeke koji koriste metode digitalne obrade signala. Kako bi se postigla visoka kvaliteta prijenosa govora u uvjetima ograničenog volumena prenesenih informacija, pored uobičajenih metoda kompresije zvuka i pretvorbe signala, u Lyra se koristi jezični model baziran na sustavu strojno učenja, koji omogućuje rekonstrukciju nedostajući informacija na temelju tipičnih karakteristika govora. Model korišten za generiranje zvuka obučen je koristeći nekoliko tisuća sati snimaka glasova na više od 70 jezika.
Kodek uključuje kodera i dekoder. Algoritam rada kodera svodi se na izvlačenje parametara glasovnih podataka svakih 40 milisekundi, njihovu kompresiju i prijenos primatelju putem mreže. Za prijenos podataka dovoljna je komunikacijska veza brzine 3 kilobita u sekundi. Izvađeni zvučni parametri uključuju logaritamske mel-spektrograma, koji uzimaju u obzir karakteristike energije govora u različitim frekvencijskim rasponima i pripremljeni su uzimajući u obzir model ljudskog sluha.
U dekoderu se koristi generativni model koji na temelju primljenih zvučnih parametara rekreira signal sa govorom. Kako bi se smanjila složenost izračuna, primijenjen je lagani model temeljen na rekurentnoj neuronskoj mreži, koja je varijanta modela sinteze govora WaveRNN, u kojem se koristi niža frekvencija uzorkovanja, ali se paralelno generira nekoliko signala u različitim frekvencijskim opsezima. Dobiveni signali se potom preklapaju kako bi se dobio jedinstveni izlazni signal koji odgovara zadanoj frekvenciji uzorkovanja.
Za ubrzanje su također primijenjene specijalizirane procesorske instrukcije dostupne na 64-bitnim ARM procesorima. Kao rezultat, unatoč upotrebi strojnog učenja, codec Lyra može se koristiti za kodiranje i dekodiranje govora u stvarnom vremenu na pametnim telefonima srednje cjenovne kategorije, pokazujući kašnjenje prijenosa signala na razini od 90 milisekundi.
Izvor: opennet.ru
