Google wis ngenalake codec audio anyar, Lyra, sing dioptimalake kanggo entuk kualitas swara maksimal sanajan nggunakake saluran komunikasi sing alon banget. Kode implementasine Lyra ditulis ing C ++ lan mbukak ing lisensi Apache 2.0, nanging ing antarane dependensi sing dibutuhake kanggo operasi ana perpustakaan kepemilikan libsparse_inference.so kanthi implementasi kernel kanggo petungan matematika. Kacathet yen perpustakaan kepemilikan sementara - ing mangsa ngarep Google janji bakal ngembangake pengganti sing mbukak lan menehi dhukungan kanggo macem-macem platform.
Ing babagan kualitas data swara sing dikirim kanthi kecepatan rendah, Lyra luwih unggul tinimbang codec tradisional sing nggunakake metode pangolahan sinyal digital. Kanggo entuk transmisi swara sing berkualitas tinggi ing kahanan informasi sing ditularake kanthi winates, saliyane metode kompresi audio lan konversi sinyal konvensional, Lyra nggunakake model wicara adhedhasar sistem pembelajaran mesin, sing ngidini sampeyan nggawe maneh informasi sing ilang adhedhasar ciri khas wicara. Model sing digunakake kanggo ngasilake swara dilatih nggunakake sawetara ewu jam rekaman swara ing luwih saka 70 basa.
Codec kalebu encoder lan decoder. Algoritma encoder diwiwiti kanggo ngekstrak paramèter data swara saben 40 milidetik, ngompres, lan ngirim menyang panampa liwat jaringan. Saluran komunikasi kanthi kacepetan 3 kilobit per detik cukup kanggo transmisi data. Parameter audio sing diekstrak kalebu spektrogram mel logaritmik sing nganggep karakteristik energi wicara ing rentang frekuensi sing beda-beda lan disiapake kanthi njupuk model persepsi pendengaran manungsa.
Dekoder nggunakake model generatif sing, adhedhasar paramèter audio sing dikirim, nggawé ulang sinyal wicara. Kanggo nyuda kerumitan kalkulasi, model entheng adhedhasar jaringan saraf ambalan digunakake, yaiku varian saka model sintesis wicara WaveRNN, sing nggunakake frekuensi sampling sing luwih murah, nanging ngasilake sawetara sinyal kanthi paralel ing rentang frekuensi sing beda. Sinyal sing diasilake banjur ditumpangake kanggo ngasilake sinyal output siji sing cocog karo tingkat sampling sing ditemtokake.
Instruksi prosesor khusus sing kasedhiya ing prosesor ARM 64-bit uga digunakake kanggo akselerasi. Akibaté, sanajan nggunakake learning machine, codec Lyra bisa digunakake kanggo enkoding wicara lan dekoding wektu nyata ing smartphone mid-range, nuduhake latensi transmisi sinyal 90 milidetik.
Source: opennet.ru
