Google parantos ngenalkeun codec audio énggal, Lyra, dioptimalkeun pikeun ngahontal kualitas sora anu maksimal sanajan nganggo saluran komunikasi anu lambat pisan. Kodeu palaksanaan Lyra ditulis dina C ++ tur muka dina Apache 2.0 lisénsi, tapi di antara kagumantungan diperlukeun pikeun operasi aya perpustakaan proprietary libsparse_inference.so kalawan palaksanaan kernel pikeun itungan matematik. Perhatikeun yén perpustakaan proprietary samentara - dina mangsa nu bakal datang Google janji pikeun ngembangkeun hiji ngagantian kabuka sarta nyadiakeun rojongan pikeun sagala rupa platform.
Dina watesan kualitas data sora dikirimkeun dina speeds low, Lyra nyata punjul ti codecs tradisional nu ngagunakeun métode processing sinyal digital. Pikeun ngahontal transmisi sora kualitas luhur dina kaayaan jumlah kawates informasi dikirimkeun, sajaba métode konvensional komprési audio jeung konversi sinyal, Lyra ngagunakeun modél ucapan dumasar kana sistem learning mesin, nu ngidinan Anjeun pikeun nyieun deui informasi leungit dumasar kana. ciri ucapan has. Modél anu digunakeun pikeun ngahasilkeun sora dilatih ngagunakeun sababaraha rébu jam rekaman sora dina leuwih ti 70 basa.
Codec ngawengku hiji encoder jeung decoder a. Algoritma encoder nuju ka nimba parameter data sora unggal 40 milidetik, ngompresana, sareng ngirimkeunana ka panarima ngaliwatan jaringan. Saluran komunikasi kalayan laju 3 kilobit per detik cekap pikeun pangiriman data. Parameter audio anu diekstrak kalebet spéktrogram logaritmik mel anu tumut kana karakteristik énergi ucapan dina rentang frekuensi anu béda-béda sareng disiapkeun kalayan tumut kana modél persépsi auditory manusa.
Dekoder ngagunakeun modél generatif anu, dumasar kana parameter audio anu dikirimkeun, nyiptakeun deui sinyal ucapan. Pikeun ngurangan pajeulitna itungan dipaké modél lightweight dumasar kana jaringan saraf kumat, nu mangrupakeun varian model sintésis ucapan WaveRNN, nu ngagunakeun frékuénsi sampling handap, tapi ngahasilkeun sababaraha sinyal dina paralel dina rentang frékuénsi béda. Sinyal anu dihasilkeun teras ditumpangkeun pikeun ngahasilkeun sinyal kaluaran tunggal anu cocog sareng laju sampling anu ditangtukeun.
Parentah prosesor khusus anu aya dina prosesor ARM 64-bit ogé dianggo pikeun akselerasi. Hasilna, sanajan ngagunakeun mesin learning, Lyra codec bisa dipaké pikeun real-time encoding ucapan jeung decoding dina smartphone pertengahan rentang, nunjukkeun latency transmisi sinyal 90 milidetik.
sumber: opennet.ru