Google tau tshaj tawm lub suab codec tshiab, Lyra, ua kom zoo kom ua tiav lub suab zoo tshaj plaws txawm tias siv cov kev sib txuas lus qeeb heev. Lyra kev siv code yog sau rau hauv C ++ thiab qhib raws li Apache 2.0 daim ntawv tso cai, tab sis ntawm cov kev vam meej uas xav tau rau kev ua haujlwm muaj ib lub tsev qiv ntawv uas muaj libsparse_inference.so nrog rau kev siv kernel rau kev suav lej. Nws tau sau tseg tias lub tsev qiv ntawv muaj tswv yog ib ntus - yav tom ntej Google cog lus tias yuav tsim kev hloov pauv thiab muab kev txhawb nqa rau ntau lub platform.
Nyob rau hauv cov nqe lus ntawm qhov zoo ntawm cov ntaub ntawv xa mus rau lub suab ntawm tsawg speeds, Lyra yog ho superior rau ib txwm codecs uas siv cov teeb liab ua cov txheej txheem. Txhawm rau kom ua tiav lub suab zoo hauv cov xwm txheej ntawm qhov txwv tsis pub tshaj tawm cov ntaub ntawv, ntxiv rau cov txheej txheem ntawm lub suab compression thiab teeb liab hloov dua siab tshiab, Lyra siv cov qauv hais lus raws li lub tshuab kev kawm, uas tso cai rau koj rov tsim cov ntaub ntawv ploj lawm raws li. yam ntxwv hais lus. Tus qauv siv los tsim lub suab tau kawm siv ntau txhiab teev ntawm lub suab kaw hauv ntau dua 70 hom lus.
Lub codec muaj xws li ib tug encoder thiab ib tug decoder. Lub encoder lub algorithm boils mus rau rho tawm suab ntaub ntawv tsis txhua 40 milliseconds, compressing lawv, thiab xa mus rau tus neeg tau txais kev pab nyob rau hauv lub network. Kev sib txuas lus channel nrog qhov ceev ntawm 3 kilobits ib ob yog txaus rau cov ntaub ntawv xa mus. Cov kev rho tawm suab tsis muaj xws li logarithmic mel spectrograms uas coj mus rau hauv tus account lub zog yam ntxwv ntawm kev hais lus nyob rau hauv ntau zaus thiab tau npaj coj mus rau hauv tus account tus qauv ntawm tib neeg auditory xaav.
Tus decoder siv tus qauv tsim tawm uas, raws li cov kab lus sib kis, rov tsim cov teeb liab hais lus. Txhawm rau txo qhov nyuaj ntawm kev suav, tus qauv hnyav raws li qhov rov tshwm sim neural network tau siv, uas yog qhov sib txawv ntawm WaveRNN hais lus synthesis qauv, uas siv cov qauv qis dua, tab sis tsim ntau cov teeb liab nyob rau hauv qhov sib npaug ntawm ntau zaus sib txawv. Cov teeb liab tshwm sim yog tom qab ntawd superimposed los tsim ib qho kev tso zis ib qho teeb liab sib xws rau qhov ntsuas tus lej ntsuas.
Cov lus qhia tshwj xeeb processors muaj nyob rau hauv 64-ntsis ARM processors kuj siv rau acceleration. Raws li qhov tshwm sim, txawm hais tias siv tshuab kev kawm, Lyra codec tuaj yeem siv rau kev hais lus hauv lub sijhawm tiag tiag thiab kev txiav txim siab ntawm cov xov tooj nruab nrab ntawm cov xov tooj smartphones, ua kom pom cov teeb liab xa tawm latency ntawm 90 milliseconds.
Tau qhov twg los: opennet.ru