Google ua fa'alauiloa le Lyra V2 audio codec, lea e fa'aogaina ai masini e a'oa'oina ai auala e maua ai le maualuga o le leo i luga o ala feso'ota'iga telegese. O le lomiga fou o loʻo faʻaalia ai se suiga i se fausaga fou o fesoʻotaʻiga neural, lagolago mo faʻaopoopoga faʻavae, faʻaleleia le pulea o le bitrate, faʻaleleia o faʻatinoga ma le maualuga o le leo. O le faʻatinoga o faʻamatalaga faʻamaonia o loʻo tusia i le C ++ ma tufatufaina i lalo o le laisene Apache 2.0.
E tusa ai ma le tulaga lelei o faʻamatalaga leo e tuʻuina atu i le maualalo o le saoasaoa, e sili atu le maualuga o Lyra nai lo codecs masani e faʻaogaina metotia faʻailoga numera. Ina ia mafai ona ausia le maualuga o le leo o le leo i tulaga o se aofaiga faatapulaaina o faʻamatalaga faʻasalalau, faʻaopoopo i auala masani o le faʻaogaina o leo ma le faʻaliliuina o faailoilo, e faʻaaogaina e Lyra se faʻataʻitaʻiga tautala e faʻavae i luga o se masini aʻoaʻoga e mafai ai ona e toe faia faʻamatalaga misi. fa'avae i uiga masani o le tautala.
O le codec e aofia ai le encoder ma le decoder. O le algorithm o le encoder o le faʻapipiʻiina lea o faʻamaumauga o faʻamatalaga leo i le 20 milliseconds, faʻapipiʻi ma tuʻuina atu i le tagata e mauaina i luga o le fesoʻotaʻiga ma sina fua mai le 3.2kbps i le 9.2kbps. I le itu e taliaina, e faʻaaogaina e le decoder se faʻataʻitaʻiga faʻavae e toe faʻaleleia ai le uluaʻi faʻailoga tautala e faʻavae i luga o faʻasalalauga leo faʻasalalau, lea e aofia ai spectrograms penisina logarithmic e amanaʻia ai uiga o le malosi o le tautala i laina eseese ma ua saunia e amanaʻia le suʻega suʻega a le tagata. fa'ata'ita'iga.
E fa'aogaina e Lyra V2 se fa'ata'ita'iga fou e fa'avae i luga o le SoundStream convolutional neural network, lea e maualalo le mana'oga fa'akomepiuta, lea e fa'atagaina ai le fa'avasegaina o taimi moni e o'o lava i faiga e maualalo le malosi. O le faʻataʻitaʻiga na faʻaaogaina e gaosia ai le leo ua aʻoaʻoina e faʻaaoga ai le tele o afe itula o leo puʻeina i le silia ma le 90 gagana. TensorFlow Lite e faʻaaogaina e faʻatino ai le faʻataʻitaʻiga. O le faʻatinoga o le faʻatinoga fuafuaina e lava mo le faʻaogaina ma le faʻavasegaina o tautalaga i luga o telefoni feaveaʻi o tau maualalo.
I le faaopoopo atu i le faʻaaogaina o se faʻataʻitaʻiga faʻatupuina ese, o le lomiga fou e lauiloa foi mo le faʻaogaina o fesoʻotaʻiga ma le RVQ (Residual Vector Quantizer) quantizer i le codec architecture, lea e faia i luga o le itu na auina atu aʻo leʻi faʻasalalau faʻamatalaga, ma luga o le itu e mauaina. ina ua uma ona maua faamatalaga. E fa'aliliu e le quantizer ia tapula'a e tu'uina atu e le codec i seti o afifi, fa'ailoga fa'amatalaga e fa'atatau i le bitrate ua filifilia. Ina ia mautinoa tulaga eseese o le lelei, quantizers e tuʻuina atu mo le tolu bit rates (3.2 kps, 6 kbps ma 9.2 kbps), o le maualuga o le bit rate, sili atu le lelei, ae o le maualuga o le bandwidth manaʻomia.
O le fausaga fou ua faʻaitiitia ai faʻatuai faʻasalalau mai le 100 i le 20 milliseconds. Mo faʻatusatusaga, o le Opus codec mo WebRTC na faʻaalia le tuai o 26.5ms, 46.5ms ma 66.5ms i le faʻataʻitaʻiina o bitrates. O le faʻatinoga o le encoder ma le decoder ua faʻateleina foi - faʻatusatusa i le lomiga muamua, o loʻo i ai se faʻavavevave e oʻo atu i le 5 taimi. Mo se faʻataʻitaʻiga, i luga o le Pixel 6 Pro smartphone, o le codec fou e faʻapipiʻi ma faʻavasega se faʻataʻitaʻiga 20-ms i le 0.57 ms, lea e 35 taimi sili atu nai lo le manaʻomia mo le faʻasalalau taimi moni.
I le faʻaopoopoga i le faʻatinoga, na mafai foi ona matou faʻaleleia atili le lelei o le toe faʻaleleia o le leo - e tusa ai ma le fua MUSHRA, o le lelei o le tautala i fua faʻatatau o le 3.2 kbps, 6 kbps ma le 9.2 kbps pe a faʻaaogaina le codec Lyra V2 e fetaui ma fua faʻatatau o le 10. kbps, 13 kbps ma le 14 kbps pe a fa'aogaina le codec Opus.
puna: opennet.ru
