Ko te Meta/Facebook (kua rahuitia i roto i te Russian Federation) i whakauruhia he kotēkē ororongo hou, EnCodec, e whakamahi ana i nga tikanga ako miihini hei whakanui ake i te ōwehenga kōpeketanga me te kore e ngaro te kounga. Ka taea te whakamahi i te kotēkē mō te rere ororongo i te wā tūturu me te whakawaehere mo te penapena i muri mai i nga konae. Ko te whakatinanatanga tohutoro EnCodec kua tuhia ki te Python ma te whakamahi i te anga PyTorch me te raihana i raro i te raihana CC BY-NC 4.0 (Creative Commons Attribution-NonCommercial) mo te whakamahi kore-arumoni anake.
E rua nga tauira kua oti te hanga hei tango:
- He tauira whai take e whakamahi ana i te reiti tauira 24 kHz, e tautoko ana i te oro monophonic anake, me te whakangungu i nga raraunga oro kanorau (e tika ana mo te whakawaehere korero). Ka taea te whakamahi i te tauira ki te kohikohi raraunga ororongo mo te tuku i nga reiti moka 1.5, 3, 6, 12 me te 24 kbps.
- He tauira take-kore e whakamahi ana i te reiti tauira o te 48 kHz, e tautoko ana i te ororongo hiko me te whakangungu i runga puoro anake. E tautoko ana te tauira i nga reiti moka 3, 6, 12 me te 24 kbps.
Mo ia tauira, kua whakaritea he tauira reo taapiri, ka taea e koe te whakatutuki i te pikinga nui o te tauwehenga taapiri (tae atu ki te 40%) me te kore e ngaro te kounga. Kaore i rite ki nga kaupapa i whakawhanakehia i mua ma te whakamahi i nga tikanga ako miihini mo te kopiri ororongo, ka taea te whakamahi a EnCodec ehara i te mea mo te kohinga korero anake, engari mo te puoro puoro me te reiti tauira o te 48 kHz, e rite ana ki te taumata o nga CD ororongo. E ai ki nga kaihanga o te kotēkē hou, i te wa e whakawhiti ana me te tere moka o te 64 kbps ka whakaritea ki te whakatakotoranga MP3, i taea e ratou te whakanui ake i te tohu o te kopeke oro ma te tekau nga wa ka mau tonu te taumata o te kounga (hei tauira, ina whakamahi ana. MP3, e hiahiatia ana he bandwidth 64 kbps, mo te tuku me taua kounga o EnCodec he nui te 6 kbps).
Ko te hoahoanga kotēkē i hangaia i runga i te whatunga neural me te hoahoanga "whakawhitiwhiti" me te hangai i runga i nga hononga e wha: encoder, quantizer, decoder and discriminator. Ka tangohia e te encoder nga tawhā o te raraunga reo ka huri ki roto i te awa kapi i te reiti anga iti ake. Ko te quantizer (RVQ, Residual Vector Quantizer) ka huri i te putanga awa e te encoder ki roto i nga huinga o nga paakete, te kopiri i nga korero i runga i te reiti moka kua tohua. Ko te whakaputanga o te ine ine he whakaaturanga whakakopeke o nga raraunga, e tika ana mo te tuku ma te whatunga, te penapena ranei ki te kōpae.
Ka wetewete te wetewaehere i te tohu o te raraunga ka hanga ano i te ngaru tangi taketake. Ka whakapai ake te kaikiri i te kounga o nga tauira kua mahia, me te whakaaro ki te tauira o te tirohanga a te tangata. Ahakoa te taumata o te kounga me te tere moka, ko nga tauira e whakamahia ana mo te whakawaehere me te wetewete he mea wehewehe na te iti o nga whakaritenga rauemi (ka mahia nga tatauranga e tika ana mo te mahi-waahi i runga i te matua CPU kotahi).
Source: opennet.ru