Ua hoʻokomo ʻo Meta/Facebook (kāpae ʻia i ka Russian Federation) i kahi codec leo hou, EnCodec, e hoʻohana ana i nā ʻano aʻo mīkini e hoʻonui ai i ka ratio hoʻoemi me ka nalowale ʻole o ka maikaʻi. Hiki ke hoʻohana ʻia ke codec no ka hoʻoheheʻe ʻana i ka leo i ka manawa maoli a no ka hoʻopili ʻana no ka mālama ʻana i nā faila. Ua kākau ʻia ka hoʻokō kuhikuhi EnCodec ma Python me ka hoʻohana ʻana i ka framework PyTorch a ua laikini ʻia ma lalo o ka laikini CC BY-NC 4.0 (Creative Commons Attribution-NonCommercial) no ka hoʻohana ʻole ʻana i ka ʻoihana wale nō.
Hāʻawi ʻia ʻelua mau hiʻohiʻona mākaukau no ka hoʻoiho ʻana:
- He kumu hoʻohālike e hoʻohana ana i ka 24 kHz sampling rate, kākoʻo wale i ka leo monophonic, a hoʻomaʻamaʻa ʻia ma nā ʻikepili leo like ʻole (kūpono no ka helu ʻōlelo). Hiki ke ho'ohana 'ia ke kŘkohu no ka ho'opili 'ana i ka 'ikepili leo no ka ho'ouna 'ana ma ka lihi iki o 1.5, 3, 6, 12 a me 24 kbps.
- He kumu hoʻohālike kumu ʻole e hoʻohana ana i ka helu sampling o 48 kHz, kākoʻo i nā leo stereo a aʻo ʻia ma ke mele wale nō. Kākoʻo ke kumu hoʻohālike i nā bitrates o 3, 6, 12 a me 24 kbps.
No kēlā me kēia hiʻohiʻona, ua hoʻomākaukau ʻia kahi hiʻohiʻona ʻōlelo hou aʻe, e hiki ai iā ʻoe ke hoʻokō i ka piʻi nui o ka pākuʻi ʻana (a hiki i 40%) me ka nele o ka maikaʻi. ʻAʻole like me nā papahana i kūkulu mua ʻia me ka hoʻohana ʻana i nā ʻano aʻo mīkini no ka hoʻopaʻa leo leo, hiki ke hoʻohana ʻia ʻo EnCodec ʻaʻole wale no ka puʻupuʻu haʻiʻōlelo, akā no ka hoʻopaʻi mele pū me ka helu sampling o 48 kHz, e like me ke kiʻekiʻe o nā CD leo. Wahi a nā mea hoʻomohala o ka codec hou, i ka wā e hoʻouna ai me kahi bitrate o 64 kbps i hoʻohālikelike ʻia i ka format MP3, hiki iā lākou ke hoʻonui i ke kiʻekiʻe o ka hoʻopiʻi leo ma kahi o ʻumi mau manawa ʻoiai e mālama ana i ka pae like o ka maikaʻi (no ka laʻana, i ka wā e hoʻohana ai. ʻO MP3, kahi bandwidth o 64 kbps e koi ʻia, no ka hoʻouna ʻana me kēlā ʻano like ma EnCodec ua lawa ka 6 kbps).
Hoʻokumu ʻia ka hoʻolālā codec ma luna o kahi pūnaewele neural me kahi hoʻolālā "transformer" a ua hoʻokumu ʻia ma nā loulou ʻehā: encoder, quantizer, decoder a discriminator. Wehe ka encoder i nā ʻāpana o ka ʻikepili leo a hoʻololi i ke kahawai i hoʻopaʻa ʻia i kahi helu haʻahaʻa haʻahaʻa. Hoʻololi ka quantizer (RVQ, Residual Vector Quantizer) i ke kahawai i hoʻopuka ʻia e ka encoder i nā pūʻulu o nā ʻeke, e kaomi ana i ka ʻike e pili ana i ka bitrate i koho ʻia. ʻO ka hoʻopuka o ka quantizer kahi hōʻike i hoʻopili ʻia o ka ʻikepili, kūpono no ka hoʻouna ʻana ma luna o kahi pūnaewele a mālama ʻia paha i ka disk.
Hoʻokaʻawale ka decoder i ka hōʻike ʻana o ka ʻikepili a kūkulu hou i ka nalu kani kumu. Hoʻomaikaʻi ka mea hoʻokae i ka maikaʻi o nā laʻana i hana ʻia, e noʻonoʻo ana i ke kumu hoʻohālike o ka ʻike hoʻolohe kanaka. Ma waho o ke kiʻekiʻe o ka maikaʻi a me ka bitrate, ʻokoʻa nā kumu hoʻohālike i hoʻohana ʻia no ka hoʻopili ʻana a me ka decoding e nā koi kumu haʻahaʻa haʻahaʻa (nā helu e pono ai no ka hana manawa maoli e hana ʻia ma ka CPU hoʻokahi).
Source: opennet.ru