Фејсбук објавува аудио кодек EnCodec користејќи машинско учење

Мета/Фејсбук (забранет во Руската Федерација) воведе нов аудио кодек, EnCodec, кој користи методи за машинско учење за да го зголеми односот на компресија без губење на квалитетот. Кодекот може да се користи и за пренос на аудио во реално време и за кодирање за подоцна зачувување во датотеки. Референтната имплементација на EnCodec е напишана во Python користејќи ја рамката PyTorch и е лиценцирана под лиценца CC BY-NC 4.0 (Creative Commons Attribution-NonCommercial) само за некомерцијална употреба.

Два готови модели се нудат за преземање:

• Причински модел кој користи брзина на земање примероци од 24 kHz, поддржува само монофоничен звук и е обучен за различни аудио податоци (погодни за кодирање на говор). Моделот може да се користи за пакување аудио податоци за пренос со битови од 1.5, 3, 6, 12 и 24 kbps.
• Некаузален модел кој користи брзина на земање примероци од 48 kHz, поддржува стерео аудио и обучен само на музика. Моделот поддржува бит-стапки од 3, 6, 12 и 24 kbps.

За секој модел, подготвен е дополнителен јазичен модел, кој ви овозможува да постигнете значително зголемување на односот на компресија (до 40%) без губење на квалитетот. За разлика од претходно развиените проекти кои користат методи за машинско учење за компресија на аудио, EnCodec може да се користи не само за пакување говор, туку и за компресија на музика со брзина на земање примероци од 48 kHz, што одговара на нивото на аудио ЦД-а. Според програмерите на новиот кодек, при пренос со брзина на битови од 64 kbps во споредба со форматот MP3, тие можеле да го зголемат степенот на компресија на аудио за приближно десет пати додека го одржувале истото ниво на квалитет (на пример, при користење MP3, потребен е пропусен опсег од 64 kbps, за пренос со тоа истиот квалитет во EnCodec е доволно 6 kbps).

Архитектурата на кодекот е изградена на невронска мрежа со архитектура „трансформатор“ и се заснова на четири врски: енкодер, квантизер, декодер и дискриминатор. Кодерот ги извлекува параметрите на гласовните податоци и го конвертира спакуваниот пренос во помала стапка на слики. Квантизаторот (RVQ, Резидуален векторски квантизатор) го конвертира излезот од стрим од енкодерот во множества од пакети, компресирајќи ги информациите врз основа на избраната брзина на битови. Излезот на квантизаторот е компресирана претстава на податоците, погодна за пренос преку мрежа или зачувување на диск.

Декодерот ја декодира компресираната претстава на податоците и го реконструира оригиналниот звучен бран. Дискриминаторот го подобрува квалитетот на генерираните примероци, земајќи го предвид моделот на човековата аудитивна перцепција. Без оглед на нивото на квалитет и бит-стапка, моделите што се користат за кодирање и декодирање се одликуваат со прилично скромни барања за ресурси (пресметките неопходни за работа во реално време се вршат на едно јадро на процесорот).

Извор: opennet.ru