Facebook публикува аудио кодек EnCodec, използвайки машинно обучение

Meta/Facebook (забранен в Руската федерация) представи нов аудио кодек EnCodec, който използва методи за машинно обучение за увеличаване на степента на компресия без загуба на качество. Кодекът може да се използва както за поточно аудио в реално време, така и за кодиране за по-късно запазване във файлове. Референтната реализация на EnCodec е написана на Python с помощта на рамката PyTorch и е лицензирана под лиценз CC BY-NC 4.0 (Creative Commons Attribution-NonCommercial) само за некомерсиална употреба.

Предлагат се два готови модела за изтегляне:

• Причинно-следствен модел, използващ честота на семплиране от 24 kHz, поддържащ само монофонично аудио и обучен върху различни аудио данни (подходящи за кодиране на реч). Моделът може да се използва за пакетиране на аудио данни за предаване при битрейт от 1.5, 3, 6, 12 и 24 kbps.
• Некаузален модел, използващ честота на дискретизация от 48 kHz, поддържащ стерео аудио и обучен само на музика. Моделът поддържа битрейт от 3, 6, 12 и 24 kbps.

За всеки модел е изготвен допълнителен езиков модел, който ви позволява да постигнете значително увеличение на степента на компресия (до 40%) без загуба на качество. За разлика от разработените по-рано проекти, използващи методи за машинно обучение за аудио компресия, EnCodec може да се използва не само за пакетиране на реч, но и за компресиране на музика с честота на дискретизация от 48 kHz, съответстваща на нивото на аудио компактдискове. Според разработчиците на новия кодек, при предаване с битрейт от 64 kbps в сравнение с MP3 формата, те са успели да увеличат степента на аудио компресия приблизително десет пъти, като същевременно поддържат същото ниво на качество (например при използване MP3, необходима е честотна лента от 64 kbps, за предаване с това същото качество в EnCodec е достатъчно 6 kbps).

Архитектурата на кодека е изградена върху невронна мрежа с архитектура „трансформатор“ и се основава на четири връзки: енкодер, квантизатор, декодер и дискриминатор. Кодерът извлича параметрите на гласовите данни и преобразува пакетирания поток в по-ниска кадрова честота. Квантизаторът (RVQ, Residual Vector Quantizer) преобразува изходния поток от енкодера в набори от пакети, компресирайки информация на базата на избрания битрейт. Резултатът от квантователя е компресирано представяне на данните, подходящо за предаване по мрежа или записване на диск.

Декодерът декодира компресираното представяне на данните и възстановява оригиналната звукова вълна. Дискриминаторът подобрява качеството на генерираните проби, като взема предвид модела на човешкото слухово възприятие. Независимо от нивото на качество и битрейт, моделите, използвани за кодиране и декодиране, се отличават с доста скромни изисквания за ресурси (изчисленията, необходими за работа в реално време, се извършват на едно ядро ​​на процесора).

Източник: opennet.ru