Google публикува отворен аудиокодек Lyra V2

Компания Google представи аудиокодек Lyra V2, който използва методи на машинно обучение, за да постигне максимално качество на предаване на речта при много бавни комуникационни канали. Новата версия се отличава с преминаване към нова архитектура на невронна мрежа, поддръжка на допълнителни платформи, разширени възможности за управление на битрейта, увеличена производителност и постигане на по-високо качество на звука. Стандартната реализация на кода е написана на C++ и се разпространява под лицензия Apache 2.0.

По качество на предаваните гласови данни при ниски скорости, Lyra значително надхвърля традиционните кодеци, които използват методи на цифрова обработка на сигналите. За постигане на високо качество на предаване на глас в условия на ограничен обем на предаваната информация, освен обичайните методи за компресия на звука и преобразуване на сигналите, в Lyra се прилага речев модел на базата на система за машинно обучение, позволяваща възстановяване на липсваща информация, базирана на типични характеристики на речта.

Кодекът включва кодировчик и декодер. Алгоритъмът на работа на кодировчика съсредоточава върху извличане на параметри на гласовите данни на всеки 20 милисекунди, тяхното компресиране и предаване на получателя по мрежата с битрейт от 3.2 kbps до 9.2 kbps. На страната на получателя, декодерът използва генеративен модел за възстановяване на оригиналния речев сигнал на базата на предадените звукови параметри, които включват логаритмични мел-спектограми, отчитащи характеристиките на енергията на речта в различни честотни диапазони и подготвени с оглед на модела на човешкото слухово възприятие.

В Lyra V2 е използван нов генеративен модел на базата на свързна невронна мрежа SoundStream, отличаваща се с ниски изисквания към изчислителните ресурси, което позволява извършване на декодиране в реално време дори на слаби системи. Моделът, използван за генериране на звук, е обучен с използване на хиляди часове записи на гласове на повече от 90 езика. За изпълнението на модела се ползва TensorFlow Lite. Производителността на предложената реализация е достатъчна за кодиране и декодиране на реч на смартфони от ниския ценови клас.

Освен използването на друг генеративен модел, новата версия също така е забележителна с включването в архитектурата на кодека на връзки с квантизатора RVQ (Residual Vector Quantizer), който се изпълнява от страната на изпращача преди предаване на данните, а от страната на получателя след получаване на данните. Квантизаторът преобразува параметрите, предоставени от кодека, в набори от пакети, кодирайки информацията в зависимост от избрания битрейт. За осигуряване на различни нива на качество са предвидени квантизатори за три битрейта (3.2 kps, 6 kbps и 9.2 kbps), като по-високия битрейт осигурява по-добро качество, но има по-високи изисквания към пропускната способност.

Новата архитектура позволи да се намали закъснението при предаване на сигнала от 100 до 20 милисекунди. За сравнение, кодекът Opus за WebRTC показа закъснения на тестовите битрейти от 26.5ms, 46.5ms и 66.5ms. Също така значително нарасна производителността на кодера и декодера – в сравнение с предишната версия се отчита ускорение до 5 пъти. Например, на смартфон Pixel 6 Pro новият кодек кодира и декодира 20-миллисекундна извадка за 0.57 ms, което е 35 пъти по-бързо от необходимо за предаване в реално време.

Освен производителността, успяхме да постигнем и повишаване на качеството на възстановяване на звука – по скалата MUSHRA качеството на речта при битрейти 3.2 kbps, 6 kbps и 9.2 kbps при използване на кодека Lyra V2 съответства на битрейти 10 kbps, 13 kbps и 14 kbps при използване на кодека Opus.

Източник: opennet.ru