Google публикува отворения аудиокодек Lyra V2

Компания Google представи аудиокодек Lyra V2, който използва методи на машинното обучение за постигане на максимално качество на предаване на глас при много бавни комуникационни канали. Новата версия се отличава с преминаване към нова архитектура на невронна мрежа, поддръжка на допълнителни платформи, разширени възможности за управление на битрейта, повишена производителност и постигане на по-високо качество на звука. Еталонната реализация на кода е написана на C++ и се разпространява под лицензия Apache 2.0.

По качеството на предаваните гласови данни при ниски скорости, Lyra значително надвишава традиционните кодеци, при които се използват методи за цифрова обработка на сигналите. За постигане на високо качество на предаване на гласа в условия на ограничено количество предавана информация, освен обичайните методи за компресия на звука и преобразуване на сигналите, в Lyra се използва модел на речта на база система за машинно обучение, който позволява възстановяването на липсваща информация на база типични характеристики на речта.

Кодекът включва кодер и декодер. Алгоритъмът на работа на кодера се състои в извличането на параметри на гласовите данни на всеки 20 милисекунди, тяхното компресиране и предаване на получателя по мрежата с битрейт от 3.2 kbps до 9.2 kbps. От страната на получателя декодерът използва генеративен модел за възстановяване на оригиналния речеви сигнал на база предадените звукови параметри, които включват логаритмични мел-спектрограми, отчитат характеристиките на енергията на речта в различни честотни диапазони и са подготвени с оглед на модела на човешкото слухово възприятие.

В Lyra V2 е използванa нова генеративна модел на база свързочна невронна мрежа SoundStream, която се отличава с ниски изисквания към изчислителните ресурси, което позволява декодиране в реално време дори на слаби системи. Моделът, използван за генериране на звука, е обучен с използването на няколко хиляди часа записи на гласове на повече от 90 езика. За изпълнението на модела се използва TensorFlow Lite. Производителността на предложената реализация е достатъчна за кодиране и декодиране на реч на смартфони от ниския ценови клас.

Освен ползването на друга генеративна модел, новата версия е забележителна с включването в архитектурата на кодека на свързващи звена с квантовател RVQ (Residual Vector Quantizer), изпълнявано от страна на изпращача преди предаване на данните, и от страна на получателя след получаване на данните. Квантователят преобразува параметрите, издавани от кодека, в набори от пакети, кодирайки информацията в зависимост от избрания битрейт. За осигуряване на различно ниво на качество са предвидени квантователи за три битрейта (3.2 kps, 6 kbps и 9.2 kbps), при по-висок битрейт качеството е по-добро, но изискванията за пропускна способност са по-високи.

Новата архитектура позволи да се намалят закъсненията при предаване на сигнала от 100 на 20 милисекунди. За сравнение, кодекът Opus за WebRTC показа закъснения при тестваните битрейти от 26.5 мс, 46.5 мс и 66.5 мс. Също така значително нарасна производителността на кодирача и декодера - в сравнение с предишната версия е отбелязано ускорение до 5 пъти. Например, на смартфона Pixel 6 Pro новият кодек извършва кодиране и декодиране на 20-милисекундна извадка за 0.57 мс, което е 35 пъти по-бързо от необходимото за предаване в реално време.

Освен производителността, успяхме да постигнем и повишаване на качеството на възстановяване на звука - по скалата MUSHRA качеството на речта при битрейти 3.2 kbps, 6 kbps и 9.2 kbps с кодека Lyra V2 съответства на битрейти 10 kbps, 13 kbps и 14 kbps при използването на кодека Opus.

Източник: opennet.ru