Google публикува аудиокодек Lyra за предаване на реч при лошо качество на връзката

Google представи нов аудио кодек Lyra, оптимизиран за постигане на максимално качество на гласа дори при използване на много бавни комуникационни канали. Кодът за внедряване на Lyra е написан на C++ и е отворен под лиценза Apache 2.0, но сред зависимостите, необходими за работа, има собствена библиотека libsparse_inference.so с реализация на ядрото за математически изчисления. Отбелязва се, че собствената библиотека е временна - в бъдеще Google обещава да разработи отворена замяна и да осигури поддръжка за различни платформи.

По отношение на качеството на предаваните гласови данни при ниски скорости, Lyra значително превъзхожда традиционните кодеци, които използват методи за цифрова обработка на сигнала. За постигане на висококачествено гласово предаване в условия на ограничено количество предавана информация, в допълнение към конвенционалните методи за аудио компресия и преобразуване на сигнала, Lyra използва модел на реч, базиран на система за машинно обучение, която ви позволява да пресъздадете липсващата информация въз основа на типични речеви характеристики. Моделът, използван за генериране на звука, е обучен с помощта на няколко хиляди часа гласови записи на повече от 70 езика.

Кодекът включва енкодер и декодер. Алгоритъмът на енкодера се свежда до извличане на параметри на гласови данни на всеки 40 милисекунди, компресирането им и предаването им на получателя по мрежата. За предаване на данни е достатъчен комуникационен канал със скорост 3 килобита в секунда. Извлечените аудио параметри включват логаритмични мел спектрограми, които отчитат енергийните характеристики на речта в различни честотни диапазони и са изготвени, като се вземе предвид моделът на човешкото слухово възприятие.

Декодерът използва генеративен модел, който въз основа на предадените аудио параметри пресъздава говорния сигнал. За да се намали сложността на изчисленията, беше използван олекотен модел, базиран на рекурентна невронна мрежа, който е вариант на модела за синтез на реч WaveRNN, който използва по-ниска честота на дискретизация, но генерира няколко сигнала паралелно в различни честотни диапазони. След това получените сигнали се наслагват, за да се получи единичен изходен сигнал, съответстващ на определената честота на дискретизация.

Специализирани процесорни инструкции, налични в 64-битовите ARM процесори, също се използват за ускорение. В резултат на това, въпреки използването на машинно обучение, кодекът Lyra може да се използва за кодиране и декодиране на реч в реално време на смартфони от среден клас, демонстрирайки латентност на предаване на сигнала от 90 милисекунди.

Източник: opennet.ru