Google публикува аудиокодека Lyra за предаване на реч при лошо качество на връзката

Компания Google представи новия аудиокодек Lyra, оптимизиран за постигане на максимално качество при предаване на реч дори при много бавни комуникационни канали. Кодът за реализиране на Lyra е написан на C++ и е с отворен код под лицензия Apache 2.0, но сред необходимите зависимости за работа се намира проприетарната библиотека libsparse_inference.so, която реализира ядрото за математическите изчисления. Забелязва се, че проприетарната библиотека е временна — в бъдеще Google обещава да разработи отворена замяна и да осигури поддръжка за различни платформи.

По качество на предаваните гласови данни при ниски скорости, Lyra значително надминава традиционните кодеци, които използват методи за цифрова обработка на сигнали. За постигане на високо качество при предаване на глас в условия на ограничен обем на предаваната информация, освен обичайните методи за компресия на звука и преобразуване на сигнали, в Lyra се прилага речев модел, базиран на система за машинно обучение, който позволява възстановяване на липсващата информация на базата на типични характеристики на речта. Моделът, използван за генериране на звука, е обучен с помощта на стотици хиляди часове записи на гласове на над 70 езика.

Кодекът включва кодиращ и декодиращ модул. Алгоритъмът на кодера обобщава в извличане на параметри на гласовите данни на всеки 40 милисекунди, тяхното компресиране и предаване на получателя по мрежата. За предаване на данни е достатъчен комуникационен канал с скорост от 3 килобита в секунда. Извлечените звукови параметри включват логаритмични мел-спектрограми, които отчитат характеристиките на енергията на речта в различни честотни диапазони и са подготвени с оглед на модела на човешкото слухово възприятие.

В декодера се използва генеративен модел, който въз основа на предоставените звукови параметри възпроизвежда сигнал с говор. За намаляване на сложността на изчисленията е приложен лек модел на базата на рекурентна невронна мрежа, представляваща вариант на модела за синтез на реч WaveRNN, в който се използва по-ниска честота на дискретизация, но се генерират паралелно няколко сигнала в различен честотен диапазон. Получените сигнали след това се налягат, за да се получи единен изходен сигнал, съответстващ на зададена честота на дискретизация.

За ускорение също така са приложени специализирани инструкции за обработка, налични в 64-битови ARM процесори. В крайна сметка, въпреки използването на машинно обучение, кодекът Lyra може да се използва за кодиране и декодиране на реч в реално време на смартфони от среден ценови клас, демонстрирайки закъснение на предаване на сигнала от 90 милисекунди.

Източник: opennet.ru