Google публикува аудиокодека Lyra за предаване на реч в условия на слаба свързаност

Компанията Google представи новия аудиокодек Lyra, оптимизиран за постигане на максимално качество на предаване на реч дори при много бавни канали за свързване. Кодът на Lyra е написан на C++ и е с отворен код под лиценза Apache 2.0, но в зависимостите за работа е включена и проприетарна библиотека libsparse_inference.so, която реализира ядрото за математически изчисления. З отбелязва, че проприетарната библиотека е временна — в бъдеще Google обещава да разработи отворена алтернатива и да осигури поддръжка за различни платформи.

По качеството на предаваните гласови данни при ниски скорости, Lyra значително надминава традиционните кодеци, които използват методи за цифрова обработка на сигналите. За постигане на високо качество на предаване на глас в условия на ограничен обем на информацията, в допълнение към обичайните методи за компресия на звука и преобразуване на сигналите, в Lyra се прилага речева модел, базиран на система за машинно обучение, позволяваща възстановяване на липсващата информация на базата на типични характеристики на речта. Моделът, използван за генериране на звука, е обучен с помощта на няколко хиляди часа записи на гласове на повече от 70 езика.

Кодекът включва кодер и декодер. Алгоритъмът на кодера се състои в извличането на параметрите на гласовите данни на всеки 40 милисекунди, тяхната компресия и предаване на получателя по мрежата. За предаване на данните е достатъчен канал с бързина от 3 килобита в секунда. Извлечените звукови параметри включват логаритмични мел-спектрограми, които отчитат характеристиките на енергията на речта в различни честотни диапазони и са подготвени с оглед на модела на човешкото слухово възприятие.

В декодера се използва генеративен модел, който създава сигнал с реч на базата на предадените звукови параметри. За да се намали сложността на изчисленията, е приложен лек модел, базиран на рекурсивна невронна мрежа, представляващ вариант на модела WaveRNN за синтез на реч, при който се използва по-ниска честота на семплиране, но паралелно се генерират няколко сигнала в различни честотни обхвати. Получените сигнали след това се комбинират, за да се получи единен изходен сигнал, отговарящ на зададената честота на дискретизация.

За ускорение са приложени специализирани инструкции за процесора, налични при 64-битови ARM процесори. В крайна сметка, въпреки използването на машинно обучение, кодекът Lyra може да се използва за кодиране и декодиране на реч в реално време на смартфони от среден ценови клас, демонстрирайки закъснение на предаването на сигнала от само 90 милисекунди.

Източник: opennet.ru