Google го објави аудио кодекот Lyra за пренос на говор со слаб квалитет на врската

Google воведе нов аудио кодек, Lyra, оптимизиран за постигнување максимален квалитет на гласот дури и кога се користат многу бавни канали за комуникација. Кодот за имплементација на Lyra е напишан во C++ и се отвора под лиценцата Apache 2.0, но меѓу зависностите потребни за работа има и комерцијална библиотека libsparse_inference.so со имплементација на кернелот за математички пресметки. Забележано е дека комерцијалната библиотека е привремена - во иднина Google ветува дека ќе развие отворена замена и ќе обезбеди поддршка за различни платформи.

Во однос на квалитетот на пренесените гласовни податоци при мали брзини, Lyra е значително супериорен во однос на традиционалните кодеци кои користат методи за обработка на дигитален сигнал. За да постигне висок квалитет на пренос на глас во услови на ограничена количина на пренесени информации, покрај конвенционалните методи на аудио компресија и конверзија на сигналот, Lyra користи модел на говор базиран на систем за машинско учење, кој ви овозможува повторно да ги креирате информациите што недостасуваат врз основа на типични карактеристики на говорот. Моделот што се користеше за генерирање на звукот беше обучен со користење на неколку илјади часа гласовни снимки на повеќе од 70 јазици.

Кодекот вклучува енкодер и декодер. Алгоритмот на енкодерот се сведува на извлекување на параметрите за гласовни податоци на секои 40 милисекунди, нивно компресирање и нивно пренесување до примачот преку мрежата. За пренос на податоци е доволен комуникациски канал со брзина од 3 килобити во секунда. Извлечените аудио параметри вклучуваат логаритамски мел спектрограми кои ги земаат предвид енергетските карактеристики на говорот во различни фреквентни опсези и се подготвени земајќи го предвид моделот на човековата аудитивна перцепција.

Декодерот користи генеративен модел кој, врз основа на пренесените аудио параметри, го рекреира говорниот сигнал. За да се намали сложеноста на пресметките, користен е лесен модел базиран на рекурентна невронска мрежа, кој е варијанта на моделот за синтеза на говор WaveRNN, кој користи помала фреквенција на земање примероци, но генерира неколку сигнали паралелно во различни фреквентни опсези. Добиените сигнали потоа се надредени за да се произведе еден излезен сигнал што одговара на одредената брзина на земање примероци.

За забрзување се користат и специјализирани инструкции за процесор достапни во 64-битни ARM процесори. Како резултат на тоа, и покрај употребата на машинско учење, кодекот Lyra може да се користи за кодирање и декодирање на говор во реално време на паметни телефони со среден опсег, демонстрирајќи латентност на пренос на сигнал од 90 милисекунди.

Извор: opennet.ru