Гугл је објавио Лира аудио кодек за пренос говора у лошем квалитету везе

Гоогле је представио нови аудио кодек, Лира, оптимизован за постизање максималног квалитета гласа чак и када се користе веома спори комуникациони канали. Лира имплементациони код је написан на Ц++ и отворен под лиценцом Апацхе 2.0, али међу зависностима потребним за рад постоји власничка библиотека либспарсе_инференце.со са имплементацијом кернела за математичке прорачуне. Напомиње се да је власничка библиотека привремена - у будућности Гоогле обећава да ће развити отворену замену и пружити подршку за различите платформе.

У погледу квалитета пренетих гласовних података при малим брзинама, Лира је значајно супериорнија од традиционалних кодека који користе методе дигиталне обраде сигнала. За постизање високог квалитета преноса гласа у условима ограничене количине пренетих информација, поред конвенционалних метода аудио компресије и конверзије сигнала, Лира користи модел говора заснован на систему машинског учења, који вам омогућава да поново креирате информације које недостају на основу типичне карактеристике говора. Модел који се користи за генерисање звука је обучен коришћењем неколико хиљада сати гласовних снимака на више од 70 језика.

Кодек укључује енкодер и декодер. Алгоритам кодера се своди на издвајање параметара говорних података сваких 40 милисекунди, њихово компресовање и пренос примаоцу преко мреже. За пренос података довољан је комуникациони канал брзине 3 килобита у секунди. Извучени аудио параметри укључују логаритамске мел спектрограме који узимају у обзир енергетске карактеристике говора у различитим фреквентним опсезима и припремају се узимајући у обзир модел људске слушне перцепције.

Декодер користи генеративни модел који, на основу пренетих аудио параметара, поново креира говорни сигнал. Да би се смањила сложеност прорачуна, коришћен је лаки модел заснован на рекурентној неуронској мрежи, који је варијанта ВавеРНН модела синтезе говора, који користи нижу фреквенцију узорковања, али генерише неколико сигнала паралелно у различитим фреквентним опсезима. Резултујући сигнали се затим суперпонирају да би се произвео један излазни сигнал који одговара наведеној брзини узорковања.

Специјализоване инструкције за процесор доступне у 64-битним АРМ процесорима се такође користе за убрзање. Као резултат тога, упркос коришћењу машинског учења, Лира кодек се може користити за кодирање и декодирање говора у реалном времену на паметним телефонима средњег домета, показујући кашњење преноса сигнала од 90 милисекунди.

Извор: опеннет.ру