La empresa Google ha presentado el códec de audio Lyra V2, que utiliza métodos de aprendizaje automático para lograr la mejor calidad de transmisión de voz en canales de comunicación muy lentos. La nueva versión se distingue por su transición a una nueva arquitectura de red neuronal, soporte para plataformas adicionales, capacidades mejoradas de control de bitrate, aumento del rendimiento y calidad de sonido superior. La implementación de referencia del código está escrita en C++ y se distribuye bajo la licencia Apache 2.0.
En cuanto a la calidad de los datos de voz transmitidos a bajas velocidades, Lyra supera significativamente a los códecs tradicionales que utilizan métodos de procesamiento digital de señales. Para lograr una alta calidad de transmisión de voz bajo limitaciones en la cantidad de información transmitida, además de los métodos convencionales de compresión de audio y conversión de señales, Lyra aplica un modelo de voz basado en un sistema de aprendizaje automático que permite recrear la información faltante basándose en características típicas del habla.
El códec incluye un codificador y un decodificador. El algoritmo de funcionamiento del codificador consiste en extraer parámetros de los datos de voz cada 20 milisegundos, comprimirlos y enviarlos al receptor a través de la red con un bitrate de entre 3.2 kbps y 9.2 kbps. En el lado del receptor, el decodificador utiliza un modelo generativo para recrear la señal de voz original en base a los parámetros de sonido transmitidos, que incluyen espectrogramas melográficos logarítmicos, teniendo en cuenta las características de la energía del habla en diferentes rangos de frecuencia y preparadas considerando el modelo de percepción auditiva humana.
En Lyra V2 se utiliza un nuevo modelo generativo basado en la red neuronal convolucional SoundStream, que se caracteriza por tener bajos requerimientos de recursos computacionales, lo que permite realizar la decodificación en tiempo real incluso en sistemas de baja potencia. El modelo utilizado para la generación de sonido ha sido entrenado con miles de horas de grabaciones de voces en más de 90 idiomas. Para la ejecución del modelo se utiliza TensorFlow Lite. El rendimiento de la implementación propuesta es suficiente para codificar y decodificar voz en smartphones de gama baja.
Además de utilizar otro modelo generativo, la nueva versión también se destaca por la inclusión en la arquitectura de un codificador de enlaces con cuantizador RVQ (Quantizador Vectorial Residual), que se ejecuta en el lado del emisor antes de la transmisión de datos, y en el lado del receptor después de recibir los datos. El cuantizador convierte los parámetros emitidos por el codificador en conjuntos de paquetes, codificando la información en función de la tasa de bits seleccionada. Para garantizar diferentes niveles de calidad, se previeron cuantizadores para tres tasas de bits (3.2 kbps, 6 kbps y 9.2 kbps); cuanto mayor sea la tasa de bits, mejor será la calidad, aunque con mayores requisitos de ancho de banda.
La nueva arquitectura ha permitido reducir la latencia de transmisión de señal de 100 a 20 milisegundos. Para comparar, el códec Opus para WebRTC mostró latencias en las tasas de bits probadas de 26.5 ms, 46.5 ms y 66.5 ms. También se ha incrementado significativamente el rendimiento del codificador y decodificador: en comparación con la versión anterior, se ha observado una aceleración de hasta 5 veces. Por ejemplo, en el smartphone Pixel 6 Pro, el nuevo códec realiza la codificación y decodificación de una muestra de 20 milisegundos en 0.57 ms, que es 35 veces más rápido de lo necesario para la transmisión en tiempo real.
Además del rendimiento, se logró mejorar la calidad de restauración del sonido: en la escala MUSHRA, la calidad de la voz a las tasas de bits de 3.2 kbps, 6 kbps y 9.2 kbps con el códec Lyra V2 corresponde a tasas de bits de 10 kbps, 13 kbps y 14 kbps con el códec Opus.
Fuente: opennet.ru
