Collabora ha publicado una implementación de un sistema de aprendizaje automático para mejorar la eficiencia de compresión de las videoconferencias, que permite, en el caso de transmitir vídeo con la cara de un participante, reducir 10 veces el ancho de banda requerido manteniendo la calidad en el nivel H.264. . La implementación está escrita en Python utilizando el marco PyTorch y está abierta bajo la licencia GPLv3.
El método permite reconstruir detalles faciales que se perdieron durante la transmisión con un alto nivel de compresión. El modelo de aprendizaje automático genera una animación de cabeza parlante basada en una imagen facial de alta calidad transmitida por separado y el video resultante, rastreando los cambios en la expresión facial y la posición de la cabeza en el video. Por parte del remitente, el vídeo se transmite a una tasa de bits muy baja y por parte del destinatario es procesado por un sistema de aprendizaje automático. Para mejorar aún más la calidad, el vídeo generado se puede procesar utilizando el modelo de superresolución.
Fuente: opennet.ru