Collabora a publié une implémentation d'un système d'apprentissage automatique pour améliorer l'efficacité de compression de la vidéoconférence, qui permet, dans le cas de transmission vidéo avec le visage d'un participant, de réduire de 10 fois la bande passante requise tout en maintenant la qualité au niveau H.264. . L'implémentation est écrite en Python à l'aide du framework PyTorch et est ouverte sous licence GPLv3.
La méthode permet de reconstruire les détails du visage perdus lors de la transmission avec un niveau de compression élevé. Le modèle d'apprentissage automatique génère une animation de tête parlante basée sur une image faciale de haute qualité transmise séparément et la vidéo résultante, en suivant les changements d'expression faciale et de position de la tête dans la vidéo. Du côté de l'expéditeur, la vidéo est transmise à un débit binaire très faible et du côté du destinataire, elle est traitée par un système d'apprentissage automatique. Pour améliorer encore la qualité, la vidéo générée peut être traitée à l'aide du modèle Super-Resolution.
Source: opennet.ru