Collabora hat eine Implementierung eines maschinellen Lernsystems zur Verbesserung der Komprimierungseffizienz von Videokonferenzen veröffentlicht, das es ermöglicht, bei der Übertragung von Videos mit dem Gesicht eines Teilnehmers die erforderliche Bandbreite um das Zehnfache zu reduzieren und gleichzeitig die Qualität auf H.10-Niveau beizubehalten . Die Implementierung ist in Python unter Verwendung des PyTorch-Frameworks geschrieben und steht unter der GPLv264-Lizenz.
Mit dieser Methode können Sie bei der Übertragung verlorene Gesichtsdetails mit hoher Komprimierung rekonstruieren. Das maschinelle Lernmodell generiert eine sprechende Kopfanimation basierend auf einem separat übertragenen hochwertigen Gesichtsbild und dem resultierenden Video und verfolgt Änderungen im Gesichtsausdruck und der Kopfposition im Video. Auf der Seite des Senders wird das Video mit einer sehr niedrigen Bitrate übertragen, auf der Seite des Empfängers wird es von einem maschinellen Lernsystem verarbeitet. Um die Qualität weiter zu verbessern, kann das generierte Video mit dem Super-Resolution-Modell verarbeitet werden.
Source: opennet.ru