Collabora hat eine Implementierung eines Machine-Learning-Systems veröffentlicht, das die Effizienz der Videokonferenzkompression steigert. Es ermöglicht eine zehnfache Reduzierung der erforderlichen Bandbreite beim Streaming von Videos mit Gesichtern, bei gleichbleibender Qualität auf H.264-Niveau. Die Implementierung wurde in Python unter Verwendung des PyTorch-Frameworks geschrieben und ist unter der GPLv3-Lizenz verfügbar.
Die Methode ermöglicht die Rekonstruktion von Gesichtsd details, die bei starker Kompression verloren gehen. Das Machine-Learning-Modell generiert eine Animation eines sprechenden Kopfes basierend auf einem separat übermittelten hochqualitativen Bild des Gesichts und dem empfangenen Video, wobei es die Veränderungen im Gesichtsausdruck und der Kopfposition verfolgt. Auf Senderseite wird das Video mit einer sehr niedrigen Bitrate übertragen, während es auf Empfängerseite vom Machine-Learning-System verarbeitet wird. Zur weiteren Qualitätssteigerung kann das generierte Video mit einem Super-Resolution-Modell bearbeitet werden.
Quelle: opennet.ru
