Collabora heeft een implementatie gepubliceerd van een machinaal leersysteem om de compressie-efficiëntie van videoconferenties te verbeteren, waardoor, in het geval van het verzenden van video met het gezicht van een deelnemer, de vereiste bandbreedte tien keer kan worden verminderd met behoud van de kwaliteit op het H.10-niveau . De implementatie is geschreven in Python met behulp van het PyTorch-framework en is open onder de GPLv264-licentie.
Met deze methode kunt u gezichtsdetails reconstrueren die tijdens de transmissie verloren zijn gegaan met een hoog compressieniveau. Het machine learning-model genereert een pratende hoofdanimatie op basis van een afzonderlijk verzonden gezichtsbeeld van hoge kwaliteit en de resulterende video, waarbij veranderingen in gezichtsuitdrukking en hoofdpositie in de video worden gevolgd. Aan de kant van de afzender wordt de video met een zeer lage bitsnelheid verzonden, en aan de kant van de ontvanger wordt deze verwerkt door een machine learning-systeem. Om de kwaliteit verder te verbeteren, kan de gegenereerde video worden verwerkt met behulp van het Super-Resolution-model.
Bron: opennet.ru