Collabora zveřejnila implementaci systému strojového učení pro zlepšení efektivity komprese videokonferencí, která umožňuje v případě přenosu videa s tváří účastníka 10x snížit požadovanou šířku pásma při zachování kvality na úrovni H.264 . Implementace je napsána v Pythonu pomocí frameworku PyTorch a je otevřená pod licencí GPLv3.
Metoda umožňuje rekonstruovat detaily obličeje ztracené během přenosu s vysokou úrovní komprese. Model strojového učení generuje animaci mluvící hlavy na základě odděleně přenášeného vysoce kvalitního obrazu obličeje a výsledného videa, přičemž sleduje změny výrazu obličeje a polohy hlavy ve videu. Na straně odesílatele je video přenášeno velmi nízkou bitovou rychlostí a na straně příjemce je zpracováváno systémem strojového učení. Pro další zvýšení kvality lze vygenerované video zpracovat pomocí modelu Super-Resolution.
Zdroj: opennet.ru