Collabora opublikowała implementację systemu uczenia maszynowego poprawiającego efektywność kompresji wideokonferencji, która pozwala w przypadku transmisji wideo z twarzą uczestnika 10-krotnie zmniejszyć wymaganą przepustowość przy zachowaniu jakości na poziomie H.264 . Implementacja została napisana w języku Python z wykorzystaniem frameworka PyTorch i jest otwarta na licencji GPLv3.
Metoda pozwala zrekonstruować szczegóły twarzy utracone podczas transmisji przy wysokim stopniu kompresji. Model uczenia maszynowego generuje animację gadającej głowy w oparciu o oddzielnie przesłany obraz twarzy wysokiej jakości i powstały film, śledząc zmiany wyrazu twarzy i pozycji głowy w filmie. Po stronie nadawcy wideo jest przesyłane z bardzo niską przepływnością, a po stronie odbiorcy jest przetwarzane przez system uczenia maszynowego. Aby jeszcze bardziej poprawić jakość, wygenerowane wideo można przetwarzać w modelu Super-Resolution.
Źródło: opennet.ru