Collabora는 비디오 압축을 위한 머신러닝 시스템을 도입했습니다.

Collabora는 화상 회의의 압축 효율성을 향상시키는 기계 학습 시스템의 구현을 발표했습니다. 이를 통해 참가자의 얼굴로 비디오를 전송하는 경우 H.10 수준의 품질을 유지하면서 필요한 대역폭을 264배 줄일 수 있습니다. . 구현은 PyTorch 프레임워크를 사용하여 Python으로 작성되었으며 GPLv3 라이선스에 따라 공개됩니다.

이 방법을 사용하면 전송 중에 손실된 얼굴 세부 정보를 높은 수준의 압축으로 재구성할 수 있습니다. 머신러닝 모델은 별도로 전송된 고품질 얼굴 이미지와 결과 영상을 기반으로 말하는 머리 애니메이션을 생성하고, 영상 속 얼굴 표정과 머리 위치의 변화를 추적한다. 발신자 측에서는 비디오가 매우 낮은 비트 전송률로 전송되고 수신자 측에서는 기계 학습 시스템에 의해 처리됩니다. 품질을 더욱 향상시키기 위해 생성된 비디오는 초해상도 모델을 사용하여 처리될 수 있습니다.

출처 : opennet.ru