Collabora는 비디오 압축을 위한 머신러닝 시스템을 도입했습니다.

Collabora는 화상 회의 압축 효율을 개선하기 위한 머신러닝 시스템 구현을 공개했습니다. 이 시스템은 H.10 수준의 화질을 유지하면서 참가자의 얼굴이 포함된 비디오를 전송할 때 필요한 대역폭을 264배 줄일 수 있습니다. 이 구현은 PyTorch 프레임워크를 사용하여 Python으로 작성되었으며 GPLv3 라이선스에 따라 오픈 소스로 제공됩니다.

이 방법은 높은 압축률을 통해 전송 중 손실된 얼굴 디테일을 복원할 수 있습니다. 머신러닝 모델은 별도로 전송된 고화질 얼굴 이미지와 수신된 비디오를 기반으로 말하는 사람의 얼굴 애니메이션을 생성하고, 비디오의 얼굴 표정과 머리 위치의 변화를 추적합니다. 송신자 측에서는 비디오가 매우 낮은 비트레이트로 전송되고, 수신자 측에서는 머신러닝 시스템으로 처리됩니다. 화질을 더욱 향상시키기 위해 생성된 비디오는 초고해상도 모델을 사용하여 처리할 수 있습니다.

출처 : opennet.ru