Компания Сollabora представила систему машинного обучения для сжатия видео

Компания Сollabora опубликовала реализацию системы машинного обучения для повышения эффективности сжатия видеоконференций, которая позволяет в случае передачи видео с лицом участника обеспечить снижение необходимой пропускной способности в 10 раз при сохранении качества на уровне H.264. Реализация написана на языке Python с использованием фреймворка PyTorch и открыта под лицензией GPLv3.

Метод позволяет реконструировать детали лица, утерянные при передаче с сильным уровнем сжатия. Модель машинного обучения генерирует анимацию говорящей головы на основе отдельно переданного качественного изображения лица и получаемого видео, отслеживая изменение выражения лица и позиции головы на видео. На стороне отправителя видео передаётся с очень низким битрейтом, а на стороне получателя обрабатывается системой машинного обучения. Для дополнительного повышения качества сгенерированное видео может быть обработано при помощи модели Super-Resolution.

Источник: opennet.ru