Компания Collabora представи система за машинно обучение за компресия на видео

Компания Collabora публикува реализиране на система за машинно обучение, която повишава ефективността на компресията на видеоконференции, позволяваща при предаване на видео с лицето на участника да се постигне намаляване на необходимата пропускна способност с 10 пъти при запазване на качеството на нивото на H.264. Реализацията е написана на Python с използване на фреймуърка PyTorch и е с отворен код под лицензия GPLv3.

Методът позволява реконструкция на детайли от лицето, изгубени при предаване със силно ниво на компресия. Моделът на машинното обучение генерира анимация на говореща глава на базата на отделно предадено качествено изображение на лицето и полученото видео, проследявайки промяната на израза на лицето и позицията на главата във видеото. На изпращача видеото се предава с много нисък битрейт, а на получателя се обработва от системата за машинно обучение. За допълнително повишаване на качеството, генерираното видео може да бъде обработено с помощта на модел за Super-Resolution.

Източник: opennet.ru