Collabora представи система за машинно обучение за видео компресия

Collabora публикува внедряване на система за машинно обучение за подобряване на ефективността на компресиране на видеоконференциите, което позволява, в случай на предаване на видео с лице на участник, да намали необходимата честотна лента с 10 пъти, като същевременно поддържа качество на ниво H.264 . Реализацията е написана на Python с помощта на рамката PyTorch и е отворена под лиценз GPLv3.

Методът ви позволява да реконструирате детайли на лицето, които са били изгубени по време на предаване с високо ниво на компресия. Моделът за машинно обучение генерира анимация на говореща глава въз основа на отделно предадено висококачествено изображение на лицето и полученото видео, проследявайки промените в изражението на лицето и позицията на главата във видеото. От страна на изпращача видеото се предава с много нисък битрейт, а от страната на получателя се обработва от система за машинно обучение. За допълнително подобряване на качеството, генерираното видео може да бъде обработено с помощта на модела Super-Resolution.

Източник: opennet.ru