Collabora har udgivet en implementering af et maskinlæringssystem for at forbedre komprimeringseffektiviteten af videokonferencer, som gør det muligt, i tilfælde af at overføre video med en deltagers ansigt, at reducere den nødvendige båndbredde med 10 gange, mens kvaliteten opretholdes på H.264-niveauet . Implementeringen er skrevet i Python ved hjælp af PyTorch-rammeværket og er åben under GPLv3-licensen.
Metoden giver dig mulighed for at rekonstruere ansigtsdetaljer, der gik tabt under transmissionen, med et højt kompressionsniveau. Maskinlæringsmodellen genererer en talende hoved-animation baseret på et separat transmitteret ansigtsbillede i høj kvalitet og den resulterende video, og sporer ændringer i ansigtsudtryk og hovedposition i videoen. På afsenderens side transmitteres videoen med en meget lav bitrate, og på modtagerens side behandles den af et maskinlæringssystem. For yderligere at forbedre kvaliteten kan den genererede video behandles ved hjælp af Super-Resolution modellen.
Kilde: opennet.ru