Collabora har publicerat en implementering av ett maskininlärningssystem för att förbättra komprimeringseffektiviteten för videokonferenser, vilket gör det möjligt att, vid överföring av video med en deltagares ansikte, minska den erforderliga bandbredden med 10 gånger samtidigt som kvaliteten bibehålls på H.264-nivån . Implementeringen är skriven i Python med PyTorch-ramverket och är öppen under GPLv3-licensen.
Metoden låter dig rekonstruera ansiktsdetaljer som gick förlorade under överföringen med en hög kompressionsnivå. Maskininlärningsmodellen genererar en talking head-animation baserad på en separat överförd högkvalitativ ansiktsbild och den resulterande videon, spårar förändringar i ansiktsuttryck och huvudposition i videon. På avsändarens sida sänds videon med en mycket låg bithastighet och på mottagarens sida bearbetas den av ett maskininlärningssystem. För att ytterligare förbättra kvaliteten kan den genererade videon bearbetas med Super-Resolution-modellen.
Källa: opennet.ru