Collabora on videokonverentsi pakkimise tõhususe parandamiseks avaldanud masinõppesüsteemi teostuse, mis võimaldab osaleja näoga video edastamise korral vähendada vajalikku ribalaiust 10 korda, säilitades samal ajal kvaliteedi H.264 tasemel. . Rakendus on kirjutatud Pythonis, kasutades PyTorchi raamistikku ja on avatud GPLv3 litsentsi all.
Meetod võimaldab suure tihendusega rekonstrueerida edastuse käigus kaduma läinud näodetailid. Masinõppemudel genereerib eraldi edastatava kvaliteetse näopildi ja sellest tuleneva video põhjal rääkiva pea animatsiooni, jälgides videos näoilme ja pea asendi muutusi. Saatja poolelt edastatakse videot väga madala bitikiirusega ja saaja poolelt töötleb seda masinõppesüsteem. Kvaliteedi edasiseks parandamiseks saab loodud videot töödelda Super-Resolution mudeli abil.
Allikas: opennet.ru