Collabora je objavila implementacijo sistema strojnega učenja za izboljšanje učinkovitosti kompresije videokonference, ki omogoča v primeru prenosa videa z obrazom udeleženca zmanjšanje zahtevane pasovne širine za 10-krat ob ohranjanju kakovosti na ravni H.264 . Izvedba je napisana v Pythonu z uporabo ogrodja PyTorch in je odprta pod licenco GPLv3.
Metoda vam omogoča rekonstrukcijo podrobnosti obraza, ki so bile izgubljene med prenosom z visoko stopnjo stiskanja. Model strojnega učenja generira animacijo govoreče glave na podlagi ločeno prenesene visokokakovostne slike obraza in nastalega videa, pri čemer sledi spremembam obrazne mimike in položaja glave v videu. Na strani pošiljatelja se video prenaša z zelo nizko bitno hitrostjo, na strani prejemnika pa ga obdela sistem strojnega učenja. Za dodatno izboljšanje kakovosti je mogoče ustvarjeni video obdelati z uporabo modela Super-Resolution.
Vir: opennet.ru