Uzņēmums Collabora ir publicējis mašīnmācīšanās sistēmas ieviešanu, lai uzlabotu videokonferenču saspiešanas efektivitāti, kas ļauj, ja video tiek pārraidīts ar dalībnieka seju, samazināt nepieciešamo joslas platumu 10 reizes, vienlaikus saglabājot kvalitāti H.264 līmenī. . Ieviešana ir rakstīta Python, izmantojot PyTorch ietvaru, un ir atvērta saskaņā ar GPLv3 licenci.
Metode ļauj rekonstruēt sejas detaļas, kas tika zaudētas pārraides laikā ar augstu kompresijas līmeni. Mašīnmācīšanās modelis ģenerē runājošas galvas animāciju, pamatojoties uz atsevišķi pārraidītu augstas kvalitātes sejas attēlu un iegūto video, izsekojot sejas izteiksmes un galvas stāvokļa izmaiņas videoklipā. No sūtītāja puses video tiek pārraidīts ar ļoti zemu bitu pārraides ātrumu, un adresāta pusē to apstrādā mašīnmācīšanās sistēma. Lai vēl vairāk uzlabotu kvalitāti, ģenerēto video var apstrādāt, izmantojot Super-Resolution modeli.
Avots: opennet.ru