Collabora on julkaissut toteutuksen koneoppimisjärjestelmästä parantaakseen videoneuvottelujen pakkaustehokkuutta, mikä mahdollistaa osallistujan kasvot sisältävän videon siirtämisen edellyttämän kaistanleveyden pienentämisen 10-kertaiseksi säilyttäen samalla laadun H.264-tasolla. . Toteutus on kirjoitettu Pythonissa käyttäen PyTorch-kehystä ja se on avoin GPLv3-lisenssillä.
Menetelmän avulla voit rekonstruoida lähetyksen aikana kadonneet kasvojen yksityiskohdat korkealla pakkaustasolla. Koneoppimismalli luo puhuvan pään animaation, joka perustuu erikseen lähetettävään korkealaatuiseen kasvokuvaan ja tuloksena olevaan videoon, joka seuraa kasvojen ilmeen ja pään asennon muutoksia videossa. Lähettäjän puolella video välitetään erittäin alhaisella bittinopeudella, ja vastaanottajan puolella se käsitellään koneoppimisjärjestelmällä. Laadun parantamiseksi luotua videota voidaan käsitellä Super-Resolution-mallilla.
Lähde: opennet.ru