A Collabora egy gépi tanulási rendszer megvalósítását tette közzé a videokonferencia tömörítési hatékonyságának javítására, amely lehetővé teszi a résztvevő arcával történő videó továbbítása esetén a szükséges sávszélesség 10-szeres csökkentését, miközben a minőség a H.264 szinten marad. . A megvalósítás Python nyelven íródott a PyTorch keretrendszer használatával, és a GPLv3 licenc alatt van nyitva.
A módszer lehetővé teszi az átvitel során elveszett arcrészletek rekonstruálását magas szintű tömörítés mellett. A gépi tanulási modell egy külön továbbított, jó minőségű arckép és a kapott videó alapján beszélő fej-animációt generál, követve az arckifejezés és a fej helyzetének változásait a videóban. A feladó oldalon nagyon alacsony bitrátával továbbítják a videót, a címzett oldalán pedig egy gépi tanulási rendszer dolgozza fel. A minőség további javítása érdekében a létrehozott videót a Super-Resolution modell segítségével lehet feldolgozni.
Forrás: opennet.ru