Ang Collabora ay naglathala ng pagpapatupad ng isang machine learning system upang pahusayin ang compression efficiency ng video conferencing, na nagbibigay-daan, sa kaso ng pagpapadala ng video sa mukha ng isang kalahok, na bawasan ang kinakailangang bandwidth ng 10 beses habang pinapanatili ang kalidad sa antas ng H.264 . Ang pagpapatupad ay nakasulat sa Python gamit ang PyTorch framework at bukas sa ilalim ng lisensya ng GPLv3.
Ang pamamaraan ay nagbibigay-daan sa iyo upang muling buuin ang mga detalye ng mukha na nawala sa panahon ng paghahatid na may mataas na antas ng compression. Bumubuo ang machine learning model ng talking head animation batay sa isang hiwalay na ipinadala na mataas na kalidad na facial image at ang resultang video, na sinusubaybayan ang mga pagbabago sa facial expression at head position sa video. Sa panig ng nagpadala, ipinapadala ang video sa napakababang bitrate, at sa panig ng tatanggap ito ay pinoproseso ng isang machine learning system. Upang higit pang mapahusay ang kalidad, maaaring iproseso ang nabuong video gamit ang modelong Super-Resolution.
Pinagmulan: opennet.ru