Collabora ได้เผยแพร่การใช้งานระบบการเรียนรู้ของเครื่องเพื่อปรับปรุงประสิทธิภาพการบีบอัดของการประชุมทางวิดีโอ ซึ่งช่วยให้ในกรณีของการส่งวิดีโอด้วยใบหน้าของผู้เข้าร่วม สามารถลดแบนด์วิดท์ที่ต้องการได้ 10 เท่า ในขณะที่ยังคงรักษาคุณภาพไว้ที่ระดับ H.264 . การใช้งานเขียนด้วยภาษา Python โดยใช้เฟรมเวิร์ก PyTorch และเปิดภายใต้ลิขสิทธิ์ GPLv3
วิธีการนี้ช่วยให้คุณสร้างรายละเอียดใบหน้าที่หายไประหว่างการส่งสัญญาณขึ้นมาใหม่ได้ด้วยการบีบอัดในระดับสูง โมเดลการเรียนรู้ของระบบจะสร้างแอนิเมชั่นการพูดคุยโดยใช้ศีรษะโดยอิงจากรูปภาพใบหน้าคุณภาพสูงที่ส่งแยกกันและวิดีโอที่ได้ โดยติดตามการเปลี่ยนแปลงในการแสดงออกทางสีหน้าและตำแหน่งศีรษะในวิดีโอ ในด้านผู้ส่ง วิดีโอจะถูกส่งด้วยบิตเรตที่ต่ำมากและในด้านผู้รับจะได้รับการประมวลผลโดยระบบการเรียนรู้ของเครื่อง เพื่อปรับปรุงคุณภาพให้ดียิ่งขึ้น วิดีโอที่สร้างขึ้นสามารถประมวลผลได้โดยใช้โมเดล Super-Resolution
ที่มา: opennet.ru