Collabora đã xuất bản triển khai hệ thống máy học để cải thiện hiệu quả nén của hội nghị truyền hình, cho phép, trong trường hợp truyền video bằng khuôn mặt của người tham gia, giảm băng thông cần thiết xuống 10 lần trong khi vẫn duy trì chất lượng ở mức H.264 . Việc triển khai được viết bằng Python sử dụng khung PyTorch và được mở theo giấy phép GPLv3.
Phương pháp này cho phép bạn tái tạo lại các chi tiết khuôn mặt bị mất trong quá trình truyền với mức độ nén cao. Mô hình học máy tạo ra hoạt ảnh đầu người biết nói dựa trên hình ảnh khuôn mặt chất lượng cao được truyền riêng biệt và video thu được, theo dõi những thay đổi về biểu cảm khuôn mặt và vị trí đầu trong video. Về phía người gửi, video được truyền ở tốc độ bit rất thấp và về phía người nhận, video được xử lý bởi hệ thống máy học. Để nâng cao hơn nữa chất lượng, video được tạo có thể được xử lý bằng mô hình Độ phân giải siêu cao.
Nguồn: opennet.ru