Collabora telah menerbitkan implementasi pembelajaran mesin untuk meningkatkan efisiensi kompresi konferensi video. Sistem ini mengurangi kebutuhan bandwidth hingga 10 kali lipat saat mentransmisikan video dengan wajah peserta, sambil mempertahankan kualitas setara H.264. Implementasi ini ditulis dalam Python menggunakan kerangka kerja PyTorch dan merupakan sumber terbuka di bawah lisensi GPLv3.
Metode ini memungkinkan rekonstruksi detail wajah yang hilang selama transmisi dengan kompresi tinggi. Model pembelajaran mesin menghasilkan animasi kepala bicara berdasarkan citra wajah berkualitas tinggi yang ditransmisikan secara terpisah dan video yang diterima, melacak perubahan ekspresi wajah dan posisi kepala dalam video. Di sisi pengirim, video ditransmisikan pada bitrate yang sangat rendah dan diproses oleh sistem pembelajaran mesin di sisi penerima. Untuk peningkatan kualitas lebih lanjut, video yang dihasilkan dapat diproses menggunakan model Super-Resolution.
Sumber: opennet.ru
