Collabora, video konferansın sıkıştırma verimliliğini artırmak için bir makine öğrenimi sisteminin uygulamasını yayınladı; bu, videonun bir katılımcının yüzüyle iletilmesi durumunda kaliteyi H.10 düzeyinde korurken gerekli bant genişliğini 264 kat azaltmaya olanak tanıyor. . Uygulama Python'da PyTorch çerçevesi kullanılarak yazılmıştır ve GPLv3 lisansı altında açıktır.
Yöntem, iletim sırasında kaybolan yüz ayrıntılarını yüksek düzeyde sıkıştırmayla yeniden yapılandırmanıza olanak tanır. Makine öğrenimi modeli, ayrı olarak iletilen yüksek kaliteli yüz görüntüsüne ve elde edilen videoya dayalı olarak, videodaki yüz ifadesindeki ve kafa konumundaki değişiklikleri izleyen bir konuşan kafa animasyonu oluşturur. Gönderen tarafta video çok düşük bir bit hızında iletilir, alıcı tarafta ise bir makine öğrenme sistemi tarafından işlenir. Kaliteyi daha da artırmak için oluşturulan video Süper Çözünürlük modeli kullanılarak işlenebilir.
Kaynak: opennet.ru