Collabora ha pubblicato un'implementazione di un sistema di machine learning per migliorare l'efficienza di compressione delle videoconferenze, che consente, in caso di trasmissione di video con il volto di un partecipante, di ridurre di 10 volte la larghezza di banda richiesta mantenendo la qualità al livello H.264 . L'implementazione è scritta in Python utilizzando il framework PyTorch ed è aperta sotto licenza GPLv3.
Il metodo consente di ricostruire i dettagli del viso persi durante la trasmissione con un elevato livello di compressione. Il modello di apprendimento automatico genera un'animazione della testa parlante basata su un'immagine facciale di alta qualità trasmessa separatamente e sul video risultante, monitorando i cambiamenti nell'espressione facciale e nella posizione della testa nel video. Dal lato del mittente, il video viene trasmesso con un bitrate molto basso, mentre dal lato del destinatario viene elaborato da un sistema di apprendimento automatico. Per migliorare ulteriormente la qualità, il video generato può essere elaborato utilizzando il modello Super-Resolution.
Fonte: opennet.ru