Collabora publicou uma implementação de um sistema de aprendizado de máquina para melhorar a eficiência de compressão de videoconferências, que permite, no caso de transmissão de vídeo com o rosto do participante, reduzir em 10 vezes a largura de banda necessária, mantendo a qualidade no nível H.264 . A implementação é escrita em Python usando a estrutura PyTorch e está aberta sob a licença GPLv3.
O método permite reconstruir detalhes faciais que foram perdidos durante a transmissão com alto nível de compressão. O modelo de aprendizado de máquina gera uma animação de cabeça falante com base em uma imagem facial de alta qualidade transmitida separadamente e no vídeo resultante, rastreando mudanças na expressão facial e na posição da cabeça no vídeo. Do lado do remetente, o vídeo é transmitido com uma taxa de bits muito baixa e, do lado do destinatário, é processado por um sistema de aprendizado de máquina. Para melhorar ainda mais a qualidade, o vídeo gerado pode ser processado usando o modelo Super-Resolução.
Fonte: opennet.ru