Компанія Сollabora опублікувала реалізацію системи машинного навчання для підвищення ефективності стиснення відеоконференцій, яка дозволяє у разі передачі відео з особою учасника забезпечити зниження необхідної пропускної спроможності у 10 разів за збереження якості на рівні H.264. Реалізація написана мовою Python з використанням фреймворку PyTorch та відкрита під ліцензією GPLv3.
Метод дозволяє реконструювати деталі особи, втрачені під час передачі із сильним рівнем стиснення. Модель машинного навчання генерує анімацію голови, що говорить, на основі окремо переданого якісного зображення обличчя і одержуваного відео, відстежуючи зміну виразу обличчя і позиції голови на відео. На стороні відправника відео передається з дуже низьким бітрейтом, а на стороні одержувача обробляється системою машинного навчання. Для додаткового підвищення якості згенероване відео може бути оброблене за допомогою моделі Super-Resolution.
Джерело: opennet.ru