На сьогоднішній день для багатьох вже не є проблемою видалення елемента, що заважає, з фотографії. Базові навички роботи у Photoshop або модні сьогодні нейромережі можуть вирішити проблему. Однак у випадку з відео ситуація ускладнюється, адже потрібно обробити щонайменше 24 кадри на одну секунду відео.
І ось на Github утиліта, яка автоматизує ці дії, дозволяючи видаляти будь-які рухомі об'єкти з відео. Достатньо просто виділити зайвий об'єкт рамкою за допомогою курсору, а система зробить все інше. Утиліта називається нехитро - video-object-removal. Однак у її основі лежать просунуті технології.
Система використовує нейромережу, яка обробляє відео покадрово, замінюючи непотрібний об'єкт або людину тлом. Програма може змінювати до 55 кадрів за секунду, добудовуючи фон на основі навколишнього зображення. Хоча при найближчому розгляді стає зрозумілим, що метод видалення об'єктів далеко не ідеальний, результати вражають.
На деяких кадрах видно, що на місці "віддаленої" людини залишається прозорий або напівпрозорий фантомний слід. Справа в тому, що система аналізує лише доступне тло і поки що не завжди адекватно може домальовувати його. Це залежить від складності фону — чим він простіший і однорідніший, тим кращий кінцевий результат.
Для тестування використовувалася ОС Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0, а обробка йшла на відеокарті NVIDIA GeForce GTX 1080 Ti. Самі вихідники відкриті і можуть використовуватись усіма. При цьому зазначимо, що така технологія може застосовуватись і в зловмисних цілях. Наприклад, щоб «приховати» порушення правил дорожнього руху чи інші злочини, які потрапили на камери.
Джерело: 3dnews.ru