На сегодняшний день для многих уже не является проблемой удаление мешающего элемента с фотографии. Базовые навыки работы в Photoshop или модные сегодня нейросети могут решить проблему. Однако в случае с видео ситуация осложняется, ведь нужно обработать минимум 24 кадра на одну секунду видео.
И вот на Github утилита, которая автоматизирует эти действия, позволяя удалять любые движущиеся объекты с видео. Достаточно просто выделить лишний объект рамкой с помощью курсора, а система сделает всё остальное. Утилита называется незамысловато — video-object-removal. Однако в её основе лежат продвинутые технологии.
Система использует нейросеть, которая обрабатывает видео покадрово, заменяя ненужный объект или человека фоном. Программа может менять до 55 кадров в секунду, достраивая фон на основе окружающего изображения. Хотя при ближайшем рассмотрении становится ясно, что метод удаления объектов далеко не идеален, результаты впечатляют.
На некоторых кадрах видно, что на месте «удалённого» человека остаётся прозрачный или полупрозрачный фантомный след. Дело в том, что система анализирует лишь доступный фон и пока что не всегда адекватно может дорисовывать его. Это зависит от сложности фона — чем он проще и однороднее, тем лучше конечный результат.
Для тестирования использовалась ОС Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0, а обработка шла на видеокарте NVIDIA GeForce GTX 1080 Ti. Сами исходники открыты и могут использоваться всеми. При этом отметим, что такая технология может применяться и в злонамеренных целях. Например, чтобы «скрыть» нарушения правил дорожного движения или другие преступления, попавшие на камеры.
Sors: 3dnews.ru