Hoy en día, eliminar un elemento molesto de una foto ya no es un problema para muchos. Las habilidades básicas en Photoshop o las redes neuronales de moda pueden resolver el problema. Sin embargo, en el caso del video, la situación se complica, ya que es necesario procesar al menos 24 fotogramas por segundo de video.
Y aquí en Github hay una utilidad que automatiza estas acciones, permitiendo eliminar cualquier objeto en movimiento del video. Simplemente hay que delimitar el objeto no deseado con un marco usando el cursor, y el sistema se encargará del resto. La utilidad se llama de forma sencilla — video-object-removal. Sin embargo, en su núcleo se encuentran tecnologías avanzadas.
El sistema utiliza una red neuronal que procesa el video fotograma a fotograma, reemplazando el objeto o persona no deseada con el fondo. El programa puede cambiar hasta 55 fotogramas por segundo, reconstruyendo el fondo en función de la imagen circundante. Aunque al examinarlo de cerca se hace evidente que el método de eliminación de objetos no es perfecto, los resultados son impresionantes.
En algunos fotogramas se puede ver que en el lugar de la persona "eliminada" queda un rastro fantasma transparente o semi-transparente. Esto se debe a que el sistema solo analiza el fondo disponible y aún no puede reproducirlo de manera adecuada en todas las ocasiones. Esto depende de la complejidad del fondo: cuanto más simple y homogéneo sea, mejor será el resultado final.
Para las pruebas se utilizó el sistema operativo Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0, y el procesamiento se realizó en la tarjeta gráfica NVIDIA GeForce GTX 1080 Ti. Los propios archivos fuente son abiertos y pueden ser utilizados por todos. Cabe destacar que esta tecnología también puede ser utilizada con fines malintencionados. Por ejemplo, para "ocultar" infracciones de tráfico u otros delitos capturados por cámaras.
Fuente: 3dnews.ru
