Un grupo de investigadores de la Universidad Técnica de Shanghái un conjunto de herramientas , que permite simular movimientos de personas en imágenes estáticas mediante métodos de aprendizaje automático, así como cambiar la ropa, trasladar a otro entorno y cambiar el ángulo desde el cual se ve el objeto. El código está escrito en Python
utilizando el marco . Para la compilación también se requiere y CUDA Toolkit.
El conjunto de herramientas recibe como entrada una imagen bidimensional y sintetiza un resultado modificado basado en el modelo seleccionado. Hay tres tipos de transformaciones soportadas:
Creación de un objeto en movimiento que replica los movimientos en los que se entrenó el modelo. Transferencia de elementos de apariencia del modelo al objeto (por ejemplo, cambio de ropa). Generación de un nuevo ángulo (por ejemplo, síntesis de una imagen de perfil basada en una foto de frente). Los tres métodos pueden combinarse; por ejemplo, se puede generar un video a partir de una foto, imitando la realización de un truco acrobático complejo con ropa diferente.
Durante el proceso de síntesis, se realizan operaciones de segmentación del objeto en la fotografía y de formación de los elementos de fondo que faltan al trasladarse. El modelo para la red neuronal puede entrenarse una vez y utilizarse para diversas transformaciones. Para la carga modelos listos para usar, que permiten utilizar inmediatamente el conjunto de herramientas sin necesidad de un entrenamiento previo. Se requiere una GPU con al menos 8 GB de memoria.
A diferencia de los métodos de transformación basados en la transformación por puntos clave que describen la ubicación del cuerpo en un espacio bidimensional, en Impersonator se ha intentado sintetizar una malla tridimensional (mesh) que describe el cuerpo, utilizando métodos de aprendizaje automático.
El método propuesto permite realizar manipulaciones teniendo en cuenta la forma personalizada del cuerpo y la postura actual, modelando movimientos naturales de las extremidades.
Para preservar la información original, como texturas, estilo, colores y reconocimiento facial, durante el proceso de transformación se aplica (). La información sobre el objeto original y los parámetros para su identificación precisa se extraen mediante la aplicación .
Fuente: opennet.ru
