Un grupo de investigadores de la Universidad Técnica de Shanghai herramientas , que permite utilizar métodos de aprendizaje automático para simular los movimientos de las personas mediante imágenes estáticas, así como reemplazar ropa, transferirla a otro entorno y cambiar el ángulo desde el que se ve un objeto. El código está escrito en Python.
usando un marco . El montaje también requiere y kit de herramientas CUDA.
El kit de herramientas recibe una imagen bidimensional como entrada y sintetiza un resultado modificado según el modelo seleccionado. Se admiten tres opciones de transformación:
Crear un objeto en movimiento que siga los movimientos en los que se entrenó el modelo. Transferir elementos de apariencia de un modelo a un objeto (por ejemplo, una muda de ropa). Generación de un nuevo ángulo (por ejemplo, síntesis de una imagen de perfil a partir de una fotografía de rostro completo). Los tres métodos se pueden combinar; por ejemplo, se puede generar un vídeo a partir de una fotografía que simule la realización de un complejo truco acrobático con diferente ropa.
Durante el proceso de síntesis se realizan simultáneamente las operaciones de seleccionar un objeto en una fotografía y formar los elementos de fondo que faltan al moverse. El modelo de red neuronal se puede entrenar una vez y utilizar para varias transformaciones. Para cargar modelos listos para usar que le permiten utilizar las herramientas inmediatamente sin capacitación previa. Para funcionar, se requiere una GPU con un tamaño de memoria de al menos 8 GB.
A diferencia de los métodos de transformación basados en la transformación por puntos clave que describen la ubicación del cuerpo en un espacio bidimensional, Impersonator intenta sintetizar una malla tridimensional con una descripción del cuerpo utilizando métodos de aprendizaje automático.
El método propuesto permite manipulaciones teniendo en cuenta la forma corporal personalizada y la postura actual, simulando los movimientos naturales de las extremidades.
Para preservar información original como texturas, estilo, colores y reconocimiento facial durante el proceso de transformación, (). La información sobre el objeto fuente y los parámetros para su identificación precisa se extraen aplicando .
Fuente: opennet.ru