Código aberto para síntese de animación mediante redes neuronais

Un grupo de investigadores da Universidade Técnica de Shanghai publicado ferramentas Imitador, que permite utilizar métodos de aprendizaxe automática para simular os movementos das persoas mediante imaxes estáticas, así como substituír roupa, transferila a outro ambiente e cambiar o ángulo desde o que un obxecto é visible. O código está escrito en Python
utilizando un marco PyTorch. A montaxe tamén require antorcha e CUDA Toolkit.

O conxunto de ferramentas recibe unha imaxe bidimensional como entrada e sintetiza un resultado modificado en función do modelo seleccionado. Admítense tres opcións de transformación:
Creación dun obxecto en movemento que siga os movementos nos que se adestrou o modelo. Transferencia de elementos de aparencia dun modelo a un obxecto (por exemplo, un cambio de roupa). Xeración dun novo ángulo (por exemplo, síntese dunha imaxe de perfil baseada nunha fotografía de cara completa). Os tres métodos pódense combinar, por exemplo, pode xerar un vídeo a partir dunha fotografía que simule a realización dun complexo truco acrobático con diferentes roupas.

Durante o proceso de síntese realízanse simultaneamente as operacións de selección dun obxecto nunha fotografía e formación dos elementos de fondo que faltan ao moverse. O modelo de rede neuronal pódese adestrar unha vez e usarse para varias transformacións. Para cargar dispoñible modelos preparados que che permiten usar as ferramentas inmediatamente sen formación previa. Requírese unha GPU cun tamaño de memoria de polo menos 8 GB para funcionar.

A diferenza dos métodos de transformación baseados na transformación por puntos clave que describen a localización do corpo no espazo bidimensional, Impersonator tenta sintetizar unha malla tridimensional cunha descrición do corpo mediante métodos de aprendizaxe automática.
O método proposto permite manipulacións tendo en conta a forma personalizada do corpo e a postura actual, simulando os movementos naturais dos membros.

Para preservar información orixinal como texturas, estilo, cores e recoñecemento facial durante o proceso de transformación, rede neuronal adversaria xerativa (Deformación líquida GAN). A información sobre o obxecto fonte e os parámetros para a súa identificación precisa extráense aplicando rede neuronal convolucional.

Fonte: opennet.ru