Le code pour la synthèse d'animations à l'aide de réseaux de neurones est ouvert

Un groupe de chercheurs de l'université technique de Shanghai a publié outils Impersonator, qui permet de simuler les mouvements des personnes sur des images statiques à l'aide de techniques d'apprentissage automatique, ainsi que de remplacer les vêtements, de les transférer dans un autre environnement et de modifier l'angle de vue de l'objet. Le code est écrit en Python
en utilisant le framework PyTorch. Pour cela, il faut également torchvision et le CUDA Toolkit.

L'outil reçoit en entrée une image en deux dimensions et synthétise un résultat modifié sur la base du modèle choisi. Trois types de transformations sont pris en charge :
Création d'un objet en mouvement imitant les mouvements sur lesquels le modèle a été entraîné. Transfert des éléments d'apparence du modèle à l'objet (par exemple, changement de vêtements). Génération d'un nouvel angle de vue (par exemple, synthèse d'une image de profil à partir d'une photo de face). Les trois méthodes peuvent être combinées, par exemple, on peut générer une vidéo à partir d'une photo, imitant l'exécution d'un mouvement acrobatique complexe dans d'autres vêtements.

Au cours de la synthèse, des opérations d'extraction de l'objet sur la photo et de complétion des éléments de fond manquants lors du déplacement sont également effectuées. Le modèle pour le réseau de neurones peut être entraîné une fois et utilisé pour diverses transformations. Pour le chargement, sont disponibles des modèles prêts à l'emploi permettent d'utiliser immédiatement l'outil sans entraînement préalable. Un GPU avec au moins 8 Go de mémoire est requis.

Contrairement aux méthodes de transformation basées sur des transformations par points clés décrivant la position du corps dans l'espace en deux dimensions, l'Impersonator tente de synthétiser un maillage tridimensionnel (mesh) décrivant le corps, en utilisant des méthodes d'apprentissage automatique.
La méthode proposée permet de manipuler en tenant compte de la forme corporelle personnalisée et de la pose actuelle, en modélisant des mouvements naturels des membres.

Pour préserver les informations d'origine telles que les textures, le style, les couleurs et la reconnaissabilité du visage, une réseau de neurones antagoniste génératif (Liquid Warping GAN). Les informations sur l'objet d'origine et les paramètres pour son identification précise sont extraites à l'aide d'une réseau de neurones convolutif.

Source : opennet.ru