Un groupe de chercheurs de l'Université technique de Shanghai outils , qui permet d'utiliser des méthodes d'apprentissage automatique pour simuler les mouvements des personnes à l'aide d'images statiques, ainsi que de remplacer les vêtements, de les transférer dans un autre environnement et de modifier l'angle sous lequel un objet est visible. Le code est écrit en Python
en utilisant un cadre . L'assemblage nécessite également et la boîte à outils CUDA.
La boîte à outils reçoit une image bidimensionnelle en entrée et synthétise un résultat modifié basé sur le modèle sélectionné. Trois options de transformation sont prises en charge :
Créer un objet en mouvement qui suit les mouvements sur lesquels le modèle a été entraîné. Transférer des éléments d'apparence d'un modèle à un objet (par exemple, un vêtement de rechange). Génération d'un nouvel angle (par exemple, synthèse d'une image de profil à partir d'une photographie de face). Les trois méthodes peuvent être combinées, par exemple, vous pouvez générer une vidéo à partir d'une photographie qui simule l'exécution d'un tour acrobatique complexe dans différents vêtements.
Au cours du processus de synthèse, les opérations de sélection d'un objet dans une photographie et de formation des éléments d'arrière-plan manquants lors du déplacement sont effectuées simultanément. Le modèle de réseau neuronal peut être entraîné une seule fois et utilisé pour diverses transformations. Pour le chargement des modèles prêts à l'emploi qui vous permettent d'utiliser immédiatement les outils sans formation préalable. Un GPU avec une taille de mémoire d'au moins 8 Go est requis pour fonctionner.
Contrairement aux méthodes de transformation basées sur la transformation par points clés décrivant la localisation du corps dans un espace bidimensionnel, Impersonator tente de synthétiser un maillage tridimensionnel avec une description du corps à l'aide de méthodes d'apprentissage automatique.
La méthode proposée permet des manipulations prenant en compte la forme personnalisée du corps et la posture actuelle, simulant les mouvements naturels des membres.
Pour conserver les informations originales telles que les textures, le style, les couleurs et la reconnaissance faciale pendant le processus de transformation, (). Les informations sur l'objet source et les paramètres permettant son identification précise sont extraites en appliquant .
Source: opennet.ru