Código aberto para síntese de animação usando redes neurais

Um grupo de pesquisadores da Universidade Técnica de Xangai publicado ferramentas Imitador, que permite utilizar métodos de aprendizado de máquina para simular movimentos de pessoas por meio de imagens estáticas, bem como substituir roupas, transferi-las para outro ambiente e alterar o ângulo de visualização de um objeto. O código está escrito em Python
usando uma estrutura PyTorch. A montagem também requer visão da tocha e kit de ferramentas CUDA.

O kit de ferramentas recebe uma imagem bidimensional como entrada e sintetiza um resultado modificado com base no modelo selecionado. Três opções de transformação são suportadas:
Criando um objeto em movimento que segue os movimentos nos quais o modelo foi treinado. Transferir elementos de aparência de um modelo para um objeto (por exemplo, uma muda de roupa). Geração de um novo ângulo (por exemplo, síntese de uma imagem de perfil a partir de uma fotografia de rosto inteiro). Todos os três métodos podem ser combinados, por exemplo, você pode gerar um vídeo a partir de uma fotografia que simula a execução de um truque acrobático complexo em roupas diferentes.

Durante o processo de síntese, são realizadas simultaneamente as operações de selecionar um objeto em uma fotografia e formar os elementos de fundo que faltam durante o movimento. O modelo de rede neural pode ser treinado uma vez e usado para várias transformações. Para carregar disponível modelos prontos que permitem o uso imediato das ferramentas sem treinamento prévio. É necessária uma GPU com memória de pelo menos 8 GB para funcionar.

Ao contrário dos métodos de transformação baseados na transformação por pontos-chave que descrevem a localização do corpo no espaço bidimensional, o Impersonator tenta sintetizar uma malha tridimensional com uma descrição do corpo usando métodos de aprendizado de máquina.
O método proposto permite manipulações levando em consideração a forma corporal personalizada e a postura atual, simulando os movimentos naturais dos membros.

Para preservar informações originais como texturas, estilo, cores e reconhecimento facial durante o processo de transformação, rede neural adversária generativa (Deformação líquida GAN). Informações sobre o objeto fonte e parâmetros para sua identificação precisa são extraídas aplicando-se rede neural convolucional.

Fonte: opennet.ru