Código aberto para síntese de animação usando redes neurais

Um grupo de pesquisadores da Universidade de Tecnologia de Xangai publicou um conjunto de ferramentas Impersonator, que utiliza métodos de aprendizado de máquina para simular movimentos de pessoas em imagens estáticas, além de trocar roupas, transferir para outro ambiente e alterar o ângulo de visão do objeto. O código foi escrito na linguagem Python
usando o framework PyTorch. Para a montagem, é necessário também torchvision e CUDA Toolkit.

A ferramenta recebe uma imagem bidimensional e sintetiza um resultado alterado com base no modelo escolhido. Suporta três tipos de transformações:
Criação de um objeto em movimento que reproduz os movimentos para os quais o modelo foi treinado. Transferência de elementos de aparência do modelo para o objeto (por exemplo, mudar de roupa). Geração de um novo ângulo (por exemplo, sintetizar uma imagem de perfil com base em uma foto de frente). Todos os três métodos podem ser combinados, por exemplo, é possível gerar um vídeo a partir de uma foto, imitando a execução de uma acrobacia complexa com roupas diferentes.

Durante o processo de síntese, operações de segmentação do objeto na foto e formação dos elementos de fundo que faltam durante a movimentação são realizadas. O modelo para a rede neural pode ser treinado uma vez e utilizado para várias transformações. Para download estão disponíveis modelos prontos, permitindo o uso imediato da ferramenta sem necessidade de treinamento prévio. Para operação, é necessário um GPU com pelo menos 8GB de memória.

Ao contrário dos métodos de transformação baseados em pontos chave que descrevem a posição do corpo no espaço bidimensional, no Impersonator foi tentada a síntese de uma malha tridimensional (mesh) com a descrição do corpo, utilizando métodos de aprendizado de máquina.
O método proposto permite realizar manipulações considerando a forma personalizada do corpo e a pose atual, modelando movimentos naturais dos membros.

Para preservar informações originais, como texturas, estilo, cores e reconhecimento facial, durante a transformação aplica-se uma rede neural generativa adversarial (Liquid Warping GAN). A informação sobre o objeto original e parâmetros para sua identificação precisa são extraídos por meio da aplicação de uma rede neural convolucional.

Fonte: opennet.ru