Um grupo de pesquisadores da Universidade Técnica de Xangai
usando uma estrutura
O kit de ferramentas recebe uma imagem bidimensional como entrada e sintetiza um resultado modificado com base no modelo selecionado. Três opções de transformação são suportadas:
Criando um objeto em movimento que segue os movimentos nos quais o modelo foi treinado. Transferir elementos de aparência de um modelo para um objeto (por exemplo, uma muda de roupa). Geração de um novo ângulo (por exemplo, síntese de uma imagem de perfil a partir de uma fotografia de rosto inteiro). Todos os três métodos podem ser combinados, por exemplo, você pode gerar um vídeo a partir de uma fotografia que simula a execução de um truque acrobático complexo em roupas diferentes.
Durante o processo de síntese, são realizadas simultaneamente as operações de selecionar um objeto em uma fotografia e formar os elementos de fundo que faltam durante o movimento. O modelo de rede neural pode ser treinado uma vez e usado para várias transformações. Para carregar
Ao contrário dos métodos de transformação baseados na transformação por pontos-chave que descrevem a localização do corpo no espaço bidimensional, o Impersonator tenta sintetizar uma malha tridimensional com uma descrição do corpo usando métodos de aprendizado de máquina.
O método proposto permite manipulações levando em consideração a forma corporal personalizada e a postura atual, simulando os movimentos naturais dos membros.
Para preservar informações originais como texturas, estilo, cores e reconhecimento facial durante o processo de transformação,
Fonte: opennet.ru