O código-fonte do sistema de aprendizado de máquina PIXIE foi aberto, permitindo criar modelos 3D e avatares animados do corpo humano a partir de uma foto. Texturas faciais e de roupas realistas que diferem daquelas retratadas na fotografia original podem ser anexadas ao modelo resultante. O sistema pode ser usado, por exemplo, para renderizar a partir de um ponto de vista diferente, criar animação, reconstruir o corpo com base no formato do rosto e gerar um modelo 3D dos dedos. O código é escrito em Python usando a estrutura Pytorch e é distribuído sob uma licença somente para uso não comercial.
Afirma-se que, em comparação com projetos semelhantes, o PIXIE permite recriar com maior precisão os contornos do corpo, inicialmente escondidos pelas roupas na fotografia, o formato do rosto e a posição das articulações das mãos. O método é baseado na utilização de uma rede neural, que extrai os parâmetros do rosto, corpo e mãos de uma imagem pixelada. O trabalho da rede neural é coordenado por um controlador especial que, com base na análise da iluminação, adiciona informações sobre os coeficientes de ponderação de várias partes do corpo para excluir a detecção de poses não naturais. Na criação de um modelo são levadas em consideração as diferenças anatômicas entre o corpo masculino e feminino, parâmetros de postura, iluminação, refletividade da superfície e rotação da face no plano tridimensional.
Recursos do Pixie:
- O modelo corporal 3D reconstruído, bem como informações sobre pose, posição das mãos e expressão facial, são salvos como um conjunto de parâmetros SMPL-X, que posteriormente podem ser utilizados no sistema de modelagem Blender por meio de um plugin.
- A partir da fotografia são determinadas informações detalhadas sobre o formato e expressão do rosto, bem como suas características, como a presença de rugas (o sistema de aprendizado de máquina DECA, desenvolvido pelos mesmos autores, é utilizado para construir um modelo de cabeça) .
- Ao gerar uma textura facial, o albedo do objeto é estimado.
- O modelo corporal construído pode posteriormente ser animado ou apresentado em uma pose diferente.
- Suporte para construção de modelo a partir de fotografias comuns de uma pessoa em condições naturais. PIXIE faz um bom trabalho ao detectar diferentes poses, condições de iluminação e obstruir a visibilidade de partes de um objeto.
- Alto desempenho, adequado para processamento dinâmico de imagens de câmeras.
Fonte: opennet.ru