Um grupo de pesquisadores de várias universidades americanas publicou um projeto (Função Implícita Alinhada por Pixels), que permite aplicar métodos de aprendizado de máquina para construir um modelo 3D de uma pessoa a partir de uma ou várias imagens bidimensionais. O sistema possibilita a recriação de variações complexas de roupas, como saias com pregas e sapatos de salto alto, além de diversos penteados, restaurando automaticamente textura e forma em áreas invisíveis na projeção, pela qual o modelo 3D é construído. Para aumentar a qualidade e o detalhamento do modelo 3D final, várias imagens de diferentes ângulos podem ser utilizadas. O código do projeto está escrito na linguagem Python utilizando o framework PyTorch e sob a licença MIT.
Como fonte para a reconstrução do modelo volumétrico, uma rede neural é utilizada para escolher a forma mais provável e preencher elementos ocultos, baseando-se em um modelo treinado com várias versões de objetos existentes. Paralelamente, o projeto fornece um algoritmo para mapear o modelo volumétrico obtido com as texturas nas imagens bidimensionais fornecidas, que alinha os pixels da imagem 2D de acordo com sua posição no objeto 3D e gera as texturas ausentes mais prováveis. Para codificação da imagem, qualquer , para
a arquitetura "" foi aplicada para a reconstrução da superfície e
para mapeamento de texturas, foi utilizada uma rede neural baseada na arquitetura .
O modelo treinado utilizado pelos pesquisadores está disponível para download gratuito, mas os dados originais nos quais o treinamento foi realizado permanecem fechados, pois são baseados nos resultados de escaneamento 3D comercial. Como fonte para o auto-treinamento do modelo, pode ser utilizada uma de pessoas do projeto Renderpeople.
Fonte: opennet.ru
