Abriuse o código fonte do sistema de aprendizaxe automática PIXIE, o que lle permite crear modelos 3D e avatares animados do corpo humano a partir dunha foto. Pódense unir ao modelo resultante texturas faciais e de roupa realistas que difiran das representadas na fotografía orixinal. O sistema pódese utilizar, por exemplo, para renderizar desde un punto de vista diferente, crear animación, reconstruír o corpo en función da forma da cara e xerar un modelo 3D dos dedos. O código está escrito en Python usando o marco Pytorch e distribúese baixo unha licenza de uso non comercial.
Indícase que, en comparación con proxectos similares, PIXIE permite recrear con maior precisión os contornos do corpo, ocultos inicialmente pola roupa na fotografía, a forma da cara e a posición das articulacións das mans. O método baséase no uso dunha rede neuronal, que extrae os parámetros da cara, o corpo e as mans dunha imaxe de píxeles. O traballo da rede neuronal está coordinado por un controlador especial, que, baseado nunha análise da iluminación, engade información sobre os coeficientes de ponderación de varias partes do corpo para excluír a detección de poses non naturais. Ao crear un modelo téñense en conta as diferenzas anatómicas entre o corpo masculino e feminino, os parámetros de postura, a iluminación, a reflectividade superficial e a rotación da cara nun plano tridimensional.
Características de PIXIE:
- O modelo corporal 3D reconstruído, así como a información sobre a pose, a posición da man e a expresión facial, gárdase como un conxunto de parámetros SMPL-X, que posteriormente se poden usar no sistema de modelado Blender mediante un complemento.
- A partir da fotografía determínase información detallada sobre a forma e expresión da cara, así como as súas características, como a presenza de engurras (o sistema de aprendizaxe automática DECA, desenvolvido polos mesmos autores, utilízase para construír un modelo de cabeza) .
- Cando se xera unha textura de cara, estímase o albedo do obxecto.
- O modelo corporal construído posteriormente pode ser animado ou presentado nunha pose diferente.
- Soporte para construír unha maqueta a partir de fotografías ordinarias dunha persoa en condicións naturais. PIXIE fai un bo traballo detectando diferentes poses, condicións de iluminación e obstruíndo a visibilidade de partes dun obxecto.
- Alto rendemento, axeitado para o procesamento dinámico de imaxes da cámara.
Fonte: opennet.ru