Los textos fuente del sistema de aprendizaje automático PIXIE, que permite crear modelos 3D y avatares animados del cuerpo humano a partir de una sola foto, están abiertos. Se pueden adjuntar texturas realistas de la cara y la ropa al modelo resultante, que difieren de las que se muestran en la foto original. El sistema se puede utilizar, por ejemplo, para dibujar desde un punto de vista diferente, crear animaciones, reconstruir el cuerpo según la forma de la cara y formar un modelo 3D de los dedos. El código está escrito en Python utilizando el marco Pytorch y se distribuye bajo una licencia que solo permite el uso no comercial.
Se afirma que, en comparación con proyectos similares, PIXIE le permite recrear con mayor precisión los contornos del cuerpo, originalmente ocultos por la ropa en la fotografía, la forma de la cara y la posición de las articulaciones de las manos. El método se basa en el uso de una red neuronal que extrae parámetros de cara, cuerpo y mano de una imagen de píxeles. El trabajo de la red neuronal está coordinado por un regulador especial que, basado en el análisis de la iluminación, agrega información sobre los coeficientes de peso de varias partes del cuerpo para eliminar la definición de poses no naturales. Al crear un modelo, se tienen en cuenta las diferencias anatómicas entre los cuerpos masculino y femenino, los parámetros de pose, la iluminación, la reflectividad de la superficie y la rotación de la cara en un plano tridimensional.
Características de PIXIE:
- El modelo 3D reconstruido del cuerpo, así como la información sobre la pose, la posición de las manos y las expresiones faciales se guardan como un conjunto de parámetros SMPL-X, que luego se pueden utilizar en el sistema de modelado de Blender a través de un complemento.
- A partir de la fotografía se determina información detallada sobre la forma y expresión del rostro, así como sus características, como la presencia de arrugas (para construir el modelo de la cabeza se utiliza el sistema de aprendizaje automático DECA desarrollado por los mismos autores).
- Al generar una textura de cara, se estima el albedo del objeto.
- El modelo de cuerpo construido puede luego ser animado o presentado en una pose diferente.
- Soporte para construir un modelo a partir de fotografías ordinarias en las que se toma una persona en condiciones naturales. PIXIE hace un buen trabajo al definir diferentes poses, condiciones de iluminación y oscurecer la visibilidad de partes de un objeto.
- Alto rendimiento, adecuado para el procesamiento dinámico de la imagen de la cámara.
Fuente: opennet.ru