Un grupo de investigadores de varias universidades americanas publicó un proyecto (Función implícita alineada con píxeles), que le permite aplicar métodos de aprendizaje automático para construir un modelo 3D de una persona a partir de una o más imágenes bidimensionales. El sistema permite recrear opciones de ropa complejas, como faldas plisadas y tacones, y varios peinados, restaurando de forma independiente textura y forma en áreas invisibles en la proyección a partir de la cual se construye el modelo 3D. Para aumentar la calidad y el detalle del modelo 3D final, se pueden utilizar varias imágenes desde diferentes ángulos. El código del proyecto está escrito en Python utilizando el marco PyTorch y bajo la licencia del MIT.
Se utiliza una red neuronal como fuente para reconstruir un diseño tridimensional, lo que permite seleccionar la forma más probable e inventar elementos ocultos, a partir de un modelo entrenado en varias versiones de objetos existentes. Paralelamente, el proyecto proporciona un algoritmo para hacer coincidir el diseño volumétrico resultante con las texturas de las imágenes 2D proporcionadas, que alinea los píxeles de la imagen 3D según su posición en el objeto XNUMXD y genera las texturas que más probablemente faltan. Cualquier imagen se puede codificar. para
Arquitectura aplicada a la reconstrucción de superficies ".", a
La red neuronal basada en arquitectura se utiliza para igualar texturas. .
El modelo entrenado ya preparado utilizado por los investigadores. está disponible para su descarga gratuita, pero los datos sin procesar utilizados para la capacitación siguen siendo privados ya que se basan en escaneos 3D comerciales. Puede utilizarse como fuente para el autoentrenamiento del modelo. personas del proyecto Renderpeople.
Fuente: opennet.ru