Un grupo de investigadores de varias universidades estadounidenses ha publicado un proyecto (Función Implícita Alineada por Píxeles), que permite aplicar métodos de aprendizaje automático para construir un modelo 3D de una persona a partir de una o varias imágenes bidimensionales. El sistema permite recrear variantes complejas de ropa, como faldas con pliegues y zapatos de tacón, y diversos peinados, restaurando por sí mismo la textura y la forma en áreas que son invisibles en la proyección a partir de la cual se realiza la construcción del modelo 3D. Para aumentar la calidad y el detalle del modelo 3D final, se pueden utilizar varias imágenes desde diferentes ángulos. El código del proyecto está escrito en Python utilizando el marco PyTorch y bajo licencia MIT.
como fuente para la reconstrucción del modelo volumétrico se utiliza una red neuronal que permite elegir la forma más probable y deducir elementos ocultos, basándose en un modelo entrenado sobre diversas variantes de objetos existentes. Paralelamente, el proyecto proporciona un algoritmo para emparejar el modelo volumétrico obtenido con las texturas de las imágenes bidimensionales proporcionadas, que alinea los píxeles de la imagen 2D en función de su posición en el objeto 3D y genera las texturas que probablemente faltan. Cualquier , para
se ha aplicado la arquitectura ««, y
para el emparejamiento de texturas se ha utilizado una red neuronal basada en la arquitectura .
El modelo previamente entrenado que utilizaron los investigadores está disponible para descarga gratuita, pero los datos originales en los que se llevó a cabo el entrenamiento permanecen cerrados, ya que se basan en los resultados de un escaneo 3D comercial. Como fuente para el entrenamiento independiente del modelo puede utilizarse de personas del proyecto Renderpeople.
Fuente: opennet.ru
