Un grupo de investigadores de varias universidades estadounidenses publicou un proxecto (Función implícita aliñada en píxeles), que permite aplicar métodos de aprendizaxe automática para construír un modelo 3D dunha persoa a partir dunha ou máis imaxes bidimensionais. O sistema permítelle recrear opcións de roupa complexas, como saias e tacóns plisados, e varios peiteados, restaurando de forma independente a textura e a forma en áreas invisibles na proxección a partir da que se constrúe o modelo 3D. Para aumentar a calidade e o detalle do modelo 3D final, pódense utilizar varias imaxes desde diferentes ángulos. O código do proxecto está escrito en Python usando o framework PyTorch e baixo a licenza MIT.
Unha rede neuronal utilízase como fonte para reconstruír un esquema tridimensional, o que permite seleccionar a forma máis probable e inventar elementos ocultos, partindo dun modelo adestrado en varias versións de obxectos existentes. Paralelamente, o proxecto proporciona un algoritmo para facer coincidir o deseño volumétrico resultante con texturas nas imaxes 2D proporcionadas, que aliña os píxeles da imaxe 3D segundo a súa posición no obxecto XNUMXD e xera as texturas que faltan máis probable. Calquera imaxe pódese codificar por
arquitectura aplicada de reconstrución de superficies"", a
A rede neuronal baseada na arquitectura utilízase para a correspondencia de texturas .
O modelo adestrado xa preparado utilizado polos investigadores está dispoñible para descarga gratuíta, pero os datos en bruto utilizados para o adestramento seguen sendo privados xa que se basean en dixitalizacións 3D comerciais. Pódese utilizar como fonte de autoformación do modelo persoas do proxecto Renderpeople.
Fonte: opennet.ru