En gruppe forskere fra flere amerikanske universiteter offentliggjorde et projekt (Pixel-Aligned Implicit Function), som giver dig mulighed for at anvende maskinlæringsmetoder til at bygge en 3D-model af en person ud fra et eller flere todimensionelle billeder. Systemet giver dig mulighed for at genskabe komplekse beklædningsmuligheder, såsom plisserede nederdele og hæle, og forskellige frisurer, og genskaber uafhængigt tekstur og form i områder, der er usynlige i den projektion, hvorfra 3D-modellen er bygget. For at øge kvaliteten og detaljerne i den endelige 3D-model kan der bruges flere billeder fra forskellige vinkler. Projektkoden er skrevet i Python ved hjælp af PyTorch frameworket og under MIT-licensen.
Et neuralt netværk bruges som en kilde til at rekonstruere et tredimensionelt layout, som giver dig mulighed for at vælge den mest sandsynlige form og opfinde skjulte elementer, startende fra en model trænet på forskellige versioner af eksisterende objekter. Parallelt hermed giver projektet en algoritme til at matche det resulterende volumetriske layout med teksturer i de medfølgende 2D-billeder, som justerer pixels i 3D-billedet i overensstemmelse med deres position på XNUMXD-objektet og genererer de mest sandsynlige manglende teksturer. Ethvert billede kan kodes til
overfladerekonstruktion anvendt arkitektur"", til
Arkitekturbaseret neuralt netværk bruges til teksturmatchning .
Den færdiglavede trænede model brugt af forskerne er tilgængelig til gratis download, men de rådata, der bruges til træning, forbliver private, da de er baseret på kommercielle 3D-scanninger. Kan bruges som kilde til selvtræning af modellen folk fra Renderpeople-projektet.
Kilde: opennet.ru