En gruppe forskere fra flere amerikanske universiteter har offentliggjort et projekt (Pixel-Aligned Implicit Function), der gør det muligt at anvende metoder til maskinlæring til at konstruere en 3D-model af en person baseret på et eller flere 2D-billeder. Systemet kan genskabe komplekse klædeskabsvarianter som nederdele med folder og højhælede sko samt forskellige frisurer, idet det selv kan genskabe tekstur og form i de områder, der er usynlige i projektet, hvormed 3D-modellen konstrueres. For at øge kvaliteten og detaljegraden af den endelige 3D-model kan der anvendes flere billeder fra forskellige vinkler. Koden til projektet er skrevet på Python ved hjælp af PyTorch-rammen. under MIT-licensen.
Som kilde til rekonstruering af den rummelige model anvendes et neuralt netværk, der kan vælge den mest sandsynlige form og udfylde skjulte elementer baseret på en model, der er trænet på forskellige varianter af eksisterende objekter. Samtidig giver projektet en algoritme til at matche den opnåede rummelige model med teksturerne i de leverede 2D-billeder, som justerer pixels fra 2D-billedet i henhold til deres position på 3D-objektet og genererer de mest sandsynlige manglende teksturer. Enhver , for
til overfladerekonstruktion anvendes arkitekturen „“, og
til teksturmatchning anvendes et neuralt netværk baseret på arkitekturen .
Den færdige model, der blev anvendt af forskerne, er tilgængelig til gratis download, men de oprindelige data, som træningen blev udført på, forbliver lukkede, da de er baseret på resultaterne af kommerciel 3D-scanning. Som kilde til selvtræning af modellen kan der anvendes af mennesker fra projektet Renderpeople.
Kilde: opennet.ru
