En gruppe forskere fra flere amerikanske universiteter publiserte et prosjekt (Pixel-Aligned Implicit Function), som lar deg bruke maskinlæringsmetoder for å bygge en 3D-modell av en person fra ett eller flere todimensjonale bilder. Systemet lar deg gjenskape komplekse klesalternativer, som plisserte skjørt og hæler, og forskjellige frisyrer, og gjenoppretter uavhengig tekstur og form i områder som er usynlige i projeksjonen som 3D-modellen er bygget fra. For å øke kvaliteten og detaljene til den endelige 3D-modellen kan flere bilder fra forskjellige vinkler brukes. Prosjektkoden er skrevet i Python ved hjelp av PyTorch-rammeverket og under MIT-lisensen.
Et nevralt nettverk brukes som en kilde for å rekonstruere en tredimensjonal layout, som lar deg velge den mest sannsynlige formen og finne opp skjulte elementer, med utgangspunkt i en modell trent på ulike versjoner av eksisterende objekter. Parallelt gir prosjektet en algoritme for å matche den resulterende volumetriske layouten med teksturer i de medfølgende 2D-bildene, som justerer pikslene i 3D-bildet i henhold til deres posisjon på XNUMXD-objektet og genererer de mest sannsynlige manglende teksturene. Ethvert bilde kan kodes til
overflaterekonstruksjon anvendt arkitektur "", a
Arkitekturbasert nevrale nettverk brukes for teksturmatching .
Den ferdiglagde trente modellen brukt av forskerne er tilgjengelig for gratis nedlasting, men rådataene som brukes til trening forblir private siden de er basert på kommersielle 3D-skanninger. Kan brukes som kilde for egentrening av modellen folk fra Renderpeople-prosjektet.
Kilde: opennet.ru