Skupina istraživača s nekoliko američkih sveučilišta objavila je projekt (Pixel-Aligned Implicit Function), koja vam omogućuje primjenu metoda strojnog učenja za izradu 3D modela osobe iz jedne ili više dvodimenzionalnih slika. Sustav vam omogućuje rekreaciju složenih odjevnih opcija, kao što su plisirane suknje i štikle, te razne frizure, neovisno obnavljajući teksturu i oblik u područjima nevidljivim u projekciji iz koje je izgrađen 3D model. Za povećanje kvalitete i detalja konačnog 3D modela, može se koristiti nekoliko slika iz različitih kutova. Kôd projekta napisan je u Pythonu korištenjem okvira PyTorch i pod licencom MIT-a.
Neuronska mreža koristi se kao izvor za rekonstrukciju trodimenzionalnog izgleda, što vam omogućuje odabir najvjerojatnijeg oblika i izmišljanje skrivenih elemenata, počevši od modela obučenog na različitim verzijama postojećih objekata. Paralelno, projekt pruža algoritam za usklađivanje rezultirajućeg volumetrijskog izgleda s teksturama u danim 2D slikama, koji poravnava piksele 3D slike prema njihovom položaju na XNUMXD objektu i generira teksture koje najvjerojatnije nedostaju. Bilo koja slika može se kodirati za
površinska rekonstrukcija primijenjena arhitektura "", a
neuronska mreža temeljena na arhitekturi koristi se za usklađivanje tekstura .
Gotovi obučeni model koji koriste istraživači dostupan je za besplatno preuzimanje, ali neobrađeni podaci korišteni za obuku ostaju privatni jer se temelje na komercijalnim 3D skenovima. Može se koristiti kao izvor za samoobuku modela ljudi iz projekta Renderpeople.
Izvor: opennet.ru