Több amerikai egyetem kutatóinak csoportja publikált egy projektet (Pixel-Aligned Implicit Function), amely lehetővé teszi, hogy gépi tanulási módszereket alkalmazzon egy személy 3D-s modelljének egy vagy több kétdimenziós képből történő felépítéséhez. A rendszer lehetővé teszi összetett ruházati lehetőségek, például redős szoknyák és sarkú cipők, valamint különféle frizurák újraalkotását, önállóan helyreállítva a textúrát és a formát a vetítésben, amelyből a 3D-s modell épül, nem látható területeken. A végső 3D-s modell minőségének és részletességének növelése érdekében több különböző szögből készült kép is használható. A projekt kódja Pythonban van megírva a PyTorch keretrendszer és az MIT engedélye alapján.
A neurális hálózatot forrásként használják a háromdimenziós elrendezés rekonstruálásához, amely lehetővé teszi a legvalószínűbb alak kiválasztását és a rejtett elemek feltalálását, kezdve a meglévő objektumok különféle verzióira kiképzett modellből. Ezzel párhuzamosan a projekt egy algoritmust biztosít a kapott térfogati elrendezés és a mellékelt 2D képek textúráinak párosítására, amely a 3D kép képpontjait a XNUMXD objektumon elfoglalt helyzetük szerint igazítja, és előállítja a legvalószínűbb hiányzó textúrákat. Bármilyen kép kódolható mert
felületrekonstrukciós alkalmazott építészet "", a
architektúra alapú neurális hálózatot használnak a textúra illesztéshez .
A kutatók által használt kész betanított modell ingyenesen letölthető, de az edzéshez használt nyers adatok privátak maradnak, mivel kereskedelmi 3D szkenneléseken alapulnak. Használható forrásként a modell önképzéséhez emberek a Renderpeople projektből.
Forrás: opennet.ru