Sekumpulan penyelidik dari beberapa universiti Amerika menerbitkan projek (Fungsi Tersirat Pixel-Aligned), yang membolehkan anda menggunakan kaedah pembelajaran mesin untuk membina model 3D seseorang daripada satu atau lebih imej dua dimensi. Sistem ini membolehkan anda mencipta semula pilihan pakaian yang kompleks, seperti skirt berlipat dan tumit, dan pelbagai gaya rambut, memulihkan tekstur dan bentuk secara bebas di kawasan yang tidak kelihatan dalam unjuran dari mana model 3D dibina. Untuk meningkatkan kualiti dan perincian model 3D akhir, beberapa imej dari sudut berbeza boleh digunakan. Kod projek ditulis dalam Python menggunakan rangka kerja PyTorch dan di bawah lesen MIT.
Rangkaian saraf digunakan sebagai sumber untuk membina semula susun atur tiga dimensi, yang membolehkan anda memilih bentuk yang paling mungkin dan mencipta elemen tersembunyi, bermula daripada model yang dilatih pada pelbagai versi objek sedia ada. Secara selari, projek ini menyediakan algoritma untuk memadankan susun atur isipadu yang terhasil dengan tekstur dalam imej 2D yang disediakan, yang menjajarkan piksel imej 3D mengikut kedudukannya pada objek XNUMXD dan menjana tekstur yang paling mungkin hilang. Mana-mana imej boleh dikodkan untuk
seni bina gunaan pembinaan semula permukaan "", a
rangkaian neural berasaskan seni bina digunakan untuk pemadanan tekstur .
Model terlatih siap pakai yang digunakan oleh penyelidik tersedia untuk muat turun percuma, tetapi data mentah yang digunakan untuk latihan kekal peribadi kerana ia berdasarkan imbasan 3D komersial. Boleh digunakan sebagai sumber untuk latihan kendiri model orang daripada projek Renderpeople.
Sumber: opennet.ru