PIFu minangka sistem pembelajaran mesin kanggo mbangun model 3D saka wong adhedhasar foto 2D

Klompok peneliti saka sawetara universitas Amerika nerbitake proyek PIFu (Pixel-Aligned Implicit Function), sing ngidini sampeyan nggunakake metode learning machine kanggo mbangun model 3D saka wong saka siji utawa luwih gambar rong dimensi. Sistem kasebut ngidini sampeyan nggawe ulang pilihan sandhangan sing rumit, kayata rok lan tumit sing lipit, lan macem-macem gaya rambut, kanthi bebas mulihake tekstur lan wujud ing wilayah sing ora katon ing proyeksi saka model 3D sing dibangun. Kanggo nambah kualitas lan rinci model 3D pungkasan, sawetara gambar saka sudhut sing beda bisa digunakake. Kode project ditulis ing Python nggunakake framework PyTorch lan disebarake dening miturut lisensi MIT.

PIFu - sistem learning machine kanggo mbangun model 3D saka wong adhedhasar foto 2D

Jaringan saraf digunakake minangka sumber kanggo mbangun tata letak telung dimensi, sing ngidini sampeyan milih wangun sing paling mungkin lan nemokake unsur sing didhelikake, wiwit saka model sing dilatih ing macem-macem versi obyek sing wis ana. Ing paralel, proyek kasebut nyedhiyakake algoritma kanggo cocog karo tata letak volumetrik sing diasilake kanthi tekstur ing gambar 2D sing kasedhiya, sing nyelarasake piksel gambar 3D miturut posisi ing obyek XNUMXD lan ngasilake tekstur sing paling mungkin ilang. Gambar apa wae bisa dienkode jaringan syaraf konvolusionalkanggo
arsitektur terapan rekonstruksi permukaan "Jam pasir sing ditumpuk", a
Jaringan syaraf berbasis arsitektur digunakake kanggo pencocokan tekstur SiklusGAN.

PIFu - sistem learning machine kanggo mbangun model 3D saka wong adhedhasar foto 2D

Model terlatih sing wis siap digunakake dening peneliti kasedhiya kasedhiya kanggo download gratis, nanging data mentah sing digunakake kanggo latihan tetep pribadi amarga adhedhasar scan 3D komersial. Bisa digunakake minangka sumber kanggo latihan mandhiri model kasebut Model database 3D wong saka proyek Renderpeople.

Source: opennet.ru

Add a comment