Kod sumber sistem pembelajaran mesin PIXIE telah dibuka, membolehkan anda mencipta model 3D dan avatar animasi badan manusia daripada satu foto. Tekstur muka dan pakaian yang realistik yang berbeza daripada yang digambarkan dalam gambar asal boleh dilampirkan pada model yang dihasilkan. Sistem ini boleh digunakan, sebagai contoh, untuk membuat persembahan dari sudut pandang yang berbeza, mencipta animasi, membina semula badan berdasarkan bentuk muka dan menjana model 3D jari. Kod ini ditulis dalam Python menggunakan rangka kerja Pytorch dan diedarkan di bawah lesen penggunaan bukan komersial sahaja.
Dinyatakan bahawa, berbanding projek serupa, PIXIE membolehkan anda mencipta semula kontur badan dengan lebih tepat, pada mulanya disembunyikan oleh pakaian dalam gambar, bentuk muka dan kedudukan sendi tangan. Kaedah ini berdasarkan penggunaan rangkaian saraf, yang mengekstrak parameter muka, badan dan tangan daripada imej piksel. Kerja rangkaian saraf diselaraskan oleh pengawal khas, yang, berdasarkan analisis pencahayaan, menambah maklumat tentang pekali pemberat pelbagai bahagian badan untuk mengecualikan pengesanan pose yang tidak semula jadi. Apabila mencipta model, perbezaan anatomi antara badan lelaki dan wanita, parameter postur, pencahayaan, pemantulan permukaan dan putaran muka dalam satah tiga dimensi diambil kira.
Ciri-ciri PIXIE:
- Model badan 3D yang dibina semula, serta maklumat tentang pose, kedudukan tangan dan ekspresi muka, disimpan sebagai satu set parameter SMPL-X, yang kemudiannya boleh digunakan dalam sistem pemodelan Blender melalui pemalam.
- Daripada gambar, maklumat terperinci ditentukan tentang bentuk dan ekspresi muka, serta ciri-cirinya, seperti kehadiran kedutan (sistem pembelajaran mesin DECA, yang dibangunkan oleh pengarang yang sama, digunakan untuk membina model kepala) .
- Apabila menghasilkan tekstur muka, albedo objek dianggarkan.
- Model badan yang dibina kemudiannya boleh dianimasikan atau dipersembahkan dalam pose yang berbeza.
- Sokongan untuk membina model daripada gambar biasa seseorang dalam keadaan semula jadi. PIXIE melakukan tugas yang baik untuk mengesan pose yang berbeza, keadaan pencahayaan dan menghalang keterlihatan bahagian objek.
- Prestasi tinggi, sesuai untuk pemprosesan dinamik imej kamera.
Sumber: opennet.ru
