Teks sumber sistem pembelajaran mesin PIXIE, yang memungkinkan Anda membuat model 3D dan avatar animasi tubuh manusia dari satu foto, terbuka. Tekstur wajah dan pakaian yang realistis dapat dilampirkan pada model yang dihasilkan, yang berbeda dari yang digambarkan pada foto aslinya. Sistem tersebut dapat digunakan misalnya untuk menggambar dari sudut pandang yang berbeda, membuat animasi, merekonstruksi tubuh sesuai dengan bentuk wajah, dan membentuk model 3D dari jari-jari. Kode ditulis dalam Python menggunakan kerangka kerja Pytorch dan didistribusikan di bawah lisensi yang memungkinkan penggunaan non-komersial saja.
Dinyatakan bahwa dibandingkan dengan proyek serupa, PIXIE memungkinkan Anda membuat ulang kontur tubuh dengan lebih akurat, yang awalnya tersembunyi oleh pakaian di foto, bentuk wajah, dan posisi persendian tangan. Metode ini didasarkan pada penggunaan jaringan saraf yang mengekstraksi parameter wajah, tubuh, dan tangan dari citra piksel. Pekerjaan jaringan saraf dikoordinasikan oleh pengatur khusus, yang berdasarkan analisis iluminasi, menambahkan informasi tentang koefisien bobot berbagai bagian tubuh untuk menghilangkan definisi pose yang tidak wajar. Saat membuat model, perbedaan anatomi antara tubuh pria dan wanita, parameter pose, pencahayaan, reflektifitas permukaan, dan rotasi wajah dalam bidang tiga dimensi diperhitungkan.
Fitur PIXIE:
- Model tubuh 3D yang direkonstruksi, serta informasi tentang pose, posisi tangan, dan ekspresi wajah disimpan sebagai seperangkat parameter SMPL-X, yang nantinya dapat digunakan dalam sistem pemodelan Blender melalui plugin.
- Informasi mendetail tentang bentuk dan ekspresi wajah, serta ciri-cirinya, seperti adanya kerutan, ditentukan dari foto (sistem pembelajaran mesin DECA yang dikembangkan oleh penulis yang sama digunakan untuk membuat model kepala).
- Saat menghasilkan tekstur wajah, albedo objek diperkirakan.
- Model tubuh yang dibangun nantinya dapat dianimasikan atau disajikan dalam pose yang berbeda.
- Dukungan untuk membangun model dari foto biasa yang diambil seseorang dalam kondisi alami. PIXIE berhasil menentukan berbagai pose, kondisi pencahayaan, dan mengaburkan visibilitas bagian objek.
- Performa tinggi, cocok untuk pemrosesan gambar kamera yang dinamis.
Sumber: opennet.ru