Teks sumber sistem pembelajaran mesin PIXIE, sing ngidini sampeyan nggawe model 3D lan avatar animasi awak manungsa saka foto siji, mbukak. Tekstur realistis saka pasuryan lan sandhangan bisa ditempelake ing model sing diasilake, sing beda karo sing digambarake ing foto asli. Sistem kasebut bisa digunakake, contone, kanggo nggambar saka sudut pandang sing beda, nggawe animasi, mbangun maneh awak miturut wangun pasuryan, lan nggawe model 3D saka driji. Kode iki ditulis ing Python nggunakake framework Pytorch lan mbagekke ing lisensi sing ngidini kanggo nggunakake non-komersial mung.
Disebutake yen dibandhingake karo proyek sing padha, PIXIE ngidini sampeyan nggawe maneh kontur awak kanthi luwih akurat, sing asale didhelikake nganggo sandhangan ing foto, wangun pasuryan lan posisi sendi tangan. Cara kasebut adhedhasar panggunaan jaringan saraf sing ngekstrak paramèter pasuryan, awak, lan tangan saka gambar piksel. Karya jaringan saraf dikoordinasi dening regulator khusus, sing, adhedhasar analisis iluminasi, nambah informasi babagan koefisien bobot saka macem-macem bagian awak kanggo ngilangi definisi pose sing ora wajar. Nalika nggawe model, beda anatomi antarane awak lanang lan wadon, nuduhke paramèter, cahya, reflektivitas permukaan lan rotasi pasuryan ing bidang telung dimensi dianggep.
Fitur PIXIE:
- Model 3D awak sing direkonstruksi, uga informasi babagan pose, posisi tangan lan ekspresi rai disimpen minangka set parameter SMPL-X, sing bisa digunakake ing sistem model Blender liwat plugin.
- Informasi rinci babagan wangun lan ekspresi pasuryan, uga fitur, kayata anané kerutan, ditemtokake saka foto (sistem pembelajaran mesin DECA sing dikembangake dening penulis sing padha digunakake kanggo mbangun model sirah).
- Nalika ngasilake tekstur pasuryan, albedo obyek dikira.
- Model awak sing dibangun mengko bisa dianimasikan utawa ditampilake ing pose sing beda.
- Dhukungan kanggo mbangun model saka foto biasa sing dijupuk wong ing kahanan alam. PIXIE nindakake pakaryan sing apik kanggo nemtokake pose sing beda-beda, kahanan cahya, lan ndhelikake visibilitas bagean obyek.
- Kinerja dhuwur, cocok kanggo pangolahan dinamis gambar kamera.
Source: opennet.ru
