Téks sumber tina sistem pembelajaran mesin PIXIE, anu ngamungkinkeun anjeun nyiptakeun modél 3D sareng avatar animasi awak manusa tina hiji poto, dibuka. Tékstur realistis tina raray sareng baju tiasa digantelkeun kana modél anu dihasilkeun, anu béda ti anu digambarkeun dina poto aslina. Sistemna tiasa dianggo, contona, ngagambar tina sudut pandang anu béda, nyiptakeun animasi, ngarekonstruksikeun awak dumasar kana bentuk raray, sareng ngabentuk modél ramo 3D. Kodeu ditulis dina Python nganggo kerangka Pytorch sareng disebarkeun dina lisénsi anu ngamungkinkeun pikeun panggunaan non-komérsial wungkul.
Disebutkeun yén dibandingkeun sareng proyék-proyék anu sami, PIXIE ngamungkinkeun anjeun langkung akurat nyiptakeun kontur awak, anu asalna disumputkeun ku pakean dina poto, bentuk raray sareng posisi mendi leungeun. Metoda ieu dumasar kana pamakéan jaringan saraf nu extracts beungeut, awak, jeung parameter leungeun tina gambar piksel. Pagawean jaringan neural dikoordinir ku controller husus, nu, dumasar kana analisis katerangan, nambahan informasi ngeunaan koefisien beurat sagala rupa bagian awak pikeun ngaleungitkeun harti penah wajar. Nalika nyiptakeun modél, bédana anatomis antara awak jalu sareng awéwé, parameter pose, cahaya, réfléktifitas permukaan sareng rotasi raray dina pesawat tilu diménsi dipertimbangkeun.
Keunggulan PIXIE:
- Modél 3D awak anu direkonstruksi, kitu ogé inpormasi ngeunaan pose, posisi leungeun sareng ekspresi wajah disimpen salaku set parameter SMPL-X, anu engké tiasa dianggo dina sistem modél Blénder ngalangkungan plugin.
- Inpormasi anu lengkep ngeunaan bentuk sareng ekspresi wajah, kitu ogé fiturna, sapertos ayana kedutan, ditangtukeun tina poto (sistem pembelajaran mesin DECA anu dikembangkeun ku pangarang anu sami dianggo pikeun ngawangun modél sirah).
- Nalika ngahasilkeun tékstur raray, albedo obyék diperkirakeun.
- Modél awak anu diwangun engké tiasa animasi atanapi dibere dina pose anu béda.
- Rojongan pikeun ngawangun modél tina poto biasa dimana hiji jalma dicandak dina kaayaan alam. PIXIE ngalaksanakeun tugas anu saé pikeun nangtukeun pose anu béda, kaayaan cahaya, sareng ngahamburkeun pisibilitas bagéan hiji obyék.
- Kinerja tinggi, cocog pikeun ngolah dinamis gambar kaméra.
sumber: opennet.ru