Ang source code ng PIXIE machine learning system ay binuksan, na nagbibigay-daan sa iyong lumikha ng mga 3D na modelo at animated na avatar ng katawan ng tao mula sa isang larawan. Ang mga makatotohanang texture ng mukha at damit na naiiba sa mga nakalarawan sa orihinal na larawan ay maaaring ilakip sa resultang modelo. Maaaring gamitin ang system, halimbawa, upang mag-render mula sa ibang lugar, gumawa ng animation, buuin muli ang katawan batay sa hugis ng mukha, at bumuo ng 3D na modelo ng mga daliri. Ang code ay nakasulat sa Python gamit ang Pytorch framework at ipinamahagi sa ilalim ng isang non-commercial na paggamit lamang ng lisensya.
Nakasaad na, kumpara sa mga katulad na proyekto, pinapayagan ka ng PIXIE na mas tumpak na muling likhain ang mga contour ng katawan, na una ay nakatago sa pamamagitan ng damit sa litrato, ang hugis ng mukha at ang posisyon ng mga joints ng mga kamay. Ang pamamaraan ay batay sa paggamit ng isang neural network, na kumukuha ng mga parameter ng mukha, katawan at mga kamay mula sa isang pixel na imahe. Ang gawain ng neural network ay pinag-ugnay ng isang espesyal na controller, na, batay sa isang pagsusuri ng pag-iilaw, ay nagdaragdag ng impormasyon tungkol sa mga weighting coefficient ng iba't ibang bahagi ng katawan upang ibukod ang pagtuklas ng mga hindi likas na poses. Kapag lumilikha ng isang modelo, ang mga anatomical na pagkakaiba sa pagitan ng lalaki at babae na katawan, mga parameter ng postura, pag-iilaw, pagpapakita ng ibabaw at pag-ikot ng mukha sa isang three-dimensional na eroplano ay isinasaalang-alang.
Mga Tampok ng PIXIE:
- Ang na-reconstruct na 3D body model, pati na rin ang impormasyon tungkol sa pose, posisyon ng kamay at facial expression, ay naka-save bilang isang set ng SMPL-X na mga parameter, na maaaring magamit sa ibang pagkakataon sa Blender modeling system sa pamamagitan ng isang plugin.
- Mula sa litrato, ang detalyadong impormasyon ay tinutukoy tungkol sa hugis at pagpapahayag ng mukha, pati na rin ang mga tampok nito, tulad ng pagkakaroon ng mga wrinkles (ang DECA machine learning system, na binuo ng parehong mga may-akda, ay ginagamit upang bumuo ng isang head model) .
- Kapag bumubuo ng texture ng mukha, tinatantya ang albedo ng bagay.
- Ang itinayong modelo ng katawan ay maaaring i-animate o ipakita sa ibang pose.
- Suporta para sa pagbuo ng isang modelo mula sa mga ordinaryong larawan ng isang tao sa mga natural na kondisyon. Ang PIXIE ay mahusay na gumagana ng pag-detect ng iba't ibang pose, kondisyon ng pag-iilaw, at paghadlang sa visibility ng mga bahagi ng isang bagay.
- Mataas na pagganap, angkop para sa dynamic na pagproseso ng mga larawan ng camera.
Pinagmulan: opennet.ru