Ang proyekto sa PIXIE alang sa paghimo og 3D nga mga modelo sa mga tawo gikan sa usa ka litrato gimantala

Ang source code sa PIXIE machine learning system giablihan, nga nagtugot kanimo sa paghimo og 3D nga mga modelo ug mga animated nga avatar sa lawas sa tawo gikan sa usa ka litrato. Ang realistiko nga mga panapton sa nawong ug sinina nga lahi sa gihulagway sa orihinal nga litrato mahimong i-attach sa resulta nga modelo. Ang sistema mahimong magamit, pananglitan, sa paghubad gikan sa usa ka lahi nga punto, paghimo og animation, pagtukod pag-usab sa lawas base sa porma sa nawong, ug pagmugna og 3D nga modelo sa mga tudlo. Ang code kay gisulat sa Python gamit ang Pytorch framework ug giapod-apod ubos sa non-commercial use only license.

Gipahayag nga, kon itandi sa susama nga mga proyekto, ang PIXIE nagtugot kanimo sa mas tukma nga paghimo sa mga contour sa lawas, nga sa sinugdan gitago sa sinina sa litrato, ang porma sa nawong ug ang posisyon sa mga lutahan sa mga kamot. Ang pamaagi gibase sa paggamit sa usa ka neural network, nga nagkuha sa mga parameter sa nawong, lawas ug mga kamot gikan sa usa ka pixel nga imahe. Ang buhat sa neural network gi-coordinate sa usa ka espesyal nga controller, nga, base sa usa ka pagtuki sa kahayag, midugang impormasyon mahitungod sa gibug-aton coefficients sa lain-laing mga bahin sa lawas aron dili iapil ang detection sa dili natural nga mga poses. Sa paghimo sa usa ka modelo, ang anatomical nga mga kalainan tali sa lalaki ug babaye nga lawas, posture parameters, suga, nawong reflectivity ug rotation sa nawong sa usa ka three-dimensional nga eroplano giisip.

Mga bahin sa PIXIE:

• Ang giayo nga 3D nga modelo sa lawas, ingon man ang kasayuran bahin sa pose, posisyon sa kamot ug ekspresyon sa nawong, gitipig ingon usa ka set sa SMPL-X nga mga parameter, nga mahimo’g magamit sa ulahi sa Blender modeling system pinaagi sa usa ka plugin.
• Gikan sa litrato, ang detalyado nga kasayuran gitino bahin sa porma ug ekspresyon sa nawong, ingon man ang mga bahin niini, sama sa presensya sa mga wrinkles (ang sistema sa pagkat-on sa makina sa DECA, nga gihimo sa parehas nga mga tagsulat, gigamit sa paghimo sa usa ka modelo sa ulo) .
• Kung maghimo usa ka texture sa nawong, ang albedo sa butang gibanabana.
• Ang gitukod nga modelo sa lawas mahimo’g i-animate o ipresentar sa usa ka lahi nga pose.
• Suporta alang sa pagtukod sa usa ka modelo gikan sa ordinaryong mga litrato sa usa ka tawo sa natural nga mga kahimtang. Ang PIXIE usa ka maayong trabaho sa pag-ila sa lain-laing mga pose, kondisyon sa suga, ug pagbabag sa visibility sa mga bahin sa usa ka butang.
• Taas nga pasundayag, angay alang sa dinamikong pagproseso sa mga imahe sa camera.

Source: opennet.ru