Mae cod ffynhonnell system dysgu peiriant PIXIE wedi'i agor, sy'n eich galluogi i greu modelau 3D ac afatarau animeiddiedig o'r corff dynol o un llun. Gellir cysylltu gweadau wyneb a dillad realistig sy'n wahanol i'r rhai a ddarlunnir yn y ffotograff gwreiddiol i'r model canlyniadol. Gellir defnyddio'r system, er enghraifft, i rendro o fan gwylio gwahanol, creu animeiddiad, ail-greu'r corff yn seiliedig ar siΓ’p yr wyneb, a chynhyrchu model 3D o'r bysedd. Ysgrifennir y cod yn Python gan ddefnyddio fframwaith Pytorch ac fe'i dosberthir o dan drwydded defnydd anfasnachol yn unig.
Dywedir, o'i gymharu Γ’ phrosiectau tebyg, bod PIXIE yn caniatΓ‘u ichi ail-greu cyfuchliniau'r corff yn fwy cywir, wedi'u cuddio i ddechrau gan ddillad yn y ffotograff, siΓ’p yr wyneb a lleoliad cymalau'r dwylo. Mae'r dull yn seiliedig ar ddefnyddio rhwydwaith niwral, sy'n tynnu paramedrau'r wyneb, y corff a'r dwylo o ddelwedd picsel. Mae gwaith y rhwydwaith niwral yn cael ei gydlynu gan reolwr arbennig, sydd, yn seiliedig ar ddadansoddiad o oleuo, yn ychwanegu gwybodaeth am gyfernodau pwysoli gwahanol rannau o'r corff i wahardd canfod ystumiau annaturiol. Wrth greu model, ystyrir y gwahaniaethau anatomegol rhwng y corff gwrywaidd a benywaidd, paramedrau ystum, goleuo, adlewyrchedd wyneb a chylchdroi'r wyneb mewn awyren tri dimensiwn.
Nodweddion PIXIE:
- Mae'r model corff 3D wedi'i ail-greu, yn ogystal Γ’ gwybodaeth am ystum, safle dwylo a mynegiant yr wyneb, yn cael ei arbed fel set o baramedrau SMPL-X, y gellir eu defnyddio'n ddiweddarach yn system fodelu Blender trwy ategyn.
- O'r ffotograff, pennir gwybodaeth fanwl am siΓ’p a mynegiant yr wyneb, yn ogystal Γ’'i nodweddion, megis presenoldeb crychau (defnyddir system dysgu peiriant DECA, a ddatblygwyd gan yr un awduron, i adeiladu model pen) .
- Wrth gynhyrchu gwead wyneb, amcangyfrifir albedo'r gwrthrych.
- Yn ddiweddarach, gellir animeiddio'r model corff adeiledig neu ei gyflwyno mewn ystum gwahanol.
- Cefnogaeth ar gyfer adeiladu model o ffotograffau cyffredin o berson mewn amodau naturiol. Mae PIXIE yn gwneud gwaith da o ganfod gwahanol ystumiau, amodau goleuo, a rhwystro gwelededd rhannau o wrthrych.
- Perfformiad uchel, sy'n addas ar gyfer prosesu delweddau camera yn ddeinamig.
Ffynhonnell: opennet.ru