Mae PIFu yn system dysgu peirianyddol ar gyfer adeiladu model 3D o berson yn seiliedig ar ffotograffau 2D

Cyhoeddodd grŵp o ymchwilwyr o sawl prifysgol yn America brosiect PIFu (Swyddogaeth Oblygedig Picsel), sy'n eich galluogi i gymhwyso dulliau dysgu peirianyddol i adeiladu model 3D o berson o un neu fwy o ddelweddau dau ddimensiwn. Mae'r system yn caniatáu ichi ail-greu opsiynau dillad cymhleth, fel sgertiau a sodlau pleated, a steiliau gwallt amrywiol, gan adfer gwead a siâp yn annibynnol mewn ardaloedd anweledig yn yr amcanestyniad y mae'r model 3D wedi'i adeiladu ohono. Er mwyn cynyddu ansawdd a manylder y model 3D terfynol, gellir defnyddio sawl delwedd o wahanol onglau. Mae cod y prosiect wedi'i ysgrifennu yn Python gan ddefnyddio fframwaith PyTorch a dosbarthu gan dan drwydded MIT.

PIFu - system ddysgu peirianyddol ar gyfer adeiladu model 3D o berson yn seiliedig ar ffotograffau 2D

Defnyddir rhwydwaith niwral fel ffynhonnell ar gyfer ail-greu cynllun tri dimensiwn, sy'n eich galluogi i ddewis y siâp mwyaf tebygol a dyfeisio elfennau cudd, gan ddechrau o fodel sydd wedi'i hyfforddi ar fersiynau amrywiol o wrthrychau presennol. Ar yr un pryd, mae'r prosiect yn darparu algorithm ar gyfer paru'r gosodiad cyfeintiol canlyniadol â gweadau yn y delweddau 2D a ddarperir, sy'n alinio picsel y ddelwedd 3D yn ôl eu safle ar y gwrthrych XNUMXD ac yn cynhyrchu'r gweadau coll mwyaf tebygol. Gellir amgodio unrhyw ddelwedd rhwydwaith niwral convolutionalcanys
ailadeiladu wyneb pensaernïaeth gymhwysol "Gwydr awr wedi'i bentyrru", a
rhwydwaith niwral seiliedig ar bensaernïaeth yn cael ei ddefnyddio ar gyfer paru gwead CycleGAN.

PIFu - system ddysgu peirianyddol ar gyfer adeiladu model 3D o berson yn seiliedig ar ffotograffau 2D

Y model hyfforddedig parod a ddefnyddir gan yr ymchwilwyr ar gael ar gael i'w lawrlwytho am ddim, ond mae'r data crai a ddefnyddir ar gyfer hyfforddiant yn parhau i fod yn breifat gan ei fod yn seiliedig ar sganiau 3D masnachol. Gellir ei ddefnyddio fel ffynhonnell ar gyfer hunan-hyfforddi'r model Cronfa ddata model 3D pobl o'r prosiect Renderpeople.

Ffynhonnell: opennet.ru

Ychwanegu sylw