Cod agored ar gyfer synthesis animeiddio gan ddefnyddio rhwydweithiau niwral

Mae grŵp o ymchwilwyr o Brifysgol Dechnegol Shanghai cyhoeddi offer dynwaredwr, sy'n caniatáu defnyddio dulliau dysgu peiriant i efelychu symudiadau pobl gan ddefnyddio delweddau statig, yn ogystal â disodli dillad, eu trosglwyddo i amgylchedd arall a newid yr ongl y mae gwrthrych yn weladwy ohoni. Mae'r cod wedi'i ysgrifennu yn Python
defnyddio fframwaith PyTorch. Cynulliad hefyd yn gofyn fflachlamp a Phecyn Cymorth CUDA.

Mae'r pecyn cymorth yn derbyn delwedd dau ddimensiwn fel mewnbwn ac yn syntheseiddio canlyniad wedi'i addasu yn seiliedig ar y model a ddewiswyd. Cefnogir tri opsiwn trawsnewid:
Creu gwrthrych symudol sy'n dilyn y symudiadau y cafodd y model ei hyfforddi arno. Trosglwyddo elfennau ymddangosiad o fodel i wrthrych (er enghraifft, newid dillad). Cynhyrchu ongl newydd (er enghraifft, synthesis o ddelwedd proffil yn seiliedig ar ffotograff wyneb llawn). Gellir cyfuno'r tri dull, er enghraifft, gallwch gynhyrchu fideo o ffotograff sy'n efelychu perfformiad tric acrobatig cymhleth mewn gwahanol ddillad.

Yn ystod y broses synthesis, mae gweithrediadau dewis gwrthrych mewn ffotograff a ffurfio'r elfennau cefndir coll wrth symud yn cael eu perfformio ar yr un pryd. Gellir hyfforddi'r model rhwydwaith niwral unwaith a'i ddefnyddio ar gyfer trawsnewidiadau amrywiol. Ar gyfer llwytho ar gael modelau parod sy'n eich galluogi i ddefnyddio'r offer ar unwaith heb hyfforddiant rhagarweiniol. Mae angen GPU gyda maint cof o 8GB o leiaf i weithredu.

Yn wahanol i ddulliau trawsnewid sy'n seiliedig ar drawsnewid gan bwyntiau allweddol sy'n disgrifio lleoliad y corff mewn gofod dau ddimensiwn, mae Impersonator yn ceisio syntheseiddio rhwyll tri dimensiwn â disgrifiad o'r corff gan ddefnyddio dulliau dysgu peiriant.
Mae'r dull arfaethedig yn caniatáu ar gyfer triniaethau gan gymryd i ystyriaeth siâp personol y corff ac osgo presennol, gan efelychu symudiadau naturiol y coesau a'r breichiau.

I gadw gwybodaeth wreiddiol fel gweadau, arddull, lliwiau ac adnabyddiaeth wyneb yn ystod y broses drawsnewid, rhwydwaith niwral gwrthwynebol cynhyrchiol (Hylif Warping GAN). Mae gwybodaeth am y gwrthrych ffynhonnell a pharamedrau ar gyfer ei adnabod yn fanwl gywir yn cael ei dynnu trwy gymhwyso rhwydwaith niwral convolutional.

Ffynhonnell: opennet.ru