Buksan ang code para sa animation synthesis gamit ang mga neural network

Usa ka grupo sa mga tigdukiduki gikan sa Shanghai Technical University gipatik himan Imbistador, nga nagtugot sa paggamit sa mga pamaagi sa pagkat-on sa makina sa pagsundog sa mga lihok sa mga tawo gamit ang static nga mga hulagway, ingon man usab sa pag-ilis sa mga sinina, pagbalhin niini ngadto sa laing palibot ug pag-usab sa anggulo diin ang usa ka butang makita. Ang code gisulat sa Python
gamit ug framework PyTorch. Gikinahanglan usab ang Assembly torchvision ug CUDA Toolkit.

Ang toolkit makadawat og duha ka dimensyon nga hulagway isip input ug nag-synthesize sa giusab nga resulta base sa pinili nga modelo. Tulo ka mga kapilian sa pagbag-o ang gisuportahan:
Paghimo og usa ka naglihok nga butang nga nagsunod sa mga lihok diin ang modelo gibansay. Pagbalhin sa mga elemento sa panagway gikan sa usa ka modelo ngadto sa usa ka butang (pananglitan, usa ka pagbag-o sa sinina). Pagmugna sa usa ka bag-ong anggulo (pananglitan, synthesis sa usa ka profile nga imahe base sa usa ka full-face nga litrato). Ang tanan nga tulo ka mga pamaagi mahimong ikombinar, pananglitan, makahimo ka og usa ka video gikan sa usa ka litrato nga nagsundog sa paghimo sa usa ka komplikadong acrobatic trick sa lain-laing mga sinina.

Atol sa proseso sa synthesis, ang mga operasyon sa pagpili sa usa ka butang sa usa ka litrato ug pagporma sa nawala nga mga elemento sa background kung ang paglihok dungan nga gihimo. Ang modelo sa neural network mahimong mabansay sa makausa ug magamit alang sa lainlaing mga pagbag-o. Para sa loading magamit andam nga mga modelo nga nagtugot kanimo sa paggamit dayon sa mga himan nga wala’y pasiuna nga pagbansay. Ang usa ka GPU nga adunay gidak-on sa memorya nga labing menos 8GB ang gikinahanglan aron makalihok.

Dili sama sa mga pamaagi sa pagbag-o nga gibase sa pagbag-o pinaagi sa mga yawe nga punto nga naghulagway sa lokasyon sa lawas sa duha ka dimensyon nga wanang, ang Impersonator misulay sa pag-synthesize sa usa ka tulo-ka-dimensional nga mesh nga adunay paghulagway sa lawas gamit ang mga pamaagi sa pagkat-on sa makina.
Ang gisugyot nga pamaagi nagtugot alang sa mga manipulasyon nga gikonsiderar ang personal nga porma sa lawas ug karon nga postura, nga nagsundog sa natural nga mga paglihok sa mga bukton.

Aron mapreserbar ang orihinal nga kasayuran sama sa mga texture, istilo, kolor ug pag-ila sa nawong sa panahon sa proseso sa pagbag-o, generative adversarial neural network (Liquid Warping GAN). Ang kasayuran bahin sa gigikanan nga butang ug mga parameter alang sa tukma nga pag-ila niini makuha pinaagi sa pag-apply convolutional neural network.

Source: opennet.ru