Sare neuronalak erabiliz animazio-sintesirako kode irekia

Shanghaiko Unibertsitate Teknikoko ikertzaile talde bat argitaratuko tresnak Itxuratzailea, eta horrek aukera ematen du ikaskuntza automatikoko metodoak erabiltzea irudi estatikoen bidez pertsonen mugimenduak simulatzeko, baita arropa ordezkatzeko, beste ingurune batera transferitzeko eta objektu bat ikusteko angelua aldatzeko ere. Kodea Python-en idatzita dago
marko bat erabiliz PyTorch. Muntaketak ere eskatzen du zuzi-ikuspegia eta CUDA Toolkit.

Sare neuronalak erabiliz animazio-sintesirako kode irekia

Tresnak bi dimentsioko irudi bat jasotzen du sarrera gisa eta hautatutako ereduan oinarritutako emaitza aldatu bat sintetizatzen du. Hiru eraldaketa aukera onartzen dira:
Modeloa entrenatu zen mugimenduei jarraitzen dien objektu mugikor bat sortzea. Itxura elementuak modelo batetik objektu batera transferitzea (adibidez, arropa aldatzea). Angelu berri bat sortzea (adibidez, aurpegi osoko argazki batean oinarritutako profileko irudi baten sintesia). Hiru metodoak konbina daitezke, adibidez, arropa ezberdinetan akrobazia trikimailu konplexu baten errendimendua simulatzen duen argazki batetik bideo bat sor dezakezu.

Sintesi-prozesuan, argazki batean objektu bat hautatzeko eta mugitzean falta diren atzeko elementuak osatzeko eragiketak aldi berean egiten dira. Sare neuronalaren eredua behin entrenatu daiteke eta hainbat eraldaketatarako erabil daiteke. Kargatzeko eskuragarri prest egindako ereduak, tresnak berehala erabiltzeko aukera ematen dutenak aldez aurretiko prestakuntzarik gabe. Gutxienez 8 GB-ko memoria-tamaina duen GPU bat behar da funtzionatzeko.

Gorputzaren kokapena bi dimentsioko espazioan deskribatzen duten puntu gakoen bidez eraldaketan oinarritutako eraldaketa-metodoek ez bezala, Impersonator-ek hiru dimentsioko sare bat sintetizatzen saiatzen da gorputzaren deskribapen batekin, ikaskuntza automatikoko metodoak erabiliz.
Proposatutako metodoak gorputz-forma pertsonalizatua eta egungo jarrera kontuan hartuta manipulazioak egiteko aukera ematen du, gorputz-adarraren mugimendu naturalak simulatuz.

Sare neuronalak erabiliz animazio-sintesirako kode irekia

Jatorrizko informazioa gordetzeko, hala nola testurak, estiloa, koloreak eta aurpegi-ezagutza eraldaketa-prozesuan zehar, aurkarikako sare neuronal sortzailea (Deformazio likidoa GAN). Iturburu-objektuari buruzko informazioa eta haren identifikazio zehatza lortzeko parametroak ateratzen dira aplikatuz sare neuronal konboluzionala.


Iturria: opennet.ru

Gehitu iruzkin berria