Opinn kóða fyrir myndun hreyfimynda með því að nota taugakerfi

Hópur vísindamanna frá Shanghai Technical University опубликовала verkfæri Tákn, sem gerir kleift að nota vélanámsaðferðir til að líkja eftir hreyfingum fólks með því að nota kyrrstæðar myndir, auk þess að skipta um föt, flytja þau í annað umhverfi og breyta sjónarhorninu sem hlutur er sýnilegur frá. Kóðinn er skrifaður í Python
með því að nota ramma PyTorch. Samkoma krefst einnig kyndilsýn og CUDA Toolkit.

Opinn kóða fyrir myndun hreyfimynda með því að nota taugakerfi

Verkfærakistan fær tvívíddarmynd sem inntak og myndar breytta niðurstöðu byggða á valnu líkani. Þrír umbreytingarvalkostir eru studdir:
Að búa til hlut á hreyfingu sem fylgir hreyfingum sem líkanið var þjálfað í. Að flytja útlitsþætti úr líkani yfir á hlut (til dæmis fataskipti). Myndun nýs sjónarhorns (til dæmis myndun prófílmyndar sem byggir á fullri andlitsmynd). Hægt er að sameina allar þrjár aðferðirnar, til dæmis er hægt að búa til myndband úr ljósmynd sem líkir eftir frammistöðu flókins loftfimleikabragða í mismunandi fötum.

Meðan á myndvinnsluferlinu stendur eru aðgerðirnar að velja hlut í ljósmynd og mynda bakgrunnsþætti sem vantar þegar hún er hreyfð samtímis. Tauganetlíkanið er hægt að þjálfa einu sinni og nota fyrir ýmsar umbreytingar. Til að hlaða laus tilbúnar gerðir sem gera þér kleift að nota tækin strax án forþjálfunar. GPU með minnisstærð sem er að minnsta kosti 8GB er nauðsynleg til að starfa.

Ólíkt umbreytingaraðferðum sem byggja á umbreytingu með lykilatriðum sem lýsa staðsetningu líkamans í tvívíðu rými, reynir Impersonator að búa til þrívítt möskva með lýsingu á líkamanum með því að nota vélanámsaðferðir.
Fyrirhuguð aðferð gerir ráð fyrir meðferð með hliðsjón af persónulegri líkamsformi og núverandi líkamsstöðu, sem líkir eftir náttúrulegum hreyfingum útlima.

Opinn kóða fyrir myndun hreyfimynda með því að nota taugakerfi

Til að varðveita upprunalegar upplýsingar eins og áferð, stíl, liti og andlitsgreiningu meðan á umbreytingarferlinu stendur, generative andstæðingur tauganet (Liquid Warping GAN). Upplýsingar um upprunahlutinn og færibreytur fyrir nákvæma auðkenningu hans eru dregnar út með því að beita snúnings tauganet.


Heimild: opennet.ru

Bæta við athugasemd