Malferma kodo por animacia sintezo per neŭralaj retoj

Grupo de esploristoj de Ŝanhaja Teknika Universitato eldonita iloj Impersonanto, kiu permesas uzi maŝinlernajn metodojn por simuli la movojn de homoj per senmovaj bildoj, same kiel anstataŭigi vestaĵojn, translokigi ilin al alia medio kaj ŝanĝi la angulon de kiu objekto estas videbla. La kodo estas skribita en Python
uzante kadron PyTorch. Asembleo ankaŭ postulas torĉovido kaj CUDA Ilaro.

Malferma kodo por animacia sintezo per neŭralaj retoj

La ilaro ricevas dudimensian bildon kiel enigaĵon kaj sintezas modifitan rezulton bazitan sur la elektita modelo. Tri transformopcioj estas subtenataj:
Kreante moviĝantan objekton, kiu sekvas la movojn, sur kiuj la modelo estis trejnita. Transdono de elementoj de aspekto de modelo al objekto (ekzemple, ŝanĝo de vestaĵo). Generacio de nova angulo (ekzemple, sintezo de profilbildo bazita sur plenvizaĝa foto). Ĉiuj tri metodoj povas esti kombinitaj, ekzemple, vi povas generi videon el foto, kiu simulas la agadon de kompleksa akrobata lertaĵo en malsamaj vestaĵoj.

Dum la sinteza procezo, la operacioj elekti objekton en foto kaj formi la mankantajn fonelementojn dum moviĝado estas samtempe faritaj. La modelo de neŭrala reto povas esti trejnita unufoje kaj uzata por diversaj transformoj. Por ŝarĝo disponebla pretaj modeloj, kiuj ebligas vin tuj uzi la ilojn sen prepara trejnado. GPU kun memorgrando de almenaŭ 8GB estas necesa por funkcii.

Male al transformmetodoj bazitaj sur transformo de ĉefpunktoj priskribantaj la lokon de la korpo en dudimensia spaco, Imitisto provas sintezi tridimensian maŝon kun priskribo de la korpo uzante maŝinlernajn metodojn.
La proponita metodo permesas manipuladojn konsiderante la personigitan korpoformon kaj nunan pozon, simulante la naturajn movojn de la membroj.

Malferma kodo por animacia sintezo per neŭralaj retoj

Por konservi originalajn informojn kiel teksturoj, stilo, koloroj kaj vizaĝrekono dum la transformprocezo, genera kontraŭa neŭrala reto (Likva Varpado GAN). Informoj pri la fontobjekto kaj parametroj por ĝia preciza identigo estas ĉerpitaj per aplikado konvolucia neŭrala reto.


fonto: opennet.ru

Aldoni komenton