Kodiċi miftuħ għas-sinteżi ta 'animazzjoni bl-użu ta' netwerks newrali

Grupp ta 'riċerkaturi mill-Università Teknika ta' Shanghai ippubblikat għodod Impersonatur, li jippermetti l-użu ta 'metodi ta' tagħlim bil-magni biex jissimulaw il-movimenti tan-nies bl-użu ta 'immaġini statiċi, kif ukoll jissostitwixxu ħwejjeġ, jittrasferihom għal ambjent ieħor u jibdlu l-angolu li minnu oġġett ikun viżibbli. Il-kodiċi huwa miktub f'Python
bl-użu ta' qafas PyTorch. L-Assemblea teħtieġ ukoll torchvision u CUDA Toolkit.

Is-sett tal-għodda jirċievi immaġni bidimensjonali bħala input u jissintetizza riżultat modifikat ibbażat fuq il-mudell magħżul. Tliet għażliet ta 'trasformazzjoni huma appoġġjati:
Ħolqien ta 'oġġett li jiċċaqlaq li jsegwi l-movimenti li fuqhom il-mudell ġie mħarreġ. It-trasferiment ta 'elementi ta' dehra minn mudell għal oġġett (per eżempju, bidla ta 'ħwejjeġ). Ġenerazzjoni ta 'angolu ġdid (per eżempju, sinteżi ta' immaġni ta 'profil ibbażata fuq ritratt ta' wiċċ sħiħ). It-tliet metodi jistgħu jingħaqdu, pereżempju, tista 'tiġġenera vidjo minn ritratt li jissimula l-prestazzjoni ta' trick akrobatiku kumpless f'ħwejjeġ differenti.

Matul il-proċess ta 'sinteżi, l-operazzjonijiet ta' l-għażla ta 'oġġett f'ritratt u li jiffurmaw l-elementi ta' l-isfond neqsin meta jiċċaqilqu jitwettqu fl-istess ħin. Il-mudell tan-netwerk newrali jista 'jiġi mħarreġ darba u jintuża għal diversi trasformazzjonijiet. Għat-tagħbija disponibbli mudelli lesti li jippermettulek tuża immedjatament l-għodda mingħajr taħriġ preliminari. GPU b'daqs tal-memorja ta' mill-inqas 8GB hija meħtieġa biex topera.

B'differenza mill-metodi ta 'trasformazzjoni bbażati fuq trasformazzjoni minn punti ewlenin li jiddeskrivu l-post tal-ġisem fi spazju bidimensjonali, Impersonator jipprova jissintetizza malji tridimensjonali b'deskrizzjoni tal-ġisem billi juża metodi ta' tagħlim bil-magni.
Il-metodu propost jippermetti manipulazzjonijiet li jqisu l-għamla tal-ġisem personalizzata u l-qagħda attwali, li jissimulaw il-movimenti naturali tar-riġlejn.

Biex tippreserva l-informazzjoni oriġinali bħal nisġa, stil, kuluri u rikonoxximent tal-wiċċ matul il-proċess ta 'trasformazzjoni, netwerk newrali avversarju ġenerattiv (Likwidu Warping GAN). L-informazzjoni dwar l-oġġett tas-sors u l-parametri għall-identifikazzjoni preċiża tiegħu jiġu estratti bl-applikazzjoni netwerk newrali konvoluzzjonali.

Sors: opennet.ru