Cod deschis pentru sinteza animației folosind rețele neuronale

Echipa de cercetare de la Universitatea Tehnică din Shanghai а publicat unelte interpret, care permite, folosind metode de învățare automată, simularea mișcării oamenilor în imagini statice, precum și înlocuirea hainelor, transferul în alt mediu și modificarea unghiului din care obiectul este vizibil. Codul este scris în Python
folosind cadrul PyTorch. De asemenea, asamblarea necesită viziunea cu torță și CUDA Toolkit.

Setul de instrumente preia o imagine XNUMXD ca intrare și sintetizează un rezultat modificat pe baza modelului selectat. Sunt acceptate trei opțiuni de transformare:
Crearea unui obiect în mișcare care repetă mișcările pe care a fost antrenat modelul. Trecerea elementelor de aspect de la model la obiect (de exemplu, schimbarea hainelor). Generarea unui nou unghi (de exemplu, sintetizarea unei imagini de profil pe baza unei fotografii frontale). Toate cele trei metode pot fi combinate, de exemplu, este posibil să se genereze un videoclip dintr-o fotografie care imită performanța unei cascadorii acrobatice complexe în haine diferite.

În procesul de sinteză, se realizează simultan operațiunile de selectare a unui obiect dintr-o fotografie și de formare a elementelor lipsă ale fundalului la mișcare. Un model pentru o rețea neuronală poate fi antrenat o dată și utilizat pentru diferite transformări. Pentru încărcare disponibil modele gata făcute care vă permit să utilizați imediat instrumentele fără pregătire prealabilă. Necesită un GPU cu cel puțin 8 GB de memorie.

Spre deosebire de metodele de transformare bazate pe transformarea prin puncte cheie care descriu locația corpului în spațiul bidimensional, în Impersonator s-a încercat sintetiza unei rețele tridimensionale (mesh) cu o descriere a corpului folosind metode de învățare automată.
Metoda propusă permite manipulări ținând cont de forma personalizată a corpului și de postura actuală, simulând mișcările naturale ale membrelor.

Pentru a păstra informațiile originale, cum ar fi texturile, stilul, culorile și recunoașterea feței, procesul de transformare folosește rețea neuronală generativă adversară (GAN de deformare lichidă). Informațiile despre obiectul original și parametrii pentru identificarea lui precisă sunt extrase prin aplicare rețea neuronală convoluțională.

Sursa: opennet.ru