Codul pentru sinteza animațiilor prin rețele neuronale a fost deschis

Un grup de cercetători de la Universitatea Tehnică din Shanghai a publicat un instrumentar Impersonator, care permite, folosind metode de învățare automată, simularea mișcărilor umane pe imagini statice, precum și schimbarea hainelor, mutarea în alte medii și schimbarea unghiului din care obiectul este vizibil. Codul este scris în limbajul Python
prin utilizarea framework-ului PyTorch. De asemenea, este necesar torchvision și CUDA Toolkit.

Instrumentul primește ca input o imagine bidimensională și sintetizează un rezultat modificat pe baza modelului selectat. Sunt susținute trei tipuri de transformări:
Crearea unui obiect în mișcare, care repetă mișcările pe care modelul a fost antrenat. Transferul elementelor de aspect din model în obiect (de exemplu, schimbarea hainelor). Generarea unei noi perspective (de exemplu, sinteza unei imagini de profil pe baza unei fotografii din față). Toate cele trei metode pot fi combinate; de exemplu, se poate genera un videoclip dintr-o fotografie, imitând execuția unei acrobații complexe în alte haine.

În procesul de sinteză, se realizează în paralel operații de extragere a obiectului din fotografie și formarea elementelor lipsă din fundal atunci când acesta se mută. Modelul pentru rețeaua neurală poate fi antrenat o singură dată și utilizat pentru diverse transformări. Pentru descărcarea sunt disponibile modelurilor pregătite, care permit utilizarea imediată a instrumentului fără a necesita antrenamente prealabile. Este necesar un GPU cu o dimensiune a memoriei de cel puțin 8GB.

Spre deosebire de metodele de transformare bazate pe transformarea prin puncte cheie, care descriu poziția corpului în spațiul bidimensional, Impersonator face o încercare de sinteză a unei rețele 3D (mesh) cu o descriere a corpului, folosind metode de învățare automată.
Metoda propusă permite manevrarea cu luarea în considerare a formei personalizate a corpului și a poziției actuale, modelând mișcările naturale ale membrelor.

Pentru a păstra informațiile originale, cum ar fi texturile, stilul, culorile și recunoașterea feței, în procesul de transformare se aplică o rețea neurală generativă adversarială (Liquid Warping GAN). Informațiile despre obiectul original și parametrii pentru identificarea sa precisă sunt extrase prin aplicarea unei rețele neuronale convoluționale.

Sursa: opennet.ro