Codul sursă al sistemului de învățare automată PIXIE a fost deschis, permițându-vă să creați modele 3D și avatare animate ale corpului uman dintr-o singură fotografie. Texturile faciale și vestimentare realiste care diferă de cele descrise în fotografia originală pot fi atașate modelului rezultat. Sistemul poate fi folosit, de exemplu, pentru a reda dintr-un punct de vedere diferit, pentru a crea animație, pentru a reconstrui corpul pe baza formei feței și pentru a genera un model 3D al degetelor. Codul este scris în Python folosind framework-ul Pytorch și este distribuit sub o licență de utilizare necomercială.
Se afirmă că, în comparație cu proiecte similare, PIXIE vă permite să recreați mai precis contururile corpului, ascunse inițial de îmbrăcăminte în fotografie, forma feței și poziția articulațiilor mâinilor. Metoda se bazează pe utilizarea unei rețele neuronale, care extrage parametrii feței, corpului și mâinilor dintr-o imagine pixelată. Lucrarea rețelei neuronale este coordonată de un controler special, care, pe baza unei analize a iluminării, adaugă informații despre coeficienții de ponderare a diferitelor părți ale corpului pentru a exclude detectarea unor poziții nenaturale. La crearea unui model, se iau în considerare diferențele anatomice dintre corpul masculin și cel feminin, parametrii posturii, iluminarea, reflectivitatea suprafeței și rotația feței într-un plan tridimensional.
Caracteristicile lui PIXIE:
- Modelul corpului 3D reconstruit, precum și informațiile despre poziția, poziția mâinii și expresia facială, sunt salvate ca un set de parametri SMPL-X, care pot fi utilizați ulterior în sistemul de modelare Blender printr-un plugin.
- Din fotografie, se determină informații detaliate despre forma și expresia feței, precum și caracteristicile acesteia, cum ar fi prezența ridurilor (sistemul de învățare automată DECA, dezvoltat de aceiași autori, este folosit pentru a construi un model de cap) .
- Când se generează o textură a feței, albedo-ul obiectului este estimat.
- Modelul corpului construit poate fi ulterior animat sau prezentat într-o ipostază diferită.
- Suport pentru construirea unui model din fotografii obișnuite ale unei persoane în condiții naturale. PIXIE face o treabă bună detectând diferite poziții, condiții de iluminare și obstrucționând vizibilitatea părților unui obiect.
- Înaltă performanță, potrivit pentru procesarea dinamică a imaginilor camerei.
Sursa: opennet.ru
