Odprta so izvorna besedila sistema strojnega učenja PIXIE, ki omogoča ustvarjanje 3D modelov in animiranih avatarjev človeškega telesa iz ene fotografije. Dobljenemu modelu lahko prilepite realistične teksture obraza in oblačil, ki se razlikujejo od tistih na izvirni fotografiji. S sistemom je mogoče na primer risati z drugega zornega kota, ustvariti animacijo, rekonstruirati telo glede na obliko obraza in oblikovati 3D model prstov. Koda je napisana v Pythonu z uporabo ogrodja Pytorch in se distribuira pod licenco, ki dovoljuje samo nekomercialno uporabo.
Navedeno je, da vam PIXIE v primerjavi s podobnimi projekti omogoča natančnejšo poustvarjanje obrisov telesa, prvotno skritih z oblačili na fotografiji, oblike obraza in položaja sklepov rok. Metoda temelji na uporabi nevronske mreže, ki iz slike slikovnih pik izloči parametre obraza, telesa in roke. Delo nevronske mreže usklajuje poseben regulator, ki na podlagi analize osvetlitve dodaja informacije o koeficientih teže različnih delov telesa, da odpravi definicijo nenaravnih poz. Pri izdelavi modela se upoštevajo anatomske razlike med moškim in ženskim telesom, parametri poze, osvetlitev, odbojnost površine in rotacija obraza v tridimenzionalni ravnini.
Funkcije PIXIE:
- Rekonstruiran 3D model telesa ter informacije o postavi, položaju rok in izrazih obraza so shranjeni kot nabor parametrov SMPL-X, ki jih je kasneje mogoče uporabiti v sistemu za modeliranje Blender prek vtičnika.
- Podrobne informacije o obliki in izrazu obraza ter njegovih značilnostih, kot je prisotnost gub, se določijo iz fotografije (za izdelavo modela glave je uporabljen sistem strojnega učenja DECA, ki so ga razvili isti avtorji).
- Pri ustvarjanju teksture obraza se oceni albedo objekta.
- Konstruiran model telesa lahko kasneje animiramo ali predstavimo v drugačni pozi.
- Podpora za izdelavo modela iz običajnih fotografij, na katerih je oseba posneta v naravnih razmerah. PIXIE dobro definira različne poze, svetlobne pogoje in zakrije vidnost delov predmeta.
- Visoka zmogljivost, primerna za dinamično obdelavo slike kamere.
Vir: opennet.ru