Otvoren je izvorni kod sustava za strojno učenje PIXIE koji omogućuje izradu 3D modela i animiranih avatara ljudskog tijela iz jedne fotografije. Realistične teksture lica i odjeće koje se razlikuju od onih prikazanih na izvornoj fotografiji mogu se priložiti rezultirajućem modelu. Sustav se može koristiti, primjerice, za renderiranje s druge točke gledišta, stvaranje animacije, rekonstrukciju tijela na temelju oblika lica i generiranje 3D modela prstiju. Kôd je napisan u Pythonu korištenjem okvira Pytorch i distribuira se pod licencom samo za nekomercijalnu upotrebu.
Navodi se da, u usporedbi sa sličnim projektima, PIXIE omogućuje točnije rekreiranje kontura tijela, u početku skrivenih odjećom na fotografiji, oblika lica i položaja zglobova ruku. Metoda se temelji na korištenju neuronske mreže, koja izdvaja parametre lica, tijela i ruku iz slike piksela. Rad neuronske mreže koordinira poseban kontroler, koji na temelju analize osvjetljenja dodaje informacije o koeficijentima težine različitih dijelova tijela kako bi se isključila detekcija neprirodnih poza. Prilikom izrade modela uzimaju se u obzir anatomske razlike između muškog i ženskog tijela, parametri držanja, osvjetljenje, površinska refleksija i rotacija lica u trodimenzionalnoj ravnini.
Značajke PIXIE:
- Rekonstruirani 3D model tijela, kao i informacije o pozi, položaju ruke i izrazu lica, sprema se kao skup SMPL-X parametara, koji se kasnije mogu koristiti u sustavu za modeliranje Blender putem dodatka.
- Iz fotografije se utvrđuju detaljni podaci o obliku i izrazu lica, kao i njegovim značajkama, poput prisutnosti bora (za izradu modela glave koristi se sustav strojnog učenja DECA, koji su razvili isti autori) .
- Prilikom generiranja teksture lica procjenjuje se albedo objekta.
- Konstruirani model tijela kasnije se može animirati ili prikazati u drugoj pozi.
- Podrška za izradu modela od običnih fotografija osobe u prirodnim uvjetima. PIXIE dobro detektira različite poze, uvjete osvjetljenja i ometa vidljivost dijelova objekta.
- Visoke performanse, pogodne za dinamičku obradu slika fotoaparata.
Izvor: opennet.ru