Otvoren je izvorni kod PIXIE sistema mašinskog učenja koji vam omogućava da kreirate 3D modele i animirane avatare ljudskog tela od jedne fotografije. Realistične teksture lica i odjeće koje se razlikuju od onih prikazanih na originalnoj fotografiji mogu se pričvrstiti na rezultirajući model. Sistem se može koristiti, na primjer, za renderiranje sa druge tačke gledišta, kreiranje animacije, rekonstrukciju tijela na osnovu oblika lica i generiranje 3D modela prstiju. Kod je napisan u Python-u koristeći Pytorch framework i distribuira se pod licencom samo za nekomercijalnu upotrebu.
Navodi se da, u poređenju sa sličnim projektima, PIXIE vam omogućava da preciznije rekonstruišete konture tijela, u početku skrivene odjećom na fotografiji, oblik lica i položaj zglobova ruku. Metoda se temelji na korištenju neuronske mreže, koja izdvaja parametre lica, tijela i ruku iz slike u pikselima. Rad neuronske mreže koordinira poseban kontroler, koji na osnovu analize osvjetljenja dodaje informacije o težinskim koeficijentima različitih dijelova tijela kako bi se isključilo otkrivanje neprirodnih poza. Prilikom izrade modela uzimaju se u obzir anatomske razlike između muškog i ženskog tijela, parametri držanja, osvjetljenje, površinska refleksija i rotacija lica u trodimenzionalnoj ravni.
Karakteristike PIXIE:
- Rekonstruisani 3D model tijela, kao i informacije o pozi, položaju ruku i izrazu lica, čuvaju se kao skup SMPL-X parametara, koji se kasnije mogu koristiti u Blender sistemu za modeliranje putem dodatka.
- Sa fotografije se utvrđuju detaljni podaci o obliku i izrazu lica, kao i njegovim karakteristikama, kao što je prisustvo bora (za izradu modela glave koristi se DECA sistem mašinskog učenja, koji su razvili isti autori) .
- Prilikom generiranja teksture lica, procjenjuje se albedo objekta.
- Konstruirani model tijela kasnije se može animirati ili predstaviti u drugoj pozi.
- Podrška za izgradnju modela od običnih fotografija osobe u prirodnim uvjetima. PIXIE radi dobar posao otkrivanja različitih poza, uslova osvjetljenja i ometanja vidljivosti dijelova objekta.
- Visoke performanse, pogodne za dinamičku obradu slika kamere.
izvor: opennet.ru
