PIXIE ikasketa automatikoko sistemaren iturburu kodea ireki da, argazki batetik giza gorputzaren 3D ereduak eta avatar animatuak sortzeko aukera emanez. Jatorrizko argazkian irudikatutakoekin desberdinak diren aurpegiko eta arropa ehundura errealistak erantsi daitezke emaitzaren ereduari. Sistema erabil daiteke, adibidez, beste talaia batetik errendatzeko, animazioa sortzeko, gorputza berreraikitzeko aurpegiaren formaren arabera eta hatzen 3D eredua sortzeko. Kodea Python-en idatzita dago Pytorch esparrua erabiliz eta erabilera ez-komertzialaren lizentziapean banatzen da.
Esan ohi da, antzeko proiektuekin alderatuta, PIXIEk gorputzaren ingerada zehatzago birsortzeko aukera ematen duela, hasieran argazkian arropak ezkutatuta, aurpegiaren forma eta eskuen artikulazioen posizioa. Metodoa sare neuronal baten erabileran oinarritzen da, aurpegiaren, gorputzaren eta eskuen parametroak pixel irudi batetik ateratzen dituena. Neurona-sarearen lana kontrolagailu berezi batek koordinatzen du, zeinak, argiztapenaren analisian oinarrituta, gorputzeko hainbat atalen ponderazio-koefizienteei buruzko informazioa gehitzen du naturarik gabeko jarrerak detektatzeko. Eredu bat sortzerakoan, gizonezkoen eta emakumezkoen gorputzaren arteko desberdintasun anatomikoak, jarrera parametroak, argiztapena, gainazaleko isladagarritasuna eta aurpegiaren biraketa hiru dimentsioko plano batean hartzen dira kontuan.
PIXIEren ezaugarriak:
- Berreraikitako 3D gorputz-eredua, baita pose, esku-posizioari eta aurpegi-adierazpenei buruzko informazioa ere, SMPL-X parametroen multzo gisa gordetzen da, gero plugin baten bidez Blender modelizazio-sisteman erabil daitekeena.
- Argazkitik, aurpegiaren formari eta adierazpenari buruzko informazio zehatza zehazten da, baita bere ezaugarriei buruz, hala nola, zimurrak egotea (egile berberek garatutako DECA ikasketa automatikoko sistema erabiltzen da buru-eredu bat eraikitzeko) .
- Aurpegiaren ehundura sortzean, objektuaren albedoa estimatzen da.
- Eraikitako gorputz-eredua gero animatu edo beste pose batean aurkez daiteke.
- Baldintza naturalean dagoen pertsona baten argazki arruntetatik abiatuta maketa eraikitzeko laguntza. PIXIEk lan ona egiten du hainbat jarrera, argi-baldintza detektatzen eta objektu baten zatien ikusgarritasuna oztopatzen.
- Errendimendu handikoa, kameraren irudien prozesamendu dinamikorako egokia.
Iturria: opennet.ru