La fontaj tekstoj de la maŝinlernada sistemo PIXIE, kiu permesas krei 3D-modelojn kaj viglajn avatarojn de la homa korpo el ununura foto, estas malfermitaj. Realismaj teksturoj de la vizaĝo kaj vestaĵoj povas esti alfiksitaj al la rezulta modelo, kiuj diferencas de tiuj prezentitaj en la originala foto. La sistemo povas esti uzata, ekzemple, por desegni de malsama vidpunkto, krei animacion, rekonstrui la korpon laŭ la formo de la vizaĝo kaj formi 3D-modelon de la fingroj. La kodo estas skribita en Python uzante la kadron Pytorch kaj distribuita sub permesilo kiu permesas nur nekomercan uzon.
Oni diras, ke kompare kun similaj projektoj, PIXIE permesas pli precize rekrei la konturojn de la korpo, origine kaŝitaj de vestaĵoj en la foto, la formo de la vizaĝo kaj la pozicio de la artikoj de la manoj. La metodo baziĝas sur la uzo de neŭrala reto, kiu ĉerpas vizaĝon, korpon kaj manajn parametrojn de piksela bildo. La laboro de la neŭrala reto estas kunordigita de speciala reguligisto, kiu, surbaze de la analizo de lumigado, aldonas informojn pri la pezkoeficientoj de diversaj partoj de la korpo por forigi la difinon de nenaturaj pozoj. Kreante modelon, anatomiaj diferencoj inter la vira kaj ina korpoj, pozaj parametroj, lumigado, surfaca reflektiveco kaj vizaĝrotacio en tridimensia ebeno estas konsiderataj.
Karakterizaĵoj de PIXIE:
- La rekonstruita 3D-modelo de la korpo, same kiel informoj pri la pozo, pozicio de la manoj kaj mimikoj estas konservitaj kiel aro de SMPL-X-parametroj, kiuj poste povas esti uzataj en la Blender-modelsistemo per kromaĵo.
- Detalaj informoj pri la formo kaj esprimo de la vizaĝo, same kiel ĝiaj trajtoj, kiel la ĉeesto de sulkoj, estas determinitaj de la foto (la DECA maŝinlernado sistemo evoluigita de la samaj aŭtoroj estas uzata por konstrui la kapmodelon).
- Dum generado de vizaĝteksturo, la albedo de la objekto estas taksita.
- La konstruita korpomodelo poste povas esti vigla aŭ prezentita en malsama pozo.
- Subteno por konstrui modelon el ordinaraj fotoj, en kiuj persono estas prenita en naturaj kondiĉoj. PIXIE faras bonan laboron difini malsamajn pozojn, lumkondiĉojn kaj obskuri la videblecon de partoj de objekto.
- Alta rendimento, taŭga por dinamika prilaborado de la fotila bildo.
fonto: opennet.ru