De boarnekoade fan it PIXIE-masine-learsysteem is iepene, wêrtroch jo 3D-modellen en animearre avatars fan it minsklik lichem kinne meitsje fan ien foto. Realistyske tekstueren foar gesicht en klean dy't ferskille fan dy ôfbylde yn 'e orizjinele foto kinne wurde hechte oan it resultearjende model. It systeem kin bygelyks brûkt wurde om fan in oar útsjochpunt te renderen, animaasje te meitsjen, it lichem te rekonstruearjen op basis fan 'e foarm fan it gesicht en in 3D-model fan 'e fingers te generearjen. De koade is skreaun yn Python mei it Pytorch-ramt en wurdt ferspraat ûnder in lisinsje foar net-kommersjeel gebrûk.
It wurdt oanjûn dat, yn ferliking mei ferlykbere projekten, PIXIE jo de kontoeren fan it lichem krekter meitsje kinne, yn earste ynstânsje ferburgen troch klean op 'e foto, de foarm fan it gesicht en de posysje fan' e gewrichten fan 'e hannen. De metoade is basearre op it brûken fan in neural netwurk, dat de parameters fan it gesicht, lichem en hannen út in pikselôfbylding ekstrakt. It wurk fan it neuronale netwurk wurdt koördinearre troch in spesjale kontrôler, dy't, basearre op in analyze fan ferljochting, ynformaasje tafoeget oer de gewichtskoeffizienten fan ferskate dielen fan it lichem om de ûntdekking fan ûnnatuerlike poses út te sluten. By it meitsjen fan in model wurde rekken holden mei de anatomyske ferskillen tusken it manlike en froulike lichem, posysjeparameters, ferljochting, oerflakreflektiviteit en rotaasje fan it gesicht yn in trijediminsjonaal fleantúch.
Funksjes fan PIXIE:
- It rekonstruearre 3D-lichemsmodel, lykas ynformaasje oer pose, hânposysje en gesichtsútdrukking, wurdt bewarre as in set fan SMPL-X-parameters, dy't letter kinne wurde brûkt yn it Blender-modelsysteem fia in plugin.
- Fanút de foto wurdt detaillearre ynformaasje bepaald oer de foarm en útdrukking fan it gesicht, lykas har funksjes, lykas de oanwêzigens fan rimpels (it DECA-masine-learsysteem, ûntwikkele troch deselde auteurs, wurdt brûkt om in kopmodel te bouwen) .
- By it generearjen fan in gesichtstekstuer wurdt de albedo fan it objekt rûsd.
- It konstruearre lichemsmodel kin letter wurde animearre of presintearre yn in oare pose.
- Stipe foar it bouwen fan in model út gewoane foto's fan in persoan yn natuerlike omstannichheden. PIXIE docht in goede baan by it opspoaren fan ferskate poses, ljochtbetingsten en it belemmerjen fan de sichtberens fan dielen fan in objekt.
- Hege prestaasjes, geskikt foar dynamyske ferwurking fan kameraôfbyldings.
Boarne: opennet.ru