PIFu hija sistema ta 'tagħlim tal-magni għall-kostruzzjoni ta' mudell 3D ta 'persuna bbażat fuq ritratti 2D

Grupp ta’ riċerkaturi minn diversi universitajiet Amerikani ppubblikaw proġett PIFu (Funzjoni Impliċita Allinjata mal-Pixel), li tippermettilek tapplika metodi ta 'tagħlim bil-magni biex tibni mudell 3D ta' persuna minn immaġini waħda jew aktar b'żewġ dimensjonijiet. Is-sistema tippermettilek li toħloq mill-ġdid għażliet ta 'ħwejjeġ kumplessi, bħal dbielet ippjegat u tkaken, u stili tax-xagħar varji, li jirrestawraw b'mod indipendenti n-nisġa u l-għamla f'żoni inviżibbli fil-projezzjoni li minnha jinbena l-mudell 3D. Biex tiżdied il-kwalità u d-dettall tal-mudell 3D finali, jistgħu jintużaw diversi stampi minn angoli differenti. Il-kodiċi tal-proġett huwa miktub f'Python bl-użu tal-qafas PyTorch u imqassma minn taħt il-liċenzja MIT.

PIFu - sistema ta' tagħlim bil-magni għall-bini ta' mudell 3D ta' persuna bbażata fuq ritratti 2D

Netwerk newrali jintuża bħala sors għar-rikostruzzjoni ta 'tqassim tridimensjonali, li jippermettilek tagħżel l-aktar forma probabbli u tivvinta elementi moħbija, li tibda minn mudell imħarreġ fuq diversi verżjonijiet ta' oġġetti eżistenti. B'mod parallel, il-proġett jipprovdi algoritmu għat-tqabbil tat-tqassim volumetriku li jirriżulta b'tessuti fl-immaġini 2D ipprovduti, li jallinja l-pixels tal-immaġni 3D skont il-pożizzjoni tagħhom fuq l-oġġett XNUMXD u jiġġenera l-aktar textures nieqsa probabbli. Kwalunkwe immaġni tista 'tiġi kodifikata netwerk newrali konvoluzzjonaligħal
rikostruzzjoni tal-wiċċ applikata arkitettura "Ħlas tas-siġra f'munzelli", a
Netwerk newrali bbażat fuq l-arkitettura jintuża għat-tqabbil tan-nisġa CycleGAN.

PIFu - sistema ta' tagħlim bil-magni għall-bini ta' mudell 3D ta' persuna bbażata fuq ritratti 2D

Il-mudell imħarreġ lest użat mir-riċerkaturi доступна huwa disponibbli biex jitniżżel b'xejn, iżda d-dejta mhux ipproċessata użata għat-taħriġ tibqa' privata peress li hija bbażata fuq skans 3D kummerċjali. Jista 'jintuża bħala sors għall-awto-taħriġ tal-mudell Database tal-mudell 3D nies mill-proġett Renderpeople.

Sors: opennet.ru

Żid kumment