PIXIE машиналық оқыту жүйесінің бастапқы коды ашылды, ол бір фотосуреттен адам денесінің 3D модельдері мен анимациялық аватарларын жасауға мүмкіндік береді. Алынған үлгіге түпнұсқалық фотосуретте көрсетілгеннен ерекшеленетін шынайы бет және киім текстураларын қосуға болады. Жүйені, мысалы, басқа позициядан көрсету, анимация жасау, бет пішіні негізінде денені қайта құру және саусақтардың 3D үлгісін жасау үшін пайдалануға болады. Код Pytorch құрылымын пайдаланып Python тілінде жазылған және тек коммерциялық емес лицензия бойынша таратылады.
Ұқсас жобалармен салыстырғанда PIXIE бастапқыда фотосуреттегі киіммен, бет пішіні мен қол буындарының орналасуымен жасырылған дене контурын дәлірек қайта жасауға мүмкіндік береді деп айтылады. Әдіс беттің, дененің және қолдың параметрлерін пиксельдік кескіннен шығаратын нейрондық желіні пайдалануға негізделген. Нейрондық желінің жұмысын арнайы контроллер үйлестіреді, ол жарықтандыруды талдау негізінде табиғи емес позаларды анықтауды болдырмау үшін дененің әртүрлі бөліктерінің салмақ коэффициенттері туралы ақпаратты қосады. Модельді құру кезінде ерлер мен әйелдердің денесінің анатомиялық айырмашылығы, позаның параметрлері, жарықтандыру, беттің шағылыстыруы және үш өлшемді жазықтықта беттің айналуы ескеріледі.
PIXIE мүмкіндіктері:
- Қайта құрастырылған 3D дене үлгісі, сондай-ақ поза, қолдың орналасуы және бет әлпеті туралы ақпарат SMPL-X параметрлерінің жиынтығы ретінде сақталады, оларды кейінірек плагин арқылы Blender модельдеу жүйесінде пайдалануға болады.
- Фотосуреттен бет пішіні мен экспрессиясы, сондай-ақ оның ерекшеліктері, мысалы, әжімдердің болуы туралы егжей-тегжейлі ақпарат анықталады (бас үлгісін жасау үшін сол авторлар әзірлеген DECA машиналық оқыту жүйесі қолданылады) .
- Бет құрылымын жасау кезінде нысанның альбедосы бағаланады.
- Құрастырылған дене үлгісі кейінірек анимациялануы немесе басқа позада ұсынылуы мүмкін.
- Табиғи жағдайда адамның қарапайым фотосуреттерінен макет құруға қолдау көрсету. PIXIE әртүрлі позаларды, жарық жағдайларын анықтауда және объект бөліктерінің көрінуіне кедергі жасауда жақсы жұмыс істейді.
- Жоғары өнімділік, камера кескіндерін динамикалық өңдеуге жарамды.
Ақпарат көзі: opennet.ru