Адкрыты зыходныя тэксты сістэмы машыннага навучання PIXIE, якая дазваляе ствараць 3D-мадэлі і аніміраваныя аватары цела чалавека па адной фатаграфіі. Да выніковай мадэлі могуць быць прывязаны рэалістычныя тэкстуры асобы і адзення, якія адрозніваюцца ад намаляваных на зыходнай фатаграфіі. Сістэма можа прымяняцца, напрыклад, для адмалёўкі з іншага пункту назірання, стварэння анімацыі, рэканструкцыі цела па форме асобы і фарміравання 3D-мадэлі пальцаў рук. Код напісаны на мове Python з выкарыстаннем фрэймворка Pytorch і распаўсюджваецца пад ліцэнзіяй, якая дапускае толькі выкарыстанне ў некамерцыйных мэтах.
Заяўлена, што ў параўнанні з падобнымі праектамі PIXIE дазваляе больш дакладна ўзнавіць контуры цела, першапачаткова схаванага адзеннем на фатаграфіі, форму асобы і становішча суставаў рук. Метад заснаваны на ўжыванні нейронавай сеткі, якая вылучае з піксельнай выявы параметры твару, целы і рук. Працу нейронавай сеткі каардынуе спецыяльны рэгулятар, які на падставе аналізу асветленасці дадае інфармацыю аб вагавых каэфіцыентах розных частак цела для выключэння вызначэння ненатуральных поз. Пры стварэнні мадэлі ўлічваюцца анатамічныя адрозненні мужчынскага і жаночага цела, параметры паставы, асвятленне, адлюстравальная здольнасць паверхні і паварот асобы ў трохмернай плоскасці.
Асаблівасці PIXIE:
- Адноўленая 3D-мадэль цела, а таксама інфармацыя аб позе, становішчы рук і выразе асобы захоўваюцца ў выглядзе набору параметраў SMPL-X, якія ў далейшым могуць выкарыстоўвацца ў сістэме мадэлявання Blender праз убудову.
- Па фатаграфіі вызначаецца дэталёвая інфармацыя аб форме і выразе асобы, а таксама яго асаблівасцях, такіх як наяўнасць маршчын (для пабудовы мадэлі галавы прымяняецца сістэма машыннага навучання DECA, распрацаваная тымі ж аўтарамі).
- Пры генерацыі тэкстуры асобы ацэньваецца альбеда аб'екта.
- Пабудаваная мадэль цела ў далейшым можа быць аніміравана ці прадстаўлена ў іншай позе.
- Падтрымка пабудовы мадэлі па звычайных фатаграфіях, на якіх чалавек зняты ў натуральных умовах. PIXIE добра спраўляецца з вызначэннем розных поз, умоў асвятлення і перакрыццем бачнасці частак аб'екта.
- Высокая прадукцыйнасць, прыдатная для дынамічнай апрацоўкі карцінкі з камеры.
Крыніца: opennet.ru