Објавен е проектот PIXIE за конструирање 3Д модели на луѓе од фотографии

Изворниот код на системот за машинско учење PIXIE е отворен, што ви овозможува да креирате 3Д модели и анимирани аватари на човечкото тело од една фотографија. На добиениот модел може да се прикачат реални текстури на лицето и облеката што се разликуваат од оние прикажани на оригиналната фотографија. Системот може да се користи, на пример, за прикажување од различна гледна точка, создавање анимација, реконструкција на телото врз основа на обликот на лицето и генерирање на 3D модел на прстите. Кодот е напишан во Python користејќи ја рамката Pytorch и се дистрибуира под лиценца само за некомерцијална употреба.

Наведено е дека, во споредба со слични проекти, PIXIE ви овозможува попрецизно да ги рекреирате контурите на телото, првично скриени со облеката на фотографијата, обликот на лицето и положбата на зглобовите на рацете. Методот се заснова на употреба на невронска мрежа, која ги извлекува параметрите на лицето, телото и рацете од слика со пиксели. Работата на невронската мрежа ја координира специјален контролер, кој, врз основа на анализа на осветлувањето, додава информации за коефициентите на тежина на различни делови од телото за да го исклучи откривањето на неприродни пози. При креирањето на моделот се земаат предвид анатомските разлики помеѓу машкото и женското тело, параметрите на држењето на телото, осветлувањето, рефлексивноста на површината и ротацијата на лицето во тродимензионална рамнина.

Карактеристики на PIXIE:

• Реконструираниот 3D модел на телото, како и информациите за позата, положбата на рацете и изразот на лицето, се зачувани како збир на параметри SMPL-X, кои подоцна може да се користат во системот за моделирање на Blender преку додаток.
• Од фотографијата се одредуваат детални информации за обликот и изразот на лицето, како и неговите карактеристики, како што се присуството на брчки (системот за машинско учење DECA, развиен од истите автори, се користи за изградба на модел на глава) .
• Кога се генерира текстура на лице, се проценува албедото на објектот.
• Конструираниот модел на тело подоцна може да биде анимиран или претставен во различна поза.
• Поддршка за изградба на модел од обични фотографии на личност во природни услови. PIXIE прави добра работа за откривање различни пози, услови на осветлување и попречување на видливоста на делови од објектот.
• Високи перформанси, погодни за динамична обработка на слики од камерата.

Извор: opennet.ru