Публикуван е проектът PIXIE за изграждане на 3D модели на хора от снимка

Изходният код на системата за машинно обучение PIXIE е отворен, което ви позволява да създавате 3D модели и анимирани аватари на човешкото тяло от една снимка. Реалистични текстури на лицето и дрехите, които се различават от изобразените на оригиналната снимка, могат да бъдат прикрепени към получения модел. Системата може да се използва например за изобразяване от различна гледна точка, създаване на анимация, реконструиране на тялото въз основа на формата на лицето и генериране на 3D модел на пръстите. Кодът е написан на Python с помощта на рамката Pytorch и се разпространява под лиценз само за некомерсиална употреба.

Посочва се, че в сравнение с подобни проекти PIXIE ви позволява по-точно да пресъздадете контурите на тялото, първоначално скрити от дрехите на снимката, формата на лицето и позицията на ставите на ръцете. Методът се основава на използването на невронна мрежа, която извлича параметрите на лицето, тялото и ръцете от пикселно изображение. Работата на невронната мрежа се координира от специален контролер, който въз основа на анализ на осветеността добавя информация за тегловните коефициенти на различни части на тялото, за да изключи откриването на неестествени пози. При създаването на модела се вземат предвид анатомичните разлики между мъжкото и женското тяло, параметрите на позата, осветлението, отразяващата способност на повърхността и въртенето на лицето в триизмерна равнина.

Характеристики на PIXIE:

• Реконструираният 3D модел на тялото, както и информация за позата, позицията на ръцете и изражението на лицето, се запазват като набор от SMPL-X параметри, които по-късно могат да бъдат използвани в системата за моделиране на Blender чрез плъгин.
• От снимката се определя подробна информация за формата и изражението на лицето, както и неговите характеристики, като например наличието на бръчки (за изграждане на модел на главата се използва системата за машинно обучение DECA, разработена от същите автори) .
• При генериране на лицева текстура се оценява албедото на обекта.
• Конструираният модел на тялото може по-късно да бъде анимиран или представен в различна поза.
• Поддръжка за изграждане на модел от обикновени снимки на човек в естествени условия. PIXIE върши добра работа при откриване на различни пози, условия на осветление и възпрепятстване на видимостта на части от обект.
• Висока производителност, подходяща за динамична обработка на изображения от камера.

Източник: opennet.ru