Відкрито вихідні тексти системи машинного навчання PIXIE, що дозволяє створювати 3D-моделі та анімовані аватари тіла людини по одній фотографії. До результуючої моделі можуть бути прив'язані реалістичні текстури обличчя та одягу, які відрізняються від зображених на вихідній фотографії. Система може застосовуватися, наприклад, для малювання з іншої точки спостереження, створення анімації, реконструкції тіла формою обличчя та формування 3D-моделі пальців рук. Код написаний мовою Python з використанням фреймворку Pytorch і поширюється під ліцензією, яка допускає лише використання з некомерційною метою.
Заявлено, що в порівнянні зі схожими проектами PIXIE дозволяє більш точно відтворити контури тіла, спочатку прихованого одягом на фотографії, форму обличчя та положення суглобів рук. Метод заснований на застосуванні нейронної мережі, яка виділяє з піксельного зображення параметри обличчя, тіла та рук. Роботу нейронної мережі координує спеціальний регулятор, який на підставі аналізу освітленості додає інформацію про вагові коефіцієнти різних частин тіла для виключення визначення неприродних поз. При створенні моделі враховуються анатомічні відмінності чоловічого та жіночого тіла, параметри пози, освітлення, відбивна здатність поверхні та поворот обличчя у тривимірній площині.
Особливості PIXIE:
- Відтворена 3D-модель тіла, а також інформація про позу, положення рук та вираз обличчя зберігаються у вигляді набору параметрів SMPL-X, які надалі можуть використовуватися в системі моделювання Blender через плагін.
- По фотографії визначається детальна інформація про форму та вираз обличчя, а також його особливості, такі як наявність зморшок (для побудови моделі голови застосовується система машинного навчання DECA, розроблена тими ж авторами).
- При генерації текстури особи оцінюється альбедо об'єкта.
- Побудована модель тіла може бути анімована або представлена в іншій позі.
- Підтримка побудови моделі за звичайними фотографіями, на яких людина знята в природних умовах. PIXIE добре справляється з визначенням різних поз, умов освітлення та перекриттям видимості частин об'єкта.
- Висока продуктивність, що підходить для динамічної обробки картинки з камери.
Джерело: opennet.ru