PIXIE 机器学习系统的源文本是开放的，它允许您从一张照片创建人体的 3D 模型和动画化身。 脸部和衣服的逼真纹理可以附加到生成的模型上，这与原始照片中描绘的不同。 例如，该系统可用于从不同的视角进行绘图、创建动画、根据面部形状重建身体以及形成手指的 3D 模型。 代码是使用 Pytorch 框架用 Python 编写的，并在仅允许非商业用途的许可下分发。
据称，与同类项目相比，PIXIE可以让你更准确地再现照片中原本被衣服隐藏的身体轮廓、脸型和手关节的位置。 该方法基于使用从像素图像中提取面部、身体和手部参数的神经网络。 神经网络的工作由一个特殊的调节器协调，该调节器基于对光照的分析，添加有关身体各部分的权重系数的信息，以消除不自然姿势的定义。 创建模型时，会考虑男性和女性身体之间的解剖学差异、姿势参数、光照、表面反射率和三维平面中的面部旋转。
小精灵特点：
- 重建的身体 3D 模型，以及关于姿势、手部位置和面部表情的信息被保存为一组 SMPL-X 参数，以后可以通过插件在 Blender 建模系统中使用。
- 关于面部形状和表情的详细信息，以及皱纹等特征，都是从照片中确定的（由同一作者开发的 DECA 机器学习系统用于构建头部模型）。
- 生成面部纹理时，会估计对象的反照率。
- 构建的身体模型稍后可以动画化或以不同的姿势呈现。
- 支持根据在自然条件下拍摄的普通照片构建模型。 PIXIE 可以很好地定义不同的姿势、光照条件以及模糊物体部分的可见性。
- 高性能，适用于相机图像的动态处理。
来源： opennet.ru