使用神经网络进行动画合成的开放代码

上海工业大学的一组研究人员 опубликовала 工具 模仿者，它允许使用机器学习方法使用静态图像来模拟人的动作，以及更换衣服、将其转移到另一个环境以及改变物体可见的角度。 代码是用Python编写的
使用框架 PyTorch。 组装还需要 火炬视觉 和 CUDA 工具包。

该工具包接收二维图像作为输入，并根据所选模型合成修改后的结果。 支持三种转换选项：
创建一个跟随模型训练动作的移动对象。 将外观元素从模型转移到物体（例如，换衣服）。 生成新角度（例如，基于全脸照片合成个人资料图像）。 所有三种方法都可以组合使用，例如，您可以从照片生成视频，模拟穿着不同衣服的复杂杂技表演。

在合成过程中，选择照片中的物体和形成移动时缺失的背景元素的操作是同时进行的。 神经网络模型可以训练一次并用于各种变换。 用于装载 可得到 现成的模型使您无需经过初步培训即可立即使用这些工具。 需要内存大小至少为 8GB 的​​ GPU 才能运行。

与基于描述身体在二维空间中的位置的关键点进行变换的变换方法不同，Impersonator 尝试使用机器学习方法合成具有身体描述的三维网格。
所提出的方法允许考虑个性化的体形和当前姿势进行操作，模拟肢体的自然运动。

在变换过程中保留纹理、风格、颜色和面部识别等原始信息， 生成对抗神经网络 (液体扭曲 GAN）。 通过应用提取有关源对象的信息及其精确识别的参数 卷积神经网络.

来源： opennet.ru