3枚の写真から人体の3Dモデルやアニメーションアバターを作成できる機械学習システム「PIXIE」のソースコードが公開された。 元の写真とは異なるリアルな顔や衣服の質感をモデルに貼り付けることができます。 このシステムは、たとえば、別の視点からレンダリングしたり、アニメーションを作成したり、顔の形状に基づいて身体を再構築したり、指の XNUMXD モデルを生成したりするために使用できます。 コードは Pytorch フレームワークを使用して Python で記述されており、非営利使用のみのライセンスの下で配布されます。
PIXIEでは、同様のプロジェクトと比較して、写真では衣服で隠れていた体の輪郭、顔の形、手の関節の位置などをより正確に再現できるとしている。 この方法は、ピクセル画像から顔、体、手のパラメータを抽出するニューラル ネットワークの使用に基づいています。 ニューラル ネットワークの動作は特殊なコントローラーによって調整され、照明の分析に基づいて身体のさまざまな部分の重み付け係数に関する情報が追加され、不自然なポーズの検出が排除されます。 モデルを作成する際には、男性と女性の身体の解剖学的違い、姿勢パラメーター、照明、表面の反射率、XNUMX 次元平面での顔の回転が考慮されます。
ピクシーの特徴:
- 再構築された 3D ボディ モデルは、ポーズ、手の位置、表情に関する情報と同様に、SMPL-X パラメータのセットとして保存され、後でプラグインを介して Blender モデリング システムで使用できます。
- 写真から、顔の形や表情、シワの有無などの詳細な情報を判別します（頭部モデルの構築には、同著者が開発したDECA機械学習システムを使用） 。
- 顔のテクスチャを生成するとき、オブジェクトのアルベドが推定されます。
- 構築されたボディ モデルは、後でアニメートしたり、別のポーズで表示したりできます。
- 自然条件下で人物を撮影した通常の写真からモデルを構築するためのサポート。 PIXIE は、さまざまなポーズ、照明条件を検出し、オブジェクトの一部の可視性を妨げるのに優れています。
- 高性能でカメラ画像の動的な処理に適しています。
出所： オープンネット.ru