PIXIE機器學習系統的原始碼已開放，可讓您從一張照片建立人體的3D模型和動畫頭像。與原始照片中描繪的不同的真實面部和服裝紋理可以附加到生成的模型上。例如，該系統可用於從不同的有利位置進行渲染、創建動畫、根據面部形狀重建身體以及生成手指的 3D 模型。該程式碼是使用 Pytorch 框架用 Python 編寫的，並在非商業用途許可下分發。
據稱，與同類項目相比，PIXIE 讓你更準確地重建照片中最初被衣服隱藏的身體輪廓、臉部形狀和手部關節的位置。此方法基於神經網路的使用，從像素影像中提取臉部、身體和手的參數。神經網路的工作由一個特殊的控制器協調，該控制器基於照明分析，添加有關身體各個部位的加權係數的信息，以排除不自然姿勢的檢測。在創建模型時，會考慮男性和女性身體的解剖學差異、姿勢參數、光照、表面反射率以及臉部在三維平面中的旋轉。
PIXIE的特點：
- 重建的 3D 身體模型以及有關姿勢、手部位置和臉部表情的資訊被保存為一組 SMPL-X 參數，稍後可以透過插件在 Blender 建模系統中使用。
- 從照片中，可以確定有關面部形狀和表情的詳細信息，以及其特徵，例如是否存在皺紋（使用同一作者開發的 DECA 機器學習系統來構建頭部模型） 。
- 產生臉部紋理時，會估計物件的反照率。
- 建構的身體模型稍後可以進行動畫處理或以不同的姿勢呈現。
- 支援根據自然條件下的普通人照片建立模型。 PIXIE 可以很好地偵測不同的姿勢、光線條件以及遮蔽物體部分的可見度。
- 高效能，適合相機影像的動態處理。
來源： opennet.ru
