사진에서 사람의 3D 모델을 구축하는 PIXIE 프로젝트가 게시되었습니다.

한 장의 사진으로 인체의 3D 모델과 애니메이션 아바타를 만들 수 있는 PIXIE 머신러닝 시스템의 소스 텍스트가 공개됩니다. 원본 사진과 다른 얼굴과 옷의 사실적인 질감을 최종 모델에 부착할 수 있습니다. 예를 들어, 이 시스템은 다른 시점에서 그림을 그리고, 애니메이션을 만들고, 얼굴 모양에 따라 신체를 재구성하고, 손가락의 3D 모델을 형성하는 데 사용할 수 있습니다. 이 코드는 Pytorch 프레임워크를 사용하여 Python으로 작성되었으며 비상업적 용도로만 허용되는 라이선스에 따라 배포됩니다.

비슷한 프로젝트에 비해 PIXIE를 사용하면 원래 사진에서 옷으로 가려진 신체 윤곽, 얼굴 모양 및 손 관절의 위치를 ​​보다 정확하게 재현할 수 있다고 합니다. 이 방법은 픽셀 이미지에서 얼굴, 신체 및 손 매개변수를 추출하는 신경망 사용을 기반으로 합니다. 신경망의 작업은 조명 분석을 기반으로 신체의 여러 부분의 가중치 계수에 대한 정보를 추가하여 부 자연스러운 포즈의 정의를 제거하는 특수 조정기에 의해 조정됩니다. 모델을 생성할 때 XNUMX차원 평면에서 남성과 여성의 신체, 포즈 매개변수, 조명, 표면 반사율 및 얼굴 회전 간의 해부학적 차이가 고려됩니다.

픽시 기능:

• 재구성된 신체의 3D 모델과 포즈, 손의 위치 및 표정에 대한 정보는 SMPL-X 매개변수 세트로 저장되며 나중에 플러그인을 통해 Blender 모델링 시스템에서 사용할 수 있습니다.
• 얼굴의 형태와 표정, 주름의 유무와 같은 특징에 대한 자세한 정보는 사진에서 결정됩니다(두상 모델은 동일한 저자가 개발한 DECA 기계 학습 시스템을 사용함).
• 얼굴 텍스처를 생성할 때 객체의 알베도가 추정됩니다.
• 구성된 바디 모델은 나중에 애니메이션화되거나 다른 포즈로 표시될 수 있습니다.
• 자연 상태에서 사람을 찍은 일반 사진에서 모델 구축을 지원합니다. PIXIE는 다양한 포즈, 조명 조건을 정의하고 개체 부분의 가시성을 가리는 작업을 잘 수행합니다.
• 카메라 이미지의 동적 처리에 적합한 고성능.

출처 : opennet.ru