사진에서 사람의 3D 모델을 구축하는 PIXIE 프로젝트가 게시되었습니다.

한 장의 사진으로 인체의 3D 모델과 애니메이션 아바타를 생성할 수 있는 PIXIE 머신 러닝 시스템의 소스 코드가 공개되었습니다. 원본 사진과는 다른 얼굴과 옷의 사실적인 질감을 결과 모델에 적용할 수 있습니다. 예를 들어, 이 시스템을 사용하여 다른 시점에서 그림을 그리거나, 애니메이션을 생성하거나, 얼굴 형태를 기반으로 신체를 재구성하거나, 손가락의 3D 모델을 만들 수 있습니다. 이 코드는 Pytorch 프레임워크를 사용하여 Python으로 작성되었으며, 비상업적 사용만 허용하는 라이선스에 따라 배포됩니다.

PIXIE는 유사 프로젝트들과 비교했을 때, 사진 속 옷으로 가려져 있던 신체 윤곽, 얼굴 형태, 손 관절의 위치를 ​​더욱 정확하게 재구성할 수 있다고 합니다. 이 방식은 픽셀 이미지에서 얼굴, 몸, 손의 매개변수를 추출하는 신경망을 기반으로 합니다. 신경망의 작동은 특수 컨트롤러에 의해 조정되는데, 이 컨트롤러는 조명 분석을 기반으로 신체 각 부위의 가중치 계수 정보를 추가하여 부자연스러운 포즈를 배제합니다. 모델 생성 시에는 남녀 신체의 해부학적 차이, 포즈 매개변수, 조명, 표면 반사율, 3차원 평면에서의 얼굴 회전 등이 고려됩니다.

픽시 특징:

• 재구성된 3D 신체 모델과 포즈, 손 위치, 얼굴 표정에 대한 정보는 SMPL-X 매개변수 세트로 저장되며, 이후 플러그인을 통해 Blender 모델링 시스템에서 사용할 수 있습니다.
• 사진을 사용하여 얼굴의 모양과 표정, 주름의 존재 여부와 같은 얼굴의 특징에 대한 자세한 정보를 파악합니다(같은 저자가 개발한 DECA 머신 러닝 시스템을 사용하여 머리 모델을 구축합니다).
• 얼굴 텍스처를 생성할 때, 물체의 반사도를 추정합니다.
• 구성된 신체 모델은 애니메이션으로 표현되거나 다른 포즈로 표현될 수 있습니다.
• 자연스러운 환경에서 촬영한 일반 인물 사진을 기반으로 모델을 구축하는 기능을 지원합니다. PIXIE는 다양한 포즈, 조명 조건, 그리고 물체 일부의 가시성 가려짐을 감지하는 데 매우 효과적입니다.
• 동적 카메라 이미지 처리에 적합한 고성능입니다.

출처 : opennet.ru