사실적인 인간의 움직임을 생성하는 머신러닝 시스템의 코드가 공개되었습니다.

텔아비브대학교 연구진이 사실적인 인간의 움직임을 생성할 수 있는 MDM(Motion Diffusion Model) 머신러닝 시스템과 관련된 소스코드를 공개했습니다. 코드는 PyTorch 프레임워크를 사용하여 Python으로 작성되었으며 MIT 라이선스에 따라 배포됩니다. 실험을 수행하려면 기성 모델을 사용하고 제안된 스크립트(예: 3차원 인간 이미지의 HumanMLXNUMXD 컬렉션 사용)를 사용하여 모델을 직접 교육할 수 있습니다. 시스템을 훈련하려면 CUDA를 지원하는 GPU가 필요합니다.

인간의 움직임을 애니메이션화하기 위해 전통적인 기능을 사용하는 것은 가능한 움직임의 다양성과 관련된 복잡성과 이를 공식적으로 설명하는 것이 어렵고 부자연스러운 움직임에 대한 인간의 인식이 매우 민감하기 때문에 어렵습니다. 생성적 기계 학습 모델을 사용하려는 이전 시도에는 품질 문제와 표현력 제한이 있었습니다.

제안된 시스템은 확산 모델을 사용하여 움직임을 생성하려고 시도합니다. 이는 본질적으로 인간의 움직임을 시뮬레이션하는 데 더 적합하지만 높은 계산 요구 사항 및 제어 복잡성과 같은 단점이 없는 것은 아닙니다. MDM은 확산 모델의 단점을 최소화하기 위해 각 단계에서 노이즈 예측 대신 변환기 신경망과 샘플 예측을 사용하여 발과의 표면 접촉 손실과 같은 이상 현상을 보다 쉽게 ​​방지할 수 있습니다.

생성을 제어하기 위해 자연어로 동작에 대한 텍스트 설명(예: "사람이 앞으로 걸어가서 땅에서 무엇인가를 집기 위해 몸을 구부린다")을 사용하거나 "달리기" 및 ""와 같은 표준 동작을 사용할 수 있습니다. 점프.” 이 시스템은 움직임을 편집하고 손실된 세부 정보를 채우는 데에도 사용할 수 있습니다. 연구원들은 참가자들에게 여러 옵션 중에서 더 나은 결과를 선택하도록 요청한 테스트를 실시했습니다. 42%의 경우 사람들은 실제 움직임보다 합성된 움직임을 선호했습니다.

출처 : opennet.ru