신경망을 이용한 애니메이션 합성을 위한 오픈 코드

상하이공과대학교 연구진 опубликовала 도구 가장 자, 기계 학습 방법을 사용하여 정적 이미지를 사용하여 사람의 움직임을 시뮬레이션하고 옷을 교체하고 다른 환경으로 전송하고 물체가 보이는 각도를 변경할 수 있습니다. 코드는 Python으로 작성되었습니다.
프레임워크를 사용하여 파이 토치. 조립도 필요합니다 횃불 및 CUDA 툴킷.

툴킷은 XNUMX차원 이미지를 입력으로 받고 선택한 모델을 기반으로 수정된 결과를 합성합니다. 세 가지 변환 옵션이 지원됩니다.
모델이 훈련된 움직임을 따르는 움직이는 객체를 생성합니다. 모델의 외관 요소를 개체로 전송합니다(예: 의상 변경). 새로운 앵글 생성(예: 정면 사진을 기반으로 한 프로필 이미지 합성) 세 가지 방법을 모두 결합할 수 있습니다. 예를 들어, 다양한 옷을 입고 복잡한 곡예 트릭을 수행하는 모습을 시뮬레이션하는 사진에서 비디오를 생성할 수 있습니다.

합성 과정에서는 사진 속 객체를 선택하는 작업과 이동 시 누락된 배경 요소를 형성하는 작업이 동시에 수행된다. 신경망 모델은 한 번만 학습하면 다양한 변환에 사용할 수 있습니다. 로딩용 사용 가능 사전 교육 없이 도구를 즉시 사용할 수 있는 기성 모델입니다. 작동하려면 메모리 크기가 8GB 이상인 GPU가 필요합니다.

Impersonator는 XNUMX차원 공간에서 신체의 위치를 ​​설명하는 핵심 포인트에 의한 변형을 기반으로 하는 변형 방법과 달리 기계 학습 방법을 사용하여 신체에 대한 설명을 XNUMX차원 메시로 합성하려고 합니다.
제안된 방법은 개인화된 체형과 현재 자세를 고려한 조작이 가능하며 팔다리의 자연스러운 움직임을 시뮬레이션합니다.

변환 과정에서 질감, 스타일, 색상, 얼굴 인식 등 원본 정보를 보존하기 위해 생성적 적대 신경망 (액체 워핑 GAN). 소스 객체에 대한 정보와 정확한 식별을 위한 매개변수를 추출합니다. 컨벌루션 신경망.

출처 : opennet.ru