디즈니의 AI는 텍스트 설명을 기반으로 만화를 만듭니다.

텍스트 설명을 기반으로 원본 비디오를 생성하는 신경망은 이미 존재합니다. 아직 영화 제작자나 애니메이터를 완전히 대체할 수는 없지만 이미 이 방향으로 진전이 이루어지고 있습니다. 디즈니 리서치와 러트거스 개발했다 텍스트 스크립트에서 대략적인 스토리보드와 비디오를 만들 수 있는 신경망.

언급한 바와 같이, 시스템은 자연어와 함께 작동하므로 교육용 비디오 제작과 같은 다양한 영역에서 사용될 수 있습니다. 이러한 시스템은 시나리오 작가가 자신의 아이디어를 시각화하는 데도 도움이 됩니다. 동시에 작가와 예술가를 대체하는 것이 아니라 그들의 작업을 보다 효율적이고 덜 지루하게 만드는 것이 목표라고 명시되어 있습니다.

개발자들은 입력과 출력 데이터가 고정된 구조를 갖고 있지 않기 때문에 텍스트를 애니메이션으로 변환하는 것이 쉬운 작업이 아니라고 말합니다. 따라서 대부분의 시스템은 복잡한 문장을 처리할 수 없습니다. 이전 유사한 프로그램의 한계를 극복하기 위해 개발자는 여러 구성 요소로 구성된 모듈식 신경망을 구축했습니다. 여기에는 자연어 처리 모듈, 스크립트 구문 분석 모듈, 애니메이션 생성 모듈이 포함됩니다.

우선 시스템은 텍스트를 분석하고 복잡한 문장을 간단한 문장으로 번역합니다. 그 후 3D 애니메이션이 생성됩니다. 작업에는 52개의 애니메이션 블록 라이브러리가 사용되었으며, 유사한 요소를 추가하여 목록이 92개로 확장되었습니다. 애니메이션을 만들기 위해 미리 로드된 개체와 모델을 사용하는 Unreal Engine 게임 엔진이 사용됩니다. 이 중에서 시스템은 적합한 요소를 선택하고 비디오를 생성합니다.

시스템을 훈련하기 위해 연구원들은 IMSDb, SimplyScripts 및 ScriptORama996의 1000개 이상의 스크립트에서 가져온 5개 요소에 대한 설명 세트를 편집했습니다. 이후 정성적 테스트가 진행되었으며, 22명의 참가자가 20개의 애니메이션을 평가할 수 있는 기회를 가졌습니다. 동시에 68%는 시스템이 입력 텍스트를 기반으로 상당히 괜찮은 애니메이션을 생성했다고 말했습니다.

그러나 팀은 시스템이 완벽하지 않다는 점을 인정했습니다. 동작 및 개체 목록은 완전하지 않으며 때로는 어휘 단순화가 유사한 애니메이션의 동사와 일치하지 않는 경우도 있습니다. 연구진은 향후 연구에서 이러한 단점을 해결할 계획입니다.

출처 : 3dnews.ru