안정적인 영상확산 영상합성 시스템 도입

Stability AI는 이미지에서 짧은 비디오를 생성할 수 있는 Stable Video Diffusion이라는 머신 러닝 모델을 발표했습니다. 이 모델은 이전에는 정적 이미지 합성에만 국한되었던 Stable Diffusion 프로젝트의 기능을 확장합니다. 신경망 학습 및 이미지 생성 도구에 대한 코드는 PyTorch 프레임워크를 사용하여 Python으로 작성되었으며 MIT 라이선스에 따라 게시되었습니다. 사전 훈련된 모델은 상업적 사용이 허용되는 Creative ML OpenRAIL-M 허가 라이선스에 따라 오픈 소스로 제공됩니다.

다운로드 가능한 모델 변형은 두 가지가 있습니다. 주어진 정적 이미지에서 14x576 해상도로 1024개 프레임을 생성하는 SVD(Stable Video Diffusion)와 25개 프레임을 생성하는 SVD-XT입니다. 움직임이 없거나 매우 느린 카메라 회전으로 4초를 넘지 않는 영상을 생성하는 것도 가능합니다. 자연어 텍스트 설명에 기반한 모델을 직접 구동하는 것은 아직 지원되지 않지만, 먼저 기존의 Stable Diffusion 2.1 모델을 사용하여 소스 이미지를 준비한 다음 SVD 모델을 사용하여 비디오로 변환할 수 있습니다.

영상 품질이 아직 이상적인 사진적 사실성을 제공하지 못하고 얼굴과 사람을 정확하게 렌더링하지 못합니다. 성능 측면에서 제안된 개방형 모델은 Runway와 Pika Labs의 독점적 아날로그 모델보다 앞서 있습니다. 이 모델은 다양한 문제를 해결하는 데 쉽게 적용될 수 있습니다. 예를 들어, 3차원 도형을 형성하는 데 사용될 수 있습니다.

또한, 훈련 중에 사진과 물체의 비디오 녹화를 모두 사용하여 형성된 물체의 단일한 시각적 표현을 생성할 수 있는 Video-LLaVA 머신 러닝 툴킷의 출판도 주목할 만합니다. 예를 들어, 이 시스템은 이미지와 비디오에서 동일한 객체의 존재를 인식하는 데 사용될 수 있습니다. 해당 코드는 Python으로 작성되었으며 Apache 2.0 라이선스에 따라 배포됩니다.

출처 : opennet.ru