Stability AI 發布了名為 Stable Video Diffusion 的機器學習模型，該模型可讓您從影像產生短影片。該模型擴展了穩定擴散項目的功能，該項目之前僅限於靜態圖像的合成。神經網路訓練和圖像生成工具的程式碼使用 PyTorch 框架以 Python 編寫，並根據 MIT 許可證發布。預先訓練的模型在 Creative ML OpenRAIL-M 許可下開源，允許商業使用。
有兩種型號可供下載：SVD（穩定視訊擴散）用於根據給定的靜態影像生成分辨率為 14x576 的 1024 幀，SVD-XT 用於生成 25 幀。可以在不移動或相機旋轉非常慢的情況下生成視頻，持續時間不超過 4 秒。尚不支援基於自然語言文字描述的直接模型控制，但您可以先使用舊的 Stable Diffusion 2.1 模型準備原始影像，然後使用 SVD 模型將其轉換為影片。
視訊品質尚未提供理想的真實感並保證臉部和人物的正確渲染。在性能方面，所提出的開放模型領先於 Runway 和 Pika Labs 的專有類似物。該模型可以輕鬆適應解決各種問題，例如，它可以用來形成三維圖形。
此外，我們還可以注意到 Video-LLaVA 機器學習工具包的發布，它允許您建立物件的統一視覺表示，該表示是基於在訓練期間同時使用物件的照片和影片記錄而形成的。例如，該系統可用於識別圖像和影片中相同物件的存在。該程式碼是用 Python 編寫的，並根據 Apache 2.0 許可證分發。
來源： opennet.ru
