Stability AI 发布了一种名为 Stable Video Diffusion 的机器学习模型，可以从图像生成短视频。 该模型扩展了稳定扩散项目的功能，之前仅限于静态图像的合成。 神经网络训练和图像生成工具的代码是使用 PyTorch 框架用 Python 编写的，并在 MIT 许可下发布。 已经训练好的模型在 Creative ML OpenRAIL-M 许可下开放，允许商业用途。
有两种模型可供下载：SVD（稳定视频扩散）用于根据给定的静态图像生成分辨率为 14x576 的 1024 帧，SVD-XT 用于生成 25 帧。 可以在不移动或相机旋转非常慢的情况下生成视频，持续时间不超过 4 秒。 尚不支持基于自然语言文本描述的直接模型控制，但您可以先使用旧的 Stable Diffusion 2.1 模型准备原始图像，然后使用 SVD 模型将其转换为视频。
视频质量尚未提供理想的真实感并保证面部和人物的正确渲染。 在性能方面，所提出的开放模型领先于 Runway 和 Pika Labs 的专有类似物。 该模型可以很容易地适应解决各种问题，例如，它可以用来形成三维图形。
此外，我们还可以注意到 Video-LLaVA 机器学习工具包的发布，它允许您创建对象的统一视觉表示，该表示是基于在训练期间同时使用对象的照片和视频记录而形成的。 例如，该系统可用于识别图像和视频中相同对象的存在。 该代码是用 Python 编写的，并根据 Apache 2.0 许可证分发。
来源： opennet.ru
