Stability AI a publié un modèle d'apprentissage automatique, Stable Video Diffusion, capable de générer de courtes vidéos à partir d'images. Ce modèle étend les capacités du projet Stable Diffusion, qui se limitait auparavant à la synthèse d'images statiques. Le code des outils d'entraînement du réseau neuronal et de génération d'images est écrit en Python avec le framework PyTorch et publié sous licence MIT. Les modèles entraînés sont disponibles en open source sous la licence permissive Creative ML OpenRAIL-M, autorisant leur utilisation commerciale.
Deux variantes du modèle sont disponibles au téléchargement : SVD (Stable Video Diffusion), qui génère 14 images à une résolution de 576 × 1024 à partir d’une image statique, et SVD-XT, qui en génère 25. La génération vidéo est possible, avec ou sans rotation de caméra très lente, pour une durée maximale de 4 secondes. Le contrôle direct du modèle par texte n’est pas encore pris en charge, mais il est possible de préparer l’image source avec l’ancien modèle Stable Diffusion 2.1, puis de la convertir en vidéo avec le modèle SVD.
La qualité vidéo ne permet pas encore un photoréalisme parfait ni une reproduction fidèle des visages et des personnages. En termes de performances, le modèle open source proposé surpasse les solutions propriétaires de Runway et Pika Labs. Ce modèle s'adapte facilement à diverses tâches, comme la création de personnages en trois dimensions.
Il convient également de mentionner la publication de la boîte à outils d'apprentissage automatique Video-LLaVA, qui permet de créer une représentation visuelle unifiée d'un objet, à partir de photographies et d'enregistrements vidéo de cet objet lors de l'entraînement. Le système peut être utilisé, par exemple, pour reconnaître la présence d'un même objet dans des images et des vidéos. Le code est écrit en Python et distribué sous licence Apache 2.0.
Source: opennet.ru
