Stability AI ha publicado un modelo de aprendizaje automático llamado Stable Video Diffusion que puede generar videos cortos a partir de imágenes. El modelo amplía las capacidades del proyecto Stable Diffusion, anteriormente limitado a la síntesis de imágenes estáticas. El código para las herramientas de generación de imágenes y entrenamiento de redes neuronales está escrito en Python utilizando el marco PyTorch y publicado bajo la licencia MIT. Los modelos ya entrenados están abiertos bajo la licencia permisiva Creative ML OpenRAIL-M, lo que permite su uso comercial.
Hay dos opciones de modelo disponibles para descargar: SVD (Stable Video Diffusion) para generar 14 fotogramas con una resolución de 576x1024 en función de una imagen estática determinada y SVD-XT para generar 25 fotogramas. Es posible generar vídeo sin movimiento o con una rotación de cámara muy lenta, de no más de 4 segundos de duración. El control directo del modelo basado en una descripción de texto en lenguaje natural aún no es compatible, pero primero puede preparar la imagen original usando el antiguo modelo Stable Diffusion 2.1 y luego convertirla a video usando el modelo SVD.
La calidad del vídeo aún no proporciona un fotorrealismo ideal ni garantiza una representación correcta de rostros y personas. En términos de rendimiento, el modelo abierto propuesto está por delante de sus homólogos patentados de Runway y Pika Labs. El modelo se puede adaptar fácilmente para resolver diversos problemas, por ejemplo, se puede utilizar para formar figuras tridimensionales.
Además, cabe destacar la publicación del kit de herramientas de aprendizaje automático Video-LLaVA, que permite crear una representación visual unificada de un objeto, formada a partir del uso simultáneo de fotografías y grabaciones de vídeo de objetos durante el entrenamiento. El sistema se puede utilizar, por ejemplo, para reconocer la presencia de los mismos objetos en imágenes y vídeos. El código está escrito en Python y distribuido bajo la licencia Apache 2.0.
Fuente: opennet.ru
