Stability AI publicou um modelo de aprendizado de máquina chamado Stable Video Diffusion que pode gerar vídeos curtos a partir de imagens. O modelo amplia as capacidades do projeto Stable Diffusion, antes limitado à síntese de imagens estáticas. O código para as ferramentas de treinamento de redes neurais e geração de imagens é escrito em Python usando a estrutura PyTorch e publicado sob a licença do MIT. Os modelos já treinados são abertos sob a licença permissiva Creative ML OpenRAIL-M, permitindo o uso comercial.
Existem duas opções de modelos disponíveis para download: SVD (Stable Video Diffusion) para geração de 14 frames com resolução de 576x1024 com base em uma determinada imagem estática e SVD-XT para geração de 25 frames. É possível gerar vídeo sem movimento ou com rotação de câmera muito lenta, com duração não superior a 4 segundos. O controle direto do modelo baseado na descrição de texto em linguagem natural ainda não é suportado, mas você pode primeiro preparar a imagem original usando o antigo modelo Stable Diffusion 2.1 e depois convertê-la em vídeo usando o modelo SVD.
A qualidade do vídeo ainda não oferece fotorrealismo ideal e garantia de renderização correta de rostos e pessoas. Em termos de desempenho, o modelo aberto proposto está à frente dos análogos proprietários da Runway e Pika Labs. O modelo pode ser facilmente adaptado para resolver diversos problemas, por exemplo, pode ser utilizado para formar figuras tridimensionais.
Adicionalmente, podemos destacar a publicação do kit de ferramentas de aprendizado de máquina Video-LLaVA, que permite criar uma representação visual unificada de um objeto, formada a partir da utilização simultânea de fotografias e gravações de vídeo de objetos durante o treinamento. O sistema pode ser utilizado, por exemplo, para reconhecer a presença dos mesmos objetos em imagens e vídeos. O código é escrito em Python e distribuído sob a licença Apache 2.0.
Fonte: opennet.ru
