Stability AI har publicerat en maskininlÀrningsmodell som heter Stable Video Diffusion, som lÄter dig generera korta videor frÄn bilder. Modellen utökar funktionerna i Stable Diffusion-projektet, som tidigare var begrÀnsat till syntes av statiska bilder. Koden för verktygen för trÀning och bildgenerering av neurala nÀtverk Àr skriven i Python med hjÀlp av PyTorch-ramverket och publiceras under MIT-licensen. De förtrÀnade modellerna Àr öppen kÀllkod under Creative ML OpenRAIL-M-licensen, som tillÄter kommersiell anvÀndning.
Det finns tvÄ modellvarianter tillgÀngliga för nedladdning: SVD (Stable Video Diffusion) för att generera 14 bildrutor med en upplösning pÄ 576x1024 frÄn en given statisk bild, och SVD-XT för att generera 25 bildrutor. Det Àr möjligt att generera video utan rörelse eller med mycket lÄngsam kamerarotation, som inte varar mer Àn 4 sekunder. Att direkt köra modellen baserat pÄ textbeskrivningar i naturligt sprÄk stöds Ànnu inte, men det Àr möjligt att först förbereda kÀllbilden med den Àldre Stable Diffusion 2.1-modellen och sedan konvertera den till video med SVD-modellen.
Videokvaliteten ger Ànnu inte idealisk fotorealism och garanterad korrekt Ätergivning av ansikten och personer. PrestandamÀssigt ligger den föreslagna öppna modellen före egna analoger frÄn Runway och Pika Labs. Modellen kan enkelt anpassas för att lösa olika problem, till exempel kan den anvÀndas för att forma tredimensionella figurer.
Dessutom Àr det vÀrt att notera publiceringen av maskininlÀrningsverktygslÄdan Video-LLaVA, som möjliggör skapandet av en enda visuell representation av ett objekt, bildad baserat pÄ anvÀndning av bÄde fotografier och videoinspelningar av objekt under trÀning. Systemet kan till exempel anvÀndas för att kÀnna igen förekomsten av samma objekt i bilder och videor. Koden Àr skriven i Python och distribuerad under Apache 2.0-licensen.
KĂ€lla: opennet.ru
