Stability AI hefur gefið út vélanámslíkan sem kallast Stable Video Diffusion sem getur búið til stutt myndbönd úr myndum. Líkanið stækkar getu Stable Diffusion verkefnisins, sem áður var takmarkað við myndun kyrrstæðra mynda. Kóðinn fyrir taugakerfisþjálfun og myndsköpunarverkfæri er skrifaður í Python með PyTorch ramma og birtur undir MIT leyfinu. Þegar þjálfaðar gerðir eru opnar samkvæmt leyfilegu Creative ML OpenRAIL-M leyfi, sem gerir kleift að nota í atvinnuskyni.
Hægt er að hlaða niður tveimur gerðum: SVD (Stable Video Diffusion) til að búa til 14 ramma með upplausninni 576x1024 miðað við tiltekna kyrrstæða mynd og SVD-XT til að búa til 25 ramma. Það er hægt að búa til myndband án hreyfingar eða með mjög hægum snúningi myndavélarinnar, sem endist ekki lengur en í 4 sekúndur. Bein líkanstýring byggð á textalýsingu á náttúrulegu tungumáli er ekki enn studd, en þú getur fyrst undirbúið upprunalegu myndina með því að nota gamla Stable Diffusion 2.1 líkanið og umbreyta því síðan í myndband með SVD líkaninu.
Myndbandsgæði veita ekki enn fullkomið ljósraunsæi og tryggt rétta mynd af andlitum og fólki. Hvað varðar frammistöðu er fyrirhugaða opna líkanið á undan séreignar hliðstæðum frá Runway og Pika Labs. Auðvelt er að laga líkanið til að leysa ýmis vandamál, til dæmis er hægt að nota það til að mynda þrívíðar myndir.
Að auki getum við tekið eftir útgáfu Video-LLaVA vélanámsverkfærasettsins, sem gerir þér kleift að búa til sameinaða sjónræna framsetningu á hlut, sem myndast á grundvelli notkunar samtímis ljósmynda og myndbandsupptöku af hlutum meðan á þjálfun stendur. Kerfið er til dæmis hægt að nota til að þekkja tilvist sömu hluta í myndum og myndböndum. Kóðinn er skrifaður í Python og dreift undir Apache 2.0 leyfinu.
Heimild: opennet.ru
