Ang Stability AI nagpatik sa usa ka modelo sa pagkat-on sa makina nga gitawag nga Stable Video Diffusion nga makahimo og mugbo nga mga video gikan sa mga imahe. Gipalapad sa modelo ang mga kapabilidad sa proyekto sa Stable Diffusion, nga kaniadto limitado sa synthesis sa mga static nga mga imahe. Ang code alang sa pagbansay sa neural network ug mga himan sa paghimo og imahe gisulat sa Python gamit ang PyTorch framework ug gimantala ubos sa lisensya sa MIT. Ang nabansay na nga mga modelo bukas ubos sa permissive Creative ML OpenRAIL-M nga lisensya, nga nagtugot alang sa komersyal nga paggamit.
Adunay duha ka kapilian nga modelo nga magamit alang sa pag-download: SVD (Stable Video Diffusion) alang sa pagmugna og 14 nga mga frame nga adunay resolusyon nga 576x1024 base sa usa ka gihatag nga static nga imahe ug SVD-XT alang sa pagmugna og 25 nga mga frame. Posible nga makamugna og video nga walay paglihok o uban ang hinay kaayo nga pagtuyok sa camera, nga molungtad og dili molapas sa 4 ka segundo. Ang direktang pagkontrol sa modelo base sa natural nga pinulongan nga deskripsyon sa teksto wala pa gisuportahan, apan mahimo nimo una nga andamon ang orihinal nga imahe gamit ang daan nga Stable Diffusion 2.1 nga modelo ug dayon i-convert kini sa video gamit ang SVD nga modelo.
Ang kalidad sa video wala pa maghatag ug sulundon nga photorealism ug gigarantiyahan ang husto nga paghubad sa mga nawong ug mga tawo. Sa termino sa pasundayag, ang gisugyot nga bukas nga modelo nag-una sa proprietary analogues gikan sa Runway ug Pika Labs. Ang modelo dali nga ipahiangay aron masulbad ang lainlaing mga problema, pananglitan, magamit kini aron maporma ang tulo-ka-dimensional nga mga numero.
Dugang pa, atong mamatikdan ang publikasyon sa Video-LLaVA machine learning toolkit, nga nagtugot kanimo sa paghimo sa usa ka hiniusa nga biswal nga representasyon sa usa ka butang, nga naporma base sa paggamit sa dungan nga mga litrato ug video recording sa mga butang sa panahon sa pagbansay. Ang sistema mahimong magamit, pananglitan, aron mailhan ang presensya sa parehas nga mga butang sa mga imahe ug video. Ang code gisulat sa Python ug giapod-apod ubos sa Apache 2.0 nga lisensya.
Source: opennet.ru
