Stability AI parantos nyebarkeun modél pembelajaran mesin anu disebut Stable Video Diffusion anu tiasa ngahasilkeun pidéo pondok tina gambar. Modél ngalegaan kamampuan proyék Stable Diffusion, sateuacana dugi ka sintésis gambar statik. Kodeu pikeun latihan jaringan saraf sareng alat generasi gambar ditulis dina Python nganggo kerangka PyTorch sareng diterbitkeun dina lisénsi MIT. Model anu parantos dilatih dibuka dina lisénsi Creative ML OpenRAIL-M anu permisif, ngamungkinkeun pikeun panggunaan komérsial.
Aya dua pilihan model sadia pikeun diundeur: SVD (Stable Video Diffusion) pikeun ngahasilkeun 14 pigura kalawan resolusi 576x1024 dumasar kana gambar statik dibikeun tur SVD-XT pikeun ngahasilkeun 25 pigura. Kasebut nyaéta dimungkinkeun pikeun ngahasilkeun pidéo tanpa gerakan atanapi nganggo rotasi kaméra anu lambat pisan, tahan henteu langkung ti 4 detik. Kontrol modél langsung dumasar kana déskripsi téks basa alami henteu acan dirojong, tapi anjeun tiasa mimiti nyiapkeun gambar asli nganggo modél Stable Diffusion 2.1 anu lami teras ngarobih kana pidéo nganggo modél SVD.
Kualitas pidéo henteu acan nyayogikeun potoréalisme anu idéal sareng ngajamin rendering anu leres tina rupa sareng jalma. Dina hal kinerja, model kabuka anu diusulkeun payuneun analog proprietary ti Runway sareng Pika Labs. Modél bisa gampang diadaptasi pikeun ngajawab sagala rupa masalah, contona, bisa dipaké pikeun ngabentuk inohong tilu diménsi.
Salaku tambahan, urang tiasa nyatet publikasi toolkit pembelajaran mesin Video-LLaVA, anu ngamungkinkeun anjeun nyiptakeun representasi visual anu ngahijikeun hiji obyék, dibentuk dumasar kana panggunaan foto sareng ngarékam pidéo dina waktos latihan. Sistim nu bisa dipaké, contona, pikeun ngakuan ayana objék sarua dina gambar jeung video. Kodeu ditulis dina Python sareng disebarkeun dina lisénsi Apache 2.0.
sumber: opennet.ru
