Stability AI ebipụtala ụdị mmụta igwe akpọrọ Stable Video Diffusion nke nwere ike iwepụta vidiyo dị mkpirikpi site na onyonyo. Ihe nlereanya ahụ na-agbasawanye ike nke ọrụ Stable Diffusion, nke na-ejedebe na mbụ na njikọ nke ihe oyiyi static. Edere koodu maka ọzụzụ netwọkụ akwara ozi na ngwaọrụ mmepụta onyonyo na Python site na iji usoro PyTorch wee bipụta ya n'okpuru ikike MIT. Ụdị a zụrụ azụ emeghewo n'okpuru ikikere Creative ML OpenRAIL-M na-enye ohere maka iji azụmahịa.
Enwere nhọrọ ụdị abụọ dị maka nbudata: SVD (Stable Video Diffusion) maka imepụta okpokolo agba 14 nwere mkpebi 576 × 1024 dabere na onyonyo static enyere na SVD-XT maka imepụta okpokolo agba 25. Ọ ga-ekwe omume ịmepụta vidiyo na-enweghị mmegharị ma ọ bụ jiri ntụgharị igwefoto dị nwayọ, na-adịgide karịa sekọn 4. A kwadobeghị njikwa ihe nlere anya nke dabere na nkọwa ederede asụsụ okike, mana ị nwere ike ibu ụzọ dozie onyonyo izizi site na iji ụdị Stable Diffusion 2.1 ochie wee tụgharịa ya na vidiyo site na iji ụdị SVD.
Vidiyo dị mma enyebeghị ezigbo foto na-ekwe nkwa n'ụzọ ziri ezi nke ihu na ndị mmadụ. N'ihe gbasara arụmọrụ, ihe nlere emepe emepe a chọrọ dị n'ihu analogues nke nweziri site na Runway na Pika Labs. Enwere ike ịmegharị ihe nlereanya ahụ n'ụzọ dị mfe iji dozie nsogbu dị iche iche, dịka ọmụmaatụ, enwere ike iji ya mepụta ọnụọgụ atọ.
Ọzọkwa, anyị nwere ike mara mbipụta nke Video-LLaVA igwe mmụta Toolkit, nke na-enye gị ohere ịmepụta n'otu n'otu visual ngosi nke ihe, kpụrụ dabere na ojiji nke n'out oge foto na video ndekọ nke ihe n'oge ọzụzụ. Enwere ike iji usoro ahụ, dịka ọmụmaatụ, ịmata ọnụnọ nke otu ihe na onyonyo na vidiyo. Edere koodu ahụ na Python wee kesaa n'okpuru ikike Apache 2.0.
isi: opennet.ru
