Ua hoʻopuka ʻo Stability AI i kahi ʻano hoʻohālike aʻo mīkini i kapa ʻia ʻo Stable Video Diffusion e hiki ke hana i nā wikiō pōkole mai nā kiʻi. Hoʻonui ke kumu hoʻohālike i nā mana o ka papahana Stable Diffusion, i kaupalena ʻia ma mua i ka synthesis o nā kiʻi static. Ua kākau ʻia ke code no ka hoʻomaʻamaʻa neural network a me nā mea hana kiʻi kiʻi ma Python me ka hoʻohana ʻana i ka framework PyTorch a paʻi ʻia ma lalo o ka laikini MIT. Ua wehe ʻia nā kumu hoʻohālike i hoʻomaʻamaʻa ʻia ma lalo o ka laikini Creative ML OpenRAIL-M i ʻae ʻia, e ʻae ana i ka hoʻohana ʻana i ka ʻoihana.
ʻElua mau koho hiʻohiʻona i loaʻa no ka hoʻoiho: SVD (Stable Video Diffusion) no ka hana ʻana i nā kiʻi 14 me ka hoʻonā o 576x1024 e pili ana i kahi kiʻi static i hāʻawi ʻia a me SVD-XT no ka hana ʻana i nā kiʻi 25. Hiki ke hana i ka wikiō me ka neʻe ʻole ʻana a i ʻole me ka lohi o ka pahupaʻikiʻi, ʻaʻole i ʻoi aku ma mua o 4 kekona. ʻAʻole i kākoʻo ʻia ka hoʻololi ʻana i ke kumu hoʻohālike ma muli o ka wehewehe kikokikona ʻōlelo kūlohelohe, akā hiki iā ʻoe ke hoʻomākaukau mua i ke kiʻi kumu me ka hoʻohana ʻana i ke kumu hoʻohālike kahiko Stable Diffusion 2.1 a laila hoʻololi iā ia i wikiō me ka hoʻohana ʻana i ke kumu hoʻohālike SVD.
ʻAʻole hāʻawi ka maikaʻi wikiō i ka photorealism kūpono a hōʻoiaʻiʻo ʻia ka hoʻololi pololei ʻana o nā helehelena a me nā kānaka. Ma ke ʻano o ka hana, ʻo ke kumu hoʻohālike i manaʻo ʻia ma mua o nā analogues proprietary mai Runway a me Pika Labs. Hiki ke hoʻololi maʻalahi ke kumu hoʻohālike e hoʻoponopono i nā pilikia like ʻole, no ka laʻana, hiki ke hoʻohana ʻia e hana i nā kiʻi ʻekolu-dimensional.
Eia hou, hiki iā mākou ke hoʻomaopopo i ka paʻi ʻia ʻana o ka mīkini aʻo mīkini Video-LLaVA, kahi e hiki ai iā ʻoe ke hana i kahi hiʻohiʻona ʻike like ʻole o kahi mea, i hana ʻia ma muli o ka hoʻohana ʻana i nā kiʻi a me nā wikiō wikiō o nā mea i ka wā o ke aʻo ʻana. Hiki ke hoʻohana ʻia ka ʻōnaehana, no ka laʻana, e ʻike i ke alo o nā mea like i nā kiʻi a me nā wikiō. Ua kākau ʻia ke code ma Python a māhele ʻia ma lalo o ka laikini Apache 2.0.
Source: opennet.ru
