Estabilite AI te pibliye yon modèl aprantisaj machin ki rele Stable Video Diffusion ki ka jenere videyo kout nan imaj. Modèl la ogmante kapasite pwojè Stable Diffusion, deja limite a sentèz imaj estatik. Kòd pou fòmasyon rezo neral la ak zouti jenerasyon imaj yo ekri an Python lè l sèvi avèk fondasyon PyTorch la epi li pibliye anba lisans MIT. Modèl ki deja antrene yo louvri anba lisans Creative ML OpenRAIL-M ki pèmèt yo itilize komèsyal yo.
Gen de opsyon modèl ki disponib pou telechaje: SVD (Stable Video Diffusion) pou jenere 14 ankadreman ak yon rezolisyon 576x1024 ki baze sou yon imaj estatik bay ak SVD-XT pou jenere 25 ankadreman. Li posib pou jenere videyo san mouvman oswa ak wotasyon kamera trè dousman, ki dire pa plis pase 4 segonn. Kontwòl modèl dirèk ki baze sou deskripsyon tèks lang natirèl la poko sipòte, men ou ka premye prepare imaj orijinal la lè l sèvi avèk ansyen modèl Stable Diffusion 2.1 epi konvèti li an videyo lè l sèvi avèk modèl SVD la.
Bon jan kalite videyo poko bay fotorÊyalis ideyal ak garanti kòrèk rann figi ak moun. An tèm de pèfòmans, modèl louvri pwopoze a devan analogue propriÊtaires de Runway ak Pika Labs. Modèl la ka fasil adapte pou rezoud pwoblèm divès kalite, pou egzanp, li ka itilize yo fòme figi ki genyen twa dimansyon.
Anplis de sa, nou ka sonje piblikasyon zouti aprantisaj machin Video-LLaVA, ki pèmèt ou kreye yon reprezantasyon vizyèl inifye nan yon objè, ki fòme dapre itilizasyon foto ak anrejistreman videyo objè ansanm pandan fòmasyon an. Sistèm nan ka itilize, pou egzanp, rekonèt prezans nan menm objè yo nan imaj ak videyo. Kòd la ekri nan Python epi distribye anba lisans Apache 2.0.
Sous: opennet.ru
